robots.txt的秘密

robots.txt概述

什么是robots.txt：

Robots.txt（统一小写）是一种存放于网站目录下的文本文件，它通常告诉搜索引擎蜘蛛，此网站中的哪些内容是不能被搜索引擎蜘蛛获取的，哪些是可以被获取的。

使用误区：

网站上的所有文件都需要被蜘蛛抓取，那就没必要添加robots.txt文件

在robots.txt文件中设置所有的文件都可以被搜索引擎蜘蛛抓取，这样可以增加网站的收录量。

搜索引擎蜘蛛抓取网页太浪费服务器资源，在robots.txt文件中设置所有的搜索引擎蜘蛛都不能抓取全部的网页。

如何设置robots.txt

如何放置robots.txt文件：

robots.txt文件应该放置在网站根目录下（可以通过ftp工具上传）

robots.txt文件的格式：

robots.txt文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行。

范例; www.w3.org/robots.txt

robots.txt文件用法举例

新浪，腾讯，网易，搜狐博客频道robots.txt

====================================================================

注：

您现在所看的seo教程是第四单元：网站内部优化解析 第三章：相关设置优化

本单元第三章分为四个课时，一个课后习题

第一节：robots的秘密

第二节：如何设置Sitemap.xml

第三节：测试和优化网站速度

第四节：URL重定向揭秘

相关设置优化（课后习题）

（点击以上链接跳转相应课程）