人和时代的搜寻器并不在下拉包括

履带式访问

该“履带式访问”地区是您的robots.txt文件指挥中心。在“测试的robots.txt”标签，你可以看到你的文件的状态（当它最后下载以及是否有效）。您也可以测试对您现有的特定网址的robots.txt文件，看看他们是否会根据您现有的文件的命令排除在外。和所有最好的，你可以使用它作为一个实验室这一领域的调整和测试您的robots.txt命令他们对任何想要的网址，直到你有你的文件恰到好处。

“生成robots.txt的”标签使您可以创建一个robots.txt文件，其中包括和不包括任何具体文件或目录，你想从任何机器人，你想要的。您可以创建与机器人比人和时代自己的畜群其他排除规则。但要记住，如果它是一个非人和时代机器人，你就需要知道它的名字，因为非人和时代的搜寻器并不在下拉包括在内。这里有一个主要的搜寻器和用户代理好名单。

“删除网址”标签，您可以要求一个特定的文件被删除从人和时代的索引中彻底。在递交的要求，这方面则显示了请求的状态。请记住，这个过程是次要的，真正做你最好删除您own.Google'删除的文件的URL状态S要求，删除任何URL，您使用此报告必须先返回1 404和/或由robots.txt拦截文件之前，请求将被接受。