Tag Archives: robots

这两天测试了百度的robots,确实有效果

这两天在用一个站去测试百度的robots,虽然百度官方已经给出结论。但刚好有个站能用的上,就顺便测试了下。

反映速度还挺快的,三四天就有反映了,然后一个星期不到百度彻底不抓取,所有页面彻底不收录,但不知道到底是robots.txt起的作用还是<meta name=”robots” content=”nofollow”>起的作用,应该都一样吧