怎么从网站日志中看出搜索引擎蜘蛛爬取陷入了无限循环

SEO问答类别: 抓取和收录怎么从网站日志中看出搜索引擎蜘蛛爬取陷入了无限循环
宇航 提问于 9月 之前

我在《seo实战密码》第四版中的案例部分看到了这么一句话:查看网站日志时,发现搜索引擎蜘蛛在爬行某类url时似乎陷入无限循环,根本没时间爬行其他url。
我想请教:怎么看搜索引擎蜘蛛在爬取url的时候,陷入了无限循环,是有什么特征吗?

1 个回答
Zac 管理员 回答于 9月 之前

这是个好问题。
 
我过两天写个博客帖子回答。

你的回答

13 + 13 =