怎么从网站日志中看出搜索引擎蜘蛛爬取陷入了无限循环

SEO问答类别: 抓取和收录怎么从网站日志中看出搜索引擎蜘蛛爬取陷入了无限循环
宇航 提问于 2 年 之前

我在《seo实战密码》第四版中的案例部分看到了这么一句话:查看网站日志时,发现搜索引擎蜘蛛在爬行某类url时似乎陷入无限循环,根本没时间爬行其他url。
我想请教:怎么看搜索引擎蜘蛛在爬取url的时候,陷入了无限循环,是有什么特征吗?

4 个回答
Zac 管理员 回答于 2 年 之前

这是个好问题。
 
我过两天写个博客帖子回答。

了凡四训 回答于 1 年 之前

请问帖子写了吗?

Zac 管理员 回复于 5 月 之前

抱歉,还没写呢,老了,精力大减。简单说,查看原始日志,如果发现,1)蜘蛛连续抓取动态URL,只改变参数立即继续抓,而且参数是很少用户会选的:2)这类动态URL抓取量占比高,如产品只有几万个,筛选动态URL每个月被抓几十完,这说明大概率陷入循环了。

MCU维修 回答于 10 月 之前

技术角度而言是没有结束符

腾博 回答于 9 月 之前

无限循环不可能这样的
 

你的回答

14 + 1 =