做了伪静态,为什么网站日志里抓取的还是动态地址?

SEO问答分类: 网站架构做了伪静态,为什么网站日志里抓取的还是动态地址?
song asked 3 months ago

网站上线三个多月了,上线前就做了伪静态,目前被收录近万的页面都是伪静态地址,线上没有动态地址的入口,为什么网站日志里抓取的全部都是动态地址呢?

网兼吧 replied 3 months ago

用robots.txt禁止抓取呢

3 个回答
Zac Staff answered 3 months ago

如果搜索引擎蜘蛛没有在什么地方看到动态网址,蜘蛛不会把静态URL改写成动态的,搜索引擎无法知道页面是动态的还是静态的,即使猜测是动态改写成静态的,它也不知道对应的动态URL是什么样的。所以蜘蛛一定是在什么地方读到了动态网址。
 
可能是网站上你没注意的什么地方出现了动态URL,或者服务器由于某种原因,静态URL会被自动改写、转向为动态URL,或者服务器日志自动匹配为动态URL?

stevezhou answered 3 months ago

这个要具体看,宽泛的有很多原因可能会造成这种情况。
在js调用动态地址,是可能会被蜘蛛识别到的。
或者非SEO人员做了动态地址的外链。
或者些其它原因,比如你伪静态地址的实现方式。

黄小泉 answered 2 months ago

一般很多大型的网站会出现这类问题,特别是上几十万页面的网站,这说明你的动态URL没有处理完成,不够全面! 列举几个:
1、网站地图动态地址更换成伪静态地址,是否做了?(包括txt+xml+html格式的sitemap都检查下)
2、产品列表页面动态地址是否完善了?
3、搜索结果页是否做了? 如果都做了,恭喜您没有了哈哈。。

您的回答

11 + 11 =