做了伪静态,为什么网站日志里抓取的还是动态地址?

SEO问答分类: 网站架构做了伪静态,为什么网站日志里抓取的还是动态地址?
song asked 2 weeks ago

网站上线三个多月了,上线前就做了伪静态,目前被收录近万的页面都是伪静态地址,线上没有动态地址的入口,为什么网站日志里抓取的全部都是动态地址呢?

网兼吧 replied 2 weeks ago

用robots.txt禁止抓取呢

2 个回答
Zac Staff answered 2 weeks ago

如果搜索引擎蜘蛛没有在什么地方看到动态网址,蜘蛛不会把静态URL改写成动态的,搜索引擎无法知道页面是动态的还是静态的,即使猜测是动态改写成静态的,它也不知道对应的动态URL是什么样的。所以蜘蛛一定是在什么地方读到了动态网址。
 
可能是网站上你没注意的什么地方出现了动态URL,或者服务器由于某种原因,静态URL会被自动改写、转向为动态URL,或者服务器日志自动匹配为动态URL?

stevezhou answered 1 week ago

这个要具体看,宽泛的有很多原因可能会造成这种情况。
在js调用动态地址,是可能会被蜘蛛识别到的。
或者非SEO人员做了动态地址的外链。
或者些其它原因,比如你伪静态地址的实现方式。

您的回答

13 + 7 =