这个世界其实是非常不公平的，有的网站使用作弊技术，就会被惩罚或是被封掉，有的网站使用同样的作弊手段，搜索引擎可能就会网开一面。
前些日子宝马的网站曾经因为使用作弊手段被Google封掉，但是不到24小时，宝马的网页就又被重新收录了。我很难相信宝马没有和Google进行直接联系。默默无闻的小网站想和Google联系，连门都摸不着，怎么可能24小时之内就又被重新收录呢？
今天看到一个新闻，有人发现纽约时报的网站使用隐藏网页(page cloaking)，也就是搜索引擎蜘蛛所抓取的网页内容和普通用户所看到的内容是不一样的。
如果我们搜索”site:select.nytimes.com friedman“，我们会在第二个搜索结果中的描述里看到这句话，”Addicted to Oil: Thomas L. Friedman Reporting” at the SilverDocs film festival on Friday…”
但是如果你点击网页，点击这个链接来到真正的网页时，却在网页上看不到这句话。你所能看到的是：”想要读全部文章的话，请订阅纽约时报网上版。”
很显然，纽约时报网站会检测来访的是搜索引擎蜘蛛还是普通用户，如果是搜索引擎蜘蛛，网页所返回的是本来需要帐户名及密码登录之后才能看到的内容，如果是普通用户，你就会被提示需要登录或需要订阅。
这是典型的给搜索引擎蜘蛛特殊处理的手法。
对隐藏网页Matt Cutts曾经有很清楚的表述，他说IP delively是没有问题的，也就是根据用户的IP地址，给予返回不同的内容。比如用户来自英国，就把用户转到.co.uk域名。如果来自法国，就把用户转到.fr域名。
但是Google所不允许的是给予Google蜘蛛特殊的对待，也就是说，如果来访的是Google蜘蛛，那么就返回一套只有Google能看到的内容。
所以IP delively没关系，实际上很多网站包括Google自己都这么做，但是不要对搜索引擎蜘蛛做任何特殊处理。
而纽约时报恰恰对搜索引擎蜘蛛返回了只有搜索引擎才能看到的内容，无疑是使用了隐藏网页技术的，但是Google，雅虎等都没有任何意见。
所以有的时候不能抱怨为什么是自己的网站被惩罚或排名上不去，这个世界本来就是极不公平的。
好像用这种方式，google也很难发现，除非是有人举报！前段时间，卢亮也说起过这个问题～，没办法，谁让他有尾巴呢！
这样也太不公平了….做多些些网站..把google的弄死了.
发现是可以的，比如用不带google标志的spider去抓网页，再和带google标志的spider抓取的网页比较一下。
问题是判断哪些是IP delively，哪些是试图作弊。就算发现有作弊嫌疑，也不一定就要封站，就象纽约时报网站。
一般人和公司就没这么幸运了。
其实你说反了.只有当真正的有价值的东西得到尊重,这个世界才是公平的.对于GOOGLE而言,这个价值的判断标准是对用户的价值.如果你的网站和纽约时报的一样有价值,而排名上不去,那抱怨才是有理由的.
这篇你大概没看过吧:http://searchenginewatch.com/searchday/article.php/3613561
E.Y.: 你说的文章我看过，也同意。
其实我的意思不是抱怨，而是跟读者说没什么好抱怨的。
我也不觉得纽约时报网站应该因此被封或被惩罚，正象你说的，他们给用户提供有用信息，而且不是抄袭的。
但我还是认为这是不公平的。小的无名的网站也用完全一样的手法会得到一样的待遇吗?很可能不会。这本身就是不公平。
不过完全没必要为这不公平而抱怨。生活里的不公平太多了，接受事实，然后努力提高自己，这是我要表达的。
这个方法我用自己的站也用过，效果还不错。
可是公司的网站毕竟是不值得冒这个风险的。
如果一些需要表单验证才能看到的内容出现在搜索结果中，就可以认定这个网站是使用了page cloaking。
要小心哦 :-)
记得这里有一个特殊原因的:
历史上,纽约时报是禁止搜索引擎的蜘蛛抓取内容的.
当Google推出新闻搜索后,纽约时报向Google开放,允许Google的蜘蛛去爬NYT网站.
因为不采用cloaking,Google是抓不到必须付费才能浏览的内容.
因此,这种cloaking对于Google和NYT来说是互惠的,并且是允许的.
NYT对这种优惠,其回报是允许从Google News查询过来的用户,直接浏览新闻页(单一页).
seovista:谢谢补充。
这招够狠,我也想试试
只是不知道普通网站应该怎么才能实现……
没办法… 做站就像滚雪球, 不积累到一定资本, 随时都可能被摧毁
哎,这世界就是不公平的….
或许我们可以不从SEO和技术的角度去看待这类事情，Google除了做搜索引擎外她还是一个高速发展的企业，为了企业能够持续高速的发展GG本身也得寻求和遵循商业法则；
我想GG其实在做搜索引擎的时候更多的是以人为本的，技术只是一种用来实现和维护“以人为本”这条商业法则的手段，就也是为什么GG一直在改变和完善其搜索算法和排名规则；
除此之外诸如商业因素、政治因素、社会公关等等都是GG要面对的现实，因为搜索引擎存在于网络中，而GG本身是生存在现实社会的；因而GG也会参加各种民间的搜索引擎优化和营销一类的会议和论坛，而不是以引领潮流的大佬身份和姿态表现得高不可攀。
人的需求会随着社会需求和环境变化而变化，会不断提升！GG在推行自己强大的技术优势带来的服务的时候不会忽视人为因素的参与，可能GG把人为因素运用的非常巧妙以至于用户察觉不到或者感觉良好，我想GG不会迷信自己的技术能解决一切问题的。
以人为本，因时而变，因地制宜——GG得到了技术天才得到了发展的机会更是领悟了商业的真谛并且极为珍视。
有时候可能因为我们自己的目光过于单纯吧，以至于忽略了一些事情的本质或者侧面。
未来，我继续看好GG！
这个世界是不公平的，我们只能去适应它
这个世界是不公平的，我们只能去适应它
如老陈所说，谷歌也是个公司……
愤青一个
其实这也不是什么坏事
公平也是建立在不公平历史基础上的，改变自己，然后适应它。