热搜话题榜单

robots文件屏蔽搜索引擎抓取规则、为何还是会被收录？

接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL：有32位、也有16位，所以需要对URL进行统一规范……

浅谈屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路

网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。

SNS屏蔽搜索引擎为哪般 用户隐私大过天

依靠熟人的熟人来发展网络社交的SNS网站目前正在遭遇一场隐私泄露危机。大多数SNS网站都采用实名制，并要求填写手机号码、邮箱、QQ、MSN、性别、出生日期等多项个人信息，在掌握了大量用户隐私的同时，也遭到了许多不法分子的觊觎。现在的隐私泄露已经不仅限于木马病毒

点石互动：屏蔽搜索引擎一直是我们的梦想

点石大会，小鹏问我：“如果你是马云，会不会屏蔽百度?”我的回答中提到了一句：“屏蔽百度一直是我的梦想”。我这里要说的是：并不是百度不好，而是我希望有一天，我们的站点不依赖搜索引擎。真正百分百实现搜索引擎要求的那样，面向用户而不是面向搜索引擎设计网站。

优酷网屏蔽搜索引擎服务 并不是针对第三方

中国第一视频网站优酷网完全屏蔽了搜索引擎视频搜索服务，而且向媒体透露这是主动做出的战略选择，并不针对任何第三方或企业。

淘宝屏蔽搜索引擎

“消费者保障计划”是继信用评价体系、第三方支付工具之后，中国网络购物领域又一个构筑网购诚信、提升消费者体验的工具

淘宝网屏蔽搜索引擎 打压百度C2C业务

淘宝网宣布推出最新一期消费者保障计划，其中包括“部分屏蔽搜索引擎，杜绝不良商家欺诈。”这是淘宝对近期部分网民反映淘宝通过技术手段，禁止百度蜘蛛获取淘宝卖家的网页信息的首次表态。外界人士认为，屏蔽事件与百度将推出C2C业务有关。

防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎

据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索、YYSpider和宜搜搜索等少数几个搜索引擎被允许抓取其内容。不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

公众号可被搜索引擎抓取，微信或将更加“互联互通”

微信公众号的内容只能在微信中看，这可以说早在多年前就已经成为用户的共识。不过最近有消息显示，微信公众号的内容可以被谷歌和必应等搜索引擎搜索到。

页面之间的关联性，会否影响搜索引擎抓取？

页面的关联性，是尤为性的重要的。关系到两点重要的对象：搜索引擎、用户，二者都是考核的行使者。若出现一定的偏差性，会直接的影响到网站的发展！

搜索引擎抓取系统概述（二）：spider抓取过程中的策略

spider在抓取过程中面对着复杂的网络环境，为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力，会设计多种复杂的抓取策略。

百度：搜索引擎抓取系统概述

互联网信息爆发式增长，如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。Spider抓取系统是搜索引擎数据来源的重要保证，如果把web理解为一个有向图，那么spider的工作过程可以认为是对这个有向图的遍历。

如何让搜索引擎抓取AJAX内容？

越来越多的网站，开始采用“单页面结构”。整个网站只有一张网页，采用Ajax技术，根据用户的输入，加载不同的内容。这种做法的好处是用户体验好、节省流量，缺点是AJAX内容无法被搜索引擎抓取。那么，有没有什么方法，可以在保持比较直观的URL的同时，还让搜索引擎能够抓取AJAX内容？

作为seoer 你了解搜索引擎抓取和更新策略？

最近在看一本书，发现当我们不实践直接看原理是枯燥无味的，而实践过后反过来看原理，会觉得很多道理，很多感悟。就拿我自己做反面教材，说我是搜索引擎优化工作者，我对搜索引擎的工作方式和基本的抓取原理，更新策略都不懂。那么你呢？下面就分享下我的读书笔记，仅当新人扫盲。

搜索引擎抓取不带www域名的解决方法

看了文章标题就不觉得意外了，是的，没错。关于搜索引擎抓取过程中很多站长朋友会遇到的百度抓取不带www的域名情况。前段时间本人做一新站，再次碰到这种情况，采用了一些简单的办法两天内快速解决抓取问题。

深入探究搜索引擎抓取、索引、排名原理

SEOER的研究对象就是搜索引擎，因此深入了解搜索引擎工作原理很有必要，网上也有很多介绍这方面的文章，但能称得上详细、形象、深入地进行剖析的少之又少。当然，笔者的博文可能也完全达不到所谓的详细、形象、深入三面俱到，但笔者会尽可能详尽、深入地阐述各个原理，

朱琳：教您天天让搜索引擎抓取的办法

搜索引擎能给我带来大量的流量，我想这是每个站长都知道的，然而一篇优质的文章迟迟不被搜索引擎收录确实很让人头痛，那么我们怎样让搜索引擎天天来光顾我们呢？其实并没有那么难，也是有一定办法的，现在我就和大家分享一下我的办法。第一：要有高质量的网站的支持。

提高网页被搜索引擎抓取、索引和排名的方法

下面要讲到一个被很多SEO们误解的重要概念。很久以前，搜索引擎的爬虫（机器人）大部分时间都会递归地抓取某个网站（通过你提交的网站首页网址，然后通过网页上发现的链接抓取这些链接所指向的网页，周而复始）。

搜索引擎抓取JS代码实验

JavaScript在页面中有2种常见方式，一种是JS做成外部文件，页面直接调用，另一种是在页面直接写上JS代码，究竟搜索引擎对这两中方式的识别情况如何。

青少年搜索引擎“花漾搜索”APP发布 可通过人工智能技术屏蔽不良信息

今日，国内第一款专为青少年定制的搜索引擎“花漾搜索”APP正式发布。据悉， “花漾搜索”由新华社中国搜索打造，它可以阻断暴力、色情、赌博等不良信息，并根据青少年年龄、性别、兴趣智能推荐精品课堂、趣味视频、动画动漫、运动才艺等多个领域的优质内容。