近日，落寞已久的“Robots协议”，受360与百度互诉开庭消息的刺激，再一次以炙手可热势绝伦的态势火遍全球视野。不过细究这个Robots协议，却不难发现其虽然挂着个“协议”的后缀，却只是行业惯用的说法，并非真正意义上的协议，也不受任何机构保护，也谈不上是人人都得遵守的行业标准，更别说是具有法律效应的协议。
早在很多年前，“Robots之父”MartijnKoster就对Robots协议的性质做了如下阐述：Robots协议是一个未经标准组织备案的非官方标准，它也不属于任何商业组织。本协议不受任何机构保护，所有现有和未来的机器人不一定使用本协议。
Google、百度等搜索引擎均严格遵守。通常网站可以在服务器根目录下的“Robots.txt”中指明哪些内容可以被搜索引擎抓取，哪些不可以；也可以指明对那个搜索引擎开放，或者对哪个不开放。限制某个搜索引擎，Robots协议初衷是限制“BadRob”，即坏爬虫。所谓坏，是指存在安全或隐私问题，抑或太高频率爬取导致服务器压力。
事实上，Robots最初是用来约束和限制是指存在安全或隐私问题、抑或太高频率爬取导致服务器压力的搜索引擎“BadRob”（坏爬虫），正如MartijnKoster所言仅是Robot创作者们向互联网社区提供的用来保护互联网服务器免受骚扰的一个通用工具。整体而言搜索引擎是不欢迎Robots的，站长要想从搜索引擎获得更多流量，最好不设置Robots文件。
但出于商业竞争的目的，现实中以Google、百度为代表的搜索霸主，恨不得将Robots协议吹捧成互联网行业内的世界法，目的只有一个那就是限制竞争。藉此看来，不管是百度屏蔽360、淘宝屏蔽百度、京东和苏宁易购屏蔽一淘，均是利用Robots协议来应对竞争对手，而不是因为对方的爬虫是“坏爬虫”，违背了Robots协议初衷和互联网开放本质。
10月16日，百度与360的诉讼案在北京市第一中级人民法院公开审理，双方在法庭上就百度内容版权归属、Robots协议是否具备法律效应等问题进行了辩论。另外，360诉百度“强制跳转”不正当竞争案也将于近日在北京市最高人民法院开庭，“3B大战”进入激烈的诉讼阶段。
相关新闻：
