爱华网
robots是什么意思
robots在英语之中的意思是机器人，Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。
标题：robots协议是什么
网址：http://u.www.AihuAu.com.net/subject/1559747.html
沙发回目录
robots协议是什么:百度：360违反Robots可能导致网民隐私泄露
歌德 | 2013-10-17 10:56
百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案， 10月16日上午在北京市第一中级人民法院开庭审理。百度方面认为，360搜索在未获得百度公司允许的情况下，违反业内公认的Robots协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，已经构成了不正当竞争，并向奇虎索赔1亿元。
百度公关部郭彪向媒体表示，Robots协议是网站信息和网民隐私保护的国际通行规范之一，理应得到全球互联网公司的共同遵守。不尊重Robots协议将可能导致网民隐私大规模泄露。此前，360服务器抓取网民隐私存在自己的服务器上，因自身网站的漏洞被谷歌搜索抓取，导致奇瑞汽车内部采购文件、三峡集团财务报表等商业秘密，以及140万网民隐私被泄露和传播。违反Robots协议再次暴露了360无视网站版权和网民隐私的一贯思维。奇虎360也因此遭到国家版权局、国家工商总局等权威部门严厉批评。
郭彪表示，奇虎360最为恶劣的，并非是其搜索爬虫故意违反Robots协议的做法，而是它利用360浏览器等客户端，强行抓取网民的浏览数据和信息到搜索服务器，完全无视Robots协议。这一做法目前已经导致大量企业内网信息被泄露。去年底，百度工程师通过一个名为“鬼节捉鬼”的测试，证明了360浏览器存在私自上传“孤岛页面”等隐私内容到360搜索的行为。
这类利用客户端上传信息并放到搜索上的行为，可能引发网民隐私大面积泄露。如果一位证券公司的工作人员，不慎用360浏览器查看了客户的姓名、银行账号、密码等信息，那么客户账号和密码可能就会被搜索到并公之于众;如果一个公司高层，用360浏览器查看了公司内部机密数据，那么这个公司的核心商业机密也可能就会被竞争对手直接搜索到。
板凳回目录robots协议是什么:国家版权局明确指出：360涉嫌侵权必须整改
歌德 | 2013-10-17 10:57
国家版权局明确指出：360涉嫌侵权必须整改
Robots协议，又称机器人协议或爬虫协议，该协议就搜索引擎抓取网站内容的范围作了约定，包括网站是否希望被搜索引擎抓取，哪些内容不允许被抓取，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。自推出以来Robots协议已成为网站保护自有敏感数据和网民隐私的国际惯例，包括百度、谷歌、雅虎在内的所有搜索服务提供商都自觉严格遵守。
2012年8月，360搜索悄然上线后不久即违反Robots协议，强行抓取百度旗下网站百度知道、百度百科、百度贴吧、百度旅游等内容。360搜索在百度Robots文本中还未将360爬虫写入的情况下，违反Robots协议内容，强制对“百度知道”、“百度百科”等百度网站内容进行了抓取。
百度公司认为，奇虎360的行为违背了国际通行的行业规则、不顾百度的权利声明和技术措施，非法抓取、复制百度网站内容，直接以快照形式向网民提供，严重侵害了百度的合法权益，构成了不正当竞争。随后，百度公司将奇虎360诉至北京市第一中级人民法院，该案于今年2月23日正式立案。
早在2012年12月28日，国家版权局在打击网络侵权盗版专项治理“剑网行动”新闻通气会上就指出：360综合搜索提供百度网页快照不适用“避风港原则”，对于百度拥有权利的作品，360要通过网页快照抓取，必须要取得百度公司的授权，未经授权随意抓取百度拥有版权的作品属侵权行为。并要求360综合搜索进行整改，同时将视360的整改情况再采取进一步的管理措施。
不过，奇虎360公司无视国家版权局指示，依然继续违反roborts协议，违规抓取百度百科、百度知道等版权内容。
奇虎360引发的系列不正当竞争也引起其他国家权威部门高度重视。今年1月，北京市工商局对奇虎360利用“360安全卫士”在浏览器领域实施不正当竞争行为予以行政告诫。今年7月，国家工商总局不点名指出，奇虎360自 2007年起就利用其在安全软件方面所占有的优势地位，采用多种方式，捏造虚假事实或扭曲、隐瞒竞争对手产品的真实情况，恶意打击竞争对手，严重损害了竞争对手的商业信誉和商品声誉。
