robots协议 robots协议是什么

robots协议 robots协议是什么

robots是什么意思

robots在英语之中的意思是机器人,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,而不是作为搜索引擎之间互相限制和不正当竞争的工具。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令,也不是防火墙,如同守门人无法阻止窃贼等恶意闯入者。

标题:robots协议是什么
网址:http://u.www.AihuAu.com.net/subject/1559747.html
沙发回目录

robots协议是什么:百度:360违反Robots可能导致网民隐私泄露

歌德 | 2013-10-17 10:56

百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案, 10月16日上午在北京市第一中级人民法院开庭审理。百度方面认为,360搜索在未获得百度公司允许的情况下,违反业内公认的Robots协议,抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容,已经构成了不正当竞争,并向奇虎索赔1亿元。

百度公关部郭彪向媒体表示,Robots协议是网站信息和网民隐私保护的国际通行规范之一,理应得到全球互联网公司的共同遵守。不尊重Robots协议将可能导致网民隐私大规模泄露。此前,360服务器抓取网民隐私存在自己的服务器上,因自身网站的漏洞被谷歌搜索抓取,导致奇瑞汽车内部采购文件、三峡集团财务报表等商业秘密,以及140万网民隐私被泄露和传播。违反Robots协议再次暴露了360无视网站版权和网民隐私的一贯思维。奇虎360也因此遭到国家版权局、国家工商总局等权威部门严厉批评。

郭彪表示,奇虎360最为恶劣的,并非是其搜索爬虫故意违反Robots协议的做法,而是它利用360浏览器等客户端,强行抓取网民的浏览数据和信息到搜索服务器,完全无视Robots协议。这一做法目前已经导致大量企业内网信息被泄露。去年底,百度工程师通过一个名为“鬼节捉鬼”的测试,证明了360浏览器存在私自上传“孤岛页面”等隐私内容到360搜索的行为。

这类利用客户端上传信息并放到搜索上的行为,可能引发网民隐私大面积泄露。如果一位证券公司的工作人员,不慎用360浏览器查看了客户的姓名、银行账号、密码等信息,那么客户账号和密码可能就会被搜索到并公之于众;如果一个公司高层,用360浏览器查看了公司内部机密数据,那么这个公司的核心商业机密也可能就会被竞争对手直接搜索到。

板凳回目录

robots协议是什么:国家版权局明确指出:360涉嫌侵权必须整改

歌德 | 2013-10-17 10:57

国家版权局明确指出:360涉嫌侵权必须整改

Robots协议,又称机器人协议或爬虫协议,该协议就搜索引擎抓取网站内容的范围作了约定,包括网站是否希望被搜索引擎抓取,哪些内容不允许被抓取,网络爬虫据此“自觉地”抓取或者不抓取该网页内容。自推出以来Robots协议已成为网站保护自有敏感数据和网民隐私的国际惯例,包括百度、谷歌、雅虎在内的所有搜索服务提供商都自觉严格遵守。

2012年8月,360搜索悄然上线后不久即违反Robots协议,强行抓取百度旗下网站百度知道、百度百科、百度贴吧、百度旅游等内容。360搜索在百度Robots文本中还未将360爬虫写入的情况下,违反Robots协议内容,强制对“百度知道”、“百度百科”等百度网站内容进行了抓取。

百度公司认为,奇虎360的行为违背了国际通行的行业规则、不顾百度的权利声明和技术措施,非法抓取、复制百度网站内容,直接以快照形式向网民提供,严重侵害了百度的合法权益,构成了不正当竞争。随后,百度公司将奇虎360诉至北京市第一中级人民法院,该案于今年2月23日正式立案。

早在2012年12月28日,国家版权局在打击网络侵权盗版专项治理“剑网行动”新闻通气会上就指出:360综合搜索提供百度网页快照不适用“避风港原则”,对于百度拥有权利的作品,360要通过网页快照抓取,必须要取得百度公司的授权,未经授权随意抓取百度拥有版权的作品属侵权行为。并要求360综合搜索进行整改,同时将视360的整改情况再采取进一步的管理措施。

不过,奇虎360公司无视国家版权局指示,依然继续违反roborts协议,违规抓取百度百科、百度知道等版权内容。

奇虎360引发的系列不正当竞争也引起其他国家权威部门高度重视。今年1月,北京市工商局对奇虎360利用“360安全卫士”在浏览器领域实施不正当竞争行为予以行政告诫。今年7月,国家工商总局不点名指出,奇虎360自 2007年起就利用其在安全软件方面所占有的优势地位,采用多种方式,捏造虚假事实或扭曲、隐瞒竞争对手产品的真实情况,恶意打击竞争对手,严重损害了竞争对手的商业信誉和商品声誉。

  

爱华网本文地址 » http://www.413yy.cn/a/8103470103/108865.html

更多阅读

对赌协议是什么意思 高风险激励下的对赌协议及应用

  对赌协议是一种特殊的投资和融资手段,自从蒙牛与摩根士丹利、鼎晖及英联投资等投资银行签订对赌协议一举取得成功以后,我国兴起了一股前所未有的对赌协议签订热潮,先后有雨润与高盛、鼎辉投资和!"! 基金,徐工与凯雷,永乐与摩根士丹

专案制协议是什么 “专案”做的是什么“案”?

卓越峰, 从大学毕业就入行建筑室内设计这个行业。工作到第4 年的某一天, 卓越峰刚出差回来, 就被行政“八卦”要升职, 几天之后, 果不其然,直接从普通设计师跳了两级成为这家台湾著名的建筑师事务所室内设计专案组的经理。不过,“专

robots协议 robots协议是什么

robots是什么意思robots在英语之中的意思是机器人,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议的

离婚协议公证流程 2017离婚协议公证流程是什么

 2017离婚协议公证流程是什么?  一、离婚协议公证流程  在办理离婚协议公证时,夫妻双方当事人必须本人亲自到场,不能委托他人代理,具体的程序是:  1、审查当事人的身份及行为能力、意思表示。  2、审查离婚双方当事人

有效的仲裁协议 仲裁协议的有效解释原则是什么

  你对仲裁协议有多少了解?仲裁协议只能由具有利害关系的合同双方(或多方)当事人或其合格的代理人订立。仲裁协议是当事人申请仲裁、排除法院管辖的法律依据。下面由爱华网小编为你详细介绍仲裁协议的相关法律知识。  仲裁

声明:《robots协议 robots协议是什么》为网友灬花开丶忆红颜分享!如侵犯到您的合法权益请联系我们删除