爱华网搜索引擎技术，搜索引擎是大量网站的页面信息收集到本地，经过加工处理建立信息数据库和索引数据库，从而对用户提出的各种检索作出响应，提供用户所需的信息。常用的方法是按网页的重要性或相关性给网页评级，进行相关性排序。
搜索引擎技术_搜索引擎技术 -概述
搜索引擎技术搜索引擎技术，搜索引擎是指互联网上专门提供检索服务的一类网站，这些站点的服务器通过网络搜索软件或网络登录等方式，将Intemet上大量网站的页面信息收集到本地，经过加工处理建立信息数据库和索引数据库，从而对用户提出的各种检索作出响应，提供用户所需的信息或相关指针，用户的检索途径主要包括自由词全文检索、关键词检索、分类检索及其他特殊信息的检索。下面以网络搜索机器人为例来说明搜索引擎技术。
搜索引擎技术_搜索引擎技术 -主要分类
1、目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、looksmart、OpenDirectory、GoGuide等。2、机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、NorthernLight、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：“天网”、悠游、Openfind等。
3、元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。这类搜索引擎的代表是WebCrawler、InfoMarket等。
搜索引擎技术_搜索引擎技术 -索引技术
搜索引擎技术1、索引技术是搜索引擎的核心技术之一。搜索引擎要对所收集到的信息进行整理、分类、索引以产生索引库，而中文搜索引擎的核心是分词技术。分词技术是利用一定的规则和词库，切分出一个句子中的词，为自动索引做好准备。目前的索引多采用Non―clustered方法，该技术和语言文字的学问有很大的关系。
2、索引器生成从关键词到URL的关系索引表。索引表一般使用某种形式的倒排表(1nversionUst)，即由索引项查找相应的URL。索引表也要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻关系或接近关系，并以特定的数据结构存储在硬盘上。
3、不同的搜索引擎系统可能采用不尽相同的标引方法。例如Webcrawler利用全文检索技术，对网页中每一个单词进行索引；Lycos只对页名、标题以及最重要的100个注释词等选择性词语进行索引；Infoseek则提供概念检索和词组检索，支持and、or、near、not等布尔运算。检索引擎的索引方法大致可分为自动索引、手工索引和用户登录三类。
搜索引擎技术_搜索引擎技术 -检索处理
1、检索器的主要功能是根据用户输入的关键词在索引器形成的倒排表中进行检索，同时完成页面与检索之间的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。2、通过搜索引擎获得的检索结果往往成百上千，为了得到有用的信息，常用的方法是按网页的重要性或相关性给网页评级，进行相关性排序。这里的相关度是指搜索关键字在文档中出现的额度。当额度越高时则认为该文档的相关程度越高。能见度也是常用的衡量标准之一。
3、一个网页的能见度是指该网页入口超级链接的数目。能见度方法是基于这样的观点：一个网页被其他网页引用得越多，则该网页就越有价值。特别地，一个网页被越重要的网页所引用，则该网页的重要程度也就越高。
搜索引擎技术_搜索引擎技术 -结果处理
搜索引擎技术1、按频次排定次序通常，如果一个页面包含了越多的关键词，其搜索目标的相关性应该越好，这是非常合平常理的解决方案。
2、按页面被访问度排序在这种方法中，搜索引擎会记录它所搜索到的页面被访问的频率。人们访问较多的页面通常应该包含比较多的信息，或者有其他吸引入的长处。这种解决方案适合一般的搜索用户，而因为大部分的搜索引擎都不是专业性用户，所以这种方案也比较适合一般搜索引擎使用。
3、二次检索进一步净化(比flne)结果，按照一定的条件对搜索结果进行优化，可以再选择类别、相关词进行二次搜索等。
4、由于目前的搜索引擎还不具备智能，除非知道要查找的文档的标题，否则排列第一的结果未必是“最好”的结果。所以有些文档尽管相关程度高，但并不一定是用户最需要的文档。
搜索引擎技术_搜索引擎技术 -行业应用
1、政府机关行业应用：实时跟踪、采集与业务工作相关的信息来源。全面满足内部工作人员对互联网信息的全局观测需求。及时解决政务外网、政务内网的信息源问题，实现动态发布。快速解决政府主网站对各地级子网站的信息获取需求。全面整合信息，实现政府内部跨地区、跨部门的信息资源共享与有效沟通。节约信息采集的人力、物力、时间，提高办公效率。2、企业行业应用：实时准确地监控、追踪竞争对手动态，是企业获取竞争情报的利器。及时获取竞争对手的公开信息以便研究同行业的发展与市场需求。为企业决策部门和管理层提供便捷、多途径的企业战略决策工具。大幅度地提高企业获取、利用情报的效率，节省情报信息收集、存储、挖掘的相关费用，是提高企业核心竞争力的关键。提高企业整体分析研究能力、市场快速反应能力，建立起以知识管理为核心的竞争情报数据仓库，是提高企业核心竞争力的神经中枢。
3、新闻媒体行业应用：快速准确地自动跟踪、采集数千家网络媒体信息，扩大新闻线索，提高采集速度。支持每天对数万条新闻进行有效抓取。监控范围的深度、广度可以自行设定。支持对所需内容智能提取、审核。实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。
4、行业网站应用：实时跟踪、采集与网站相关的信息来源。及时跟踪行业的信息来源网站，自动，快速更新网站信息。动态更新信息。实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。针对商务网站提出商务管理模式，大大提高行业网站的商务应用需求。针对资讯网站分类目录生成，提出用户生成网站分类结构。并可以实时增加与更新分类结构。不受级数限制。从而大大利高行业的应用性。提供搜索引擎SEO优化专业服务，快速提高行业网站的推广。提供与CCDC呼叫搜索引擎的广告合作。建立行业网站联盟，提高行业网站知名度。
5、网络信息监察与监控：网络舆情系统。如“千瓦通信-网络舆情雷达监测系统”网站信息与内容监察与监控系统，如“千瓦通信-网站信息与内容监测与监察系统（站内神探）”
搜索引擎技术_搜索引擎技术 -使用技巧
搜索引擎技术1、在类别中搜索：许多搜索引擎（如Yahoo）都显示类别，如计算机和Internet、商业和经济。如果您单击其中一个类别，然后再使用搜索引擎，您将可以选择搜索整个Internet还是搜索当前类别。显然，在一个特定类别下进行搜索所耗费的时间较少，而且能够避免大量无关的Web站点。当然，您或许还想搜索整个Internet，以搜索特定类别之外的信息。
2、使用具体的关键字：如果想要搜索以鸟为主题的Web站点，您可以在搜索引擎中输入关键字“bird”。但是，搜索引擎会因此返回大量无关信息，如谈论高尔夫的“小鸟球（birdie）”或烹饪gamebirds不同方法的Web站点。为了避免这种问题的出现，请使用更为具体的关键字，如“ornithology”（鸟类学，动物学的一个分支）。您所提供的关键字越具体，搜索引擎返回无关Web站点的可能性就越小。
3、使用多个关键字：还可以通过使用多个关键字来缩小搜索范围。例如，如果想要搜索有关佛罗里达州迈阿密市的信息，则输入两个关键字“Miami”和“Florida”。如果只输入其中一个关键字，搜索引擎就会返回诸如MiamiDolphins足球队或FloridaMarlins棒球队的无关信息。一般而言，您提供的关键字越多，搜索引擎返回的结果越精确。
4、留意搜索引擎返回的结果：搜索引擎返回的Web站点顺序可能会影响人们的访问，所以，为了增加Web站点的点击率，一些Web站点会付费给搜索引擎，以在相关Web站点列表中显示在靠前的位置。好的搜索引擎会鉴别Web站点的内容，并据此安排它们的顺序，但其他搜索引擎大概不会这么做。
5、搜索引擎经常对最为常用的关键字进行搜索，所以许多Web站点在自己的网页中隐藏了同一关键字的多个副本。这使得搜索引擎不再去查找Internet，以返回与关键字有关的更多信息。正如读报纸、听收音机或看电视新闻一样，请留意您所获得的信息的来源。搜索引擎能够帮您找到信息，但无法验证信息的可靠性。因为任何人都可以在网上发布信息。
