深入浅出元搜索引擎

Elasticsearch深入浅出:从入门到实战 Elasticsearch作为一种高性能、高扩展性的分布搜索引擎,凭借其强大的全文检索能力、灵活的数据模型以及与大数据生态系统的无缝集成,在数据管理分析领域得到了广泛应用。本文从Elasticsearch的核心概念、架构设计、安装配置、常用操作以及高级特性等方面进行了深入浅出的介绍,并通过实战案例展示了其在实际业务中的应用价值。通过本文的学习,读者可以快速掌握Elasticsearch的使用方法,并在实际工作中应用Elasticsearch解决数据存储、检索分析的问题。 阅读详情

一.引言

  随着网上信息资源的膨胀发展,传统搜索引擎在搜索引擎的查全率和查准率方面很难满足用户的要求。为了查询相关的内容,用户经常是同时使用多个搜索引擎查询相同内容,然後在各个搜索引擎的结果中综合出最适合自己的内容。这对于熟练的检索人员而言,可能不是什么难题,但是对于一般的网上信息搜集者来讲,肯定比较困难。因此如何准确选择搜索引擎、如何减轻学习与操作负担、如何有效利用多个搜索引擎的"集成"资源与检索能力,就成为制约网络信息检索技术进一步优化和发展的重要问题。正是面对这个挑战,检索工具开发者设计了元搜索引擎(Meta-SearchEngine)。下面我们来一起学习和了解元搜索引擎的原理和特点,然后介绍了常用的元搜索引擎用法和特点。

  二.什么是元搜索引擎

  元搜索引擎,通过一个统一用户界面帮助用户在多个搜索引擎中选择和利用合适的(甚至是同时利用若干个)搜索引擎来实现检索操作,是对分布于网络的多种检索工具的全局控制机制。

  一个真正的元搜索引擎由三部分组成,即:检索请求提交机制、检索接口代理机制、检索结果显示机制。"请求提交"负责实现用户"个性化"的检索设置要求,包括调用哪些搜索引擎、检索时间限制、结果数量限制等。"接口代理"负责将用户的检索请求"翻译"成满足不同搜索引擎"本地化"要求的格式。"结果显示"负责所有源搜索引擎检索结果的去重、合并、输出处理等元搜索引擎的出现,对于那些需要连续地使用不同的搜索引擎重复相同的检索的人来说,是一个福音。使用元搜索引擎同时对几个搜索引擎进行检索,获得分级编排的检索结果。

  三.元搜索引擎的原理

  我们可将元搜索引擎看成具有双层客户机/服务器结构的系统,用户向元搜索引擎发出检索请求。元搜索引擎再根据该请求向多个搜索引擎发出实际检索请求;搜索引擎执行元搜索引擎检索请求后将检索结果以应答形式传送给元搜索引擎,元搜索引擎将从多个搜索引擎获得的检索结果经过整理再以应答形式传送给实际用户。当然,某些元搜索引擎具有略微不同的机制。
四.元搜索引擎的分类

 

  在可以检索的目标搜索引擎、检索提问的处理方式以及如何编译和显示结果方面,元搜索引擎有着很大的差异。有些元引擎一个接一个的搜索目标搜索引擎,另一些则同时进行搜索。有些搜索引擎将检索提问转变成目标搜索引擎的提问语言,而有一些则原封不动的发送给目标引擎。

  按功能划分,元搜索引擎包括多线索式搜索引擎和All-in-One式搜索引擎;按运行方式的差异可分为在线搜索引擎和桌面搜索引擎。

  1、多线索式元搜索引擎

  多线索式元搜索引擎,指利用统一的检索界面,实现对多个独立搜索引擎索引数据库进行检索,并将检索结果以统一格式显示的网络检索工具。Metacrawler(http://www.metacrawler.com)、Savvysearch(http://www.savysearch.com)、Profusion(http://www.profusion.com)等都属于多线索式元搜索引擎。这类元搜索引擎一般具有以下特征:

  统一检索界面:元搜索引擎提供统一界面,提供对各搜索引擎特点介绍和选择机制,但所有目标搜索引擎构成一个逻辑整体,元搜索引擎检索界面构成唯一的全局外部检索模式,用户通过这个全局界面实现对多个或任意一个搜索引擎的检索。

  检索指令转换:在具有唯一全局外部检索模式情况下,系统可提供统一的全局指令语言,并自动地实现元搜索引擎指令与其目标搜索引擎指令的转换,用户使用同一指令语言检索不同的搜索引擎的索引数据库。

  统一结果集的组织与显示:元搜索引擎提供全局组织器,对各目标搜索引擎返回的结果进行处理,形成全局结果集,并以统一格式显示,主要涉及数据格式转换、去重、统一排序等。

  2、All-in-one方式

  All-in-One方式,是指元搜索引擎界面以任意顺序或分类罗列多个(一般都是数十个)搜索引擎,元搜索引擎本身主要提供各类搜索引擎的介绍信息和物理连接机制。用户可通过这类元搜索引擎了解有关的搜索引擎、联入所选择的搜索引擎。但元搜索引擎没有统一的全局外部模式,而是以各搜索引擎的检索模式和数据格式直接面对用户。例如 All-in-one元搜索引擎(www.albany.net)。这种 All-in-one方式的元搜索引擎确切地说只是搜索引擎的罗列,它们具有以下特点:

  仅仅提供一个简单的界面来帮助用户选择和使用各搜索引擎;只能选择一个搜索引擎进行检索;对各目标摸索引擎检索界面的复制可能是部分的或全部的;直接利用所选搜索引擎的显示格式呈送给用启。
3、桌面元搜索引擎

 

  以上各类元搜索引擎都是通过网上调用方式在线使用,还有另外一类元搜索引擎可直接在用户计算机上运行,相当于用户自己拥有一个元摸索引擎,称之为桌面元搜索引擎。这些桌面元搜索引擎可从网络上下载。桌面元搜索引擎是一个包括多个成员搜索引擎的完整系统,它们往往允许用户自定义检索式运行的搜索引擎集合(例如一个或全部目标搜索引擎),甚至可由用户添加新的搜索引擎,例如WebCompass(http://www.qdeck..com/products/Webcompass)。这些桌面元摸索引擎不仅可以实现对多个搜索引擎的并行检索,而且也能提供重要的后期处理功能。例如用户定义结果排序方式、删除重复记录等功能。

  4.元搜索引擎与传统搜索引擎的区别

  搜索引擎与元摸索引擎的主要区别在于搜索引擎拥有独立的网络资源采集标引机制和相应的数据库,而元搜索引擎一般没有自己独立的数据库,却更多地是提供统一联接界面(或进一步地提供统一检索方式和结果整理),形成一个由多个分布的、具有独立功能的搜索引擎构成的虚拟整体,用户通过元搜索引擎的功能实现对这个虚拟整体中各独立搜索引擎数据库的查询显示等一切操作。元搜索引擎中各独立搜索引擎被称为"目标搜索引擎",或者"成员搜索引擎",它们各自保持其原来的局部数据模式和自己的检索指令;元搜索引擎给出一个全局外部模式,用以接受用户检索输入和结果输出。不过,有些元搜索引擎给出的全局外部模式不够完善。

  5.常用元搜索引擎介绍

  (1) 万纬搜索引擎

  网址:http://www.widewaysearch.com

  万伟搜索引擎是最有名的中文元搜索引擎(笔者认为也是最好的中文元搜索引擎)。万纬中文集成搜索引擎包括了8个英文搜索引擎如AltaVista、Argos、directHit、Fast、Google、hotbot、northernLight、Yahoo和12个中文搜索引擎如网典、新浪、雅虎(中文)、搜狐、搜索客、天网、悠游搜索、好多、找到啦、欧姆龙、飞华、Excite(中文)。用户可根据需要自由选择其中最多6个引擎进行同步搜索,搜索结果可按相关度、时间、域名和引擎分类。

  (2) Mamma(英文元搜索引擎)

  网址:http://www.mamma.com
说到元搜索引擎不能不说Mamma,  Mamma自称为"搜索引擎之母"的并行元搜索引擎,可同时调用7个最常用的独立搜索引擎,并且可查询网上商店、新闻、股票指数、图像和声音文件等资源。其特点是检索界面友好,检索选项丰富,主要包括:可控制调用的独立搜索引擎、选择使用短语检索功能、设定检索时间、设定每页可显示记录数等。另外,Mamma支持常用检索语法在不同搜索引擎中的转换,还提供了专门检索页面文件标题的特殊检索服务,以及通过E-mail传输检索结果的特色功能。检索结果以相关性排序,内容包括网页名称、URL、文摘、源搜索引擎。
(3) Profusion(英文搜索引擎)

 

  网址:http://www.profusion.com

  Profusion是一个优秀的智能型元搜索引擎,是2000年元搜索引擎9238推荐奖获得者。Profusion在其检索界面上提供了尽可能多的检索选项,包括:检索类型(简单、All、Any、布尔、短语)、结果显示(1~10、1~20等)、摘要选项、链接检查、搜索引擎选择(根据检索需求动态的提供最好的3个、最快的3个或全部、自定义等),可搜索资源范围涵盖娱乐、健康、体育、MP3、Usenet等,并支持个性化设置,自动实现符合特殊检索语法要求的转换,如在调用Excite、InfoSeek、WebCrawler时将"NEAR"转换成"AND",在调用GoTo、Yahoo时将"NOT"删除等。另外,Profusion提供了比较丰富的检索技巧和FAQ内容。笔者在申请美国大学奖学金时用这个搜索引擎查询相关内容所得结果都比较满意。

  (4) C4(英文搜索引擎)

  网址:http://www.c4.com/

  C4搜索引擎是2000年元搜索引擎9238推荐小奖获得者。并行元搜索引擎,可对网页,健康,商业,财经新闻,科技新闻,标题新闻,家庭工作,mp3,体育,公司名录和新闻组共11大类53个搜索引擎发送搜索请求。支持AND,OR,NOT和短语搜索,象askjeeves一样支持自然语言搜索,但不同的是没有自己的标准问答库,搜索结果都来自网上。返回结果每页显示可从5到50条自选,默认20条。搜索结果以相关性排序,每条结果旁都有来源搜索引擎的标志,如果对哪个搜索引擎满意,可以点击"MORE FROM XXXX"直接用那个搜索引擎搜索。注册后可保存个性化设置,在任何地方登录后均可进行个性化搜索,还提供在线收藏夹,可以保存复杂或常用的搜索请求。提供了有多达5种很酷截界面的搜索功能代码免费下载安装在用户主页上。

  其他常用的英文元搜索引擎还有Ask Jeeves(http://www.askjeeves.com/)ByteSearch (http://www.bytesearch.com/ )MetaCrawler(http://www.metacrawler.com/ )等,这里不一一介绍,留给读者自己去体会。

Elasticsearch的介绍 以及使用python操作es详细步骤 一. 什么是 Elasticsearch 想查数据就免不了搜索,搜索就离不开搜索引擎,百度、谷歌都是一个非常庞大复杂的搜索引擎,他们几乎索引了互联网上开放的所有网页数据。然而对于我们自己的业务数据来说,肯定就没必要用这么复杂的技术了,如果我们想实现自己的搜索引擎,方便存储检索,Elasticsearch 就是不二选择,它是一个全文搜索引擎,可以快速地储存、搜索分析海量数据。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布用户能力的全文搜索引擎,基于RESTful w 阅读详情

相关推荐

【SpringBoot深入浅出系列】SpringBoot之集成Elasticsearch

springboot 之集成 Mybatis一、Elasticsearch 是什么?二、创建项目集成 Elasticsearch1.项目说明2.创建 Spring Initializr 项目 es(1).添加依赖(2).添加配置(3).新建实体类 User(4).新建 Mapper 接口类 UserMapper(5).新建 UserMapper.xml 文件(6).新建服务接口类 UserService(7).新建服务实现类 UserServiceImpl(8).新建控制类 UserController(9

邓邓子的博客 6339

搜索

<br />Meta-search engine(搜索引擎)是在前述搜索引擎基础上建立的可以同时查询搜索引擎的WWW站点,其英文原意是搜索引擎之后或之上的搜索引擎,因而也可以叫做后搜索引擎。虽然搜索引擎依赖其他独立搜索引擎而存在,但它们集成了不同性能不同风格的搜索引擎并发展了一些新的查询功能,查一个搜索引擎就相当于查个独立搜索引擎,可以收到事半功倍的效果,故值得选用。<br />按照搜索机制划分,搜索引擎包括并行串行两类,并行搜索引擎运行时是将查询请求同时发向各个独立搜索引擎,然后

fanlu319的专栏 2567

Metacrawler浏览器扩展「Metacrawler Browser Extension」-crx插件

Metacrawler浏览器扩展 Metacrawler的附加组件最大程度地增强了您的搜索体验,借助Metacrawler Extension,您可以轻松访问自己喜欢的网站,从而获得更好,更快的搜索结果。 支持语言:English (United States)

探索无限知识之海:搜索引擎深度剖析

探索无限知识之海:搜索引擎深度剖析 项目介绍 在信息爆炸的时代,寻找精准而全面的信息变得至关重要。搜索引擎,正如其名,是一个智慧的桥梁,它连接了个主流搜索引擎,如百度与谷歌,为用户提供了一个统一且高效的检索入口。无需在不同的搜索引擎间频繁切换,一次操作即可遍览方信息,极大地提升了搜索效率与体验。 项目技术分析 搜索引擎的设计巧妙地融合了分散的技术力量,核心亮点在于其对搜索引擎资源的有效整...

gitblog_00190的博客 1118

搜索引擎一览

常用搜索引擎 1 、 qbSearch http://www.qbsearch.com/ ) 2 、 Query Server http://www.queryserver.com ) 3 、 Turbo10 http://turbo10.com/ ) 4 、 Dogpile http://www.dog...

p_x1984的专栏 5623

什么是搜索引擎

<!--google_ad_client = "pub-1654710028568330";/* 728x90, 创建于 08-5-19 */google_ad_slot = "5790075209";google_ad_width = 728;google_ad_height = 90;//--><script type="text/javascript"src=

静心编程-java-php-jsp-数据库-网站-我们一起成长 1747

5分钟了解lucene

本文通俗地介绍了Lucene全文检索的内容及工作原理,以及索引的结构,旨在让以前未了解过Lucene的读者在能在短时间内对Lucene有简单认知,未介绍具体代码,读完本文可知道Lucene是什么,有哪些具体应用,我们一直说的索引是什么。 Lucene介绍及应用 Apache Lucene是当下最为流行的开源全文检索工具包,基于JAVA语言编写。 目前基于此工具包开源...

gao2175的博客 214

Android OpenGL ES 3.0 3D模型介绍以及加载渲染

模型加载可以使用模型加载库 Assimp,Assimp 全称为 Open Asset Import Library,可以支持几十种不同格的模型文件的解析(同样也可以导出部分模型格),Assimp 本身是 C++ 库,可以跨平台使用。常用的模型文件格有 .obj、.max、.fbx .3ds 等,其中.obj是 Wavefront 科技开发的一种几何体图形文件格,包含每个顶点的位置、纹理坐标、法线,以及组成面(边形)的顶点列表等数据,应用较为广泛。模型的数据量是非常大的,这里做了部分截取。

风的轨迹 4256

【我的OpenGL学习进阶之旅】介绍一下 图的类型:三角形、直线点精灵

一、图是可以用OpenGL ES中的glDrawArrays、glDrawElements、glDrawRangeElements、glDrawArraysInstancedglDrawElementsInstanced命令绘制的几何形状对象。 图由一组表示顶点位置的顶点描述。其他如颜色、纹理坐标几何法线等信息也作为通用属性与每个顶点关联。 OpenGL ES可以绘制如下图: 三角形 直线 点精灵 1.1 三角形 三角形代表着描述由3D应用程序渲染的几何形状对象时最常用的方法。 Open

字节卷动 1973

ElasticSearch深入浅出

Elasticsearch是一个分布开源搜索引擎,基于Lucene开发,支持文本、数字等各类数据的快速检索分析。其核心概念包括索引(存储文档集合)、分片(数据分区)、副本(数据备份)等。通过倒排索引实现高效搜索,将关键词映射到文档ID列表。写入流程包含路由到主分片、同步副本等步骤;搜索流程则分为查询阶段(收集数据)获取阶段(拉取实际数据)。文档写入采用近实时机制,每秒刷新内存缓冲区到可搜索的段,并通过translog保障数据持久性。此外,段合并机制优化存储,定期合并小段为大段以提升性能。广泛应用于搜

qq_34285707的博客 3007

[架构师之路] 深入浅出搜索引擎 系列

集合了《架构师之路》公众号,截止到20171202的关于搜索架构设计实现的文章。 文章浅显易懂,从最核心的 索引建立、结果合并、增量更新、重复检测,到整体架构设计都有。虽然细节不,但是思路很清晰数据量级分析很清楚,颇有参考价值。 http://zhuanlan.51cto.com/art/201702/531315.htm 深入浅出搜索架构引擎、方案与细节(上) http://zhuanlan.51cto.com/art/201702/532287.htm 就是这么迅猛的实现搜索需求 http://z

qijiqiguai的专栏 2902

ElasticSearch学习笔记(一)-搜索引擎介绍及ElasticSearch安装

养成习惯,先赞后看!! 目录1.搜索引擎1.1-什么是搜索引擎1.2-主流的搜索引擎有哪些1.3-搜索引擎为什么这么快?2.安装步骤2.1-安装环境2.2-主要配置文件2.3-创建文件夹并上传文件并解压2.4-修改配置文件 1.搜索引擎 1.1-什么是搜索引擎 1.2-主流的搜索引擎有哪些 目前主流的搜索引擎主要有三大家分别是: Solr ElasticSearch Hermes 接下来我们分别介绍一下这三者. 1.3-搜索引擎为什么这么快? 既然我们想要知道搜索引擎为什么这么快的话,我们就

lovely__RR的博客 729

搜索引擎_全文搜索引擎目录搜索引擎搜索引擎的区别

全文搜索引擎、目录搜索引擎搜索引擎的区别为:数据来源不同、操作不同、得到网站不同。一、数据来源不同1、全文搜索引擎:全文搜索引擎的数据来源为自动抓取的网页生成索引。2、目录搜索引擎:目录搜索引擎的数据来源为人工收录分类的数据库。3、搜索引擎搜索引擎的数据来源为其他搜索引擎获取结果。二、操作不同1、全文搜索引擎:全文搜索引擎通过从互联网上提取的各个网站的信息而建立的数据库中,检索与用户查询...

weixin_40007515的博客 5069

一文理解全文搜索引擎(Lucene、Elasticsearch、Solr)、目录搜索引擎搜索引擎的异同

一、全文搜索引擎是什么?     计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方。     全文搜索引擎主要有:Lucene、Elasticsearch、Solr。    Lucene,是一个开放源代码的全文检索引擎工具包,不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎索引引擎。目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系

tonglingtou1875的博客 4893

搜索大全——实用搜索引擎

搜索大全——实用搜索引擎 学术及参考 通过下列搜索引擎你可以发现可靠而权威的网址来帮助你完成家庭作用课程设计。 Librarian’s Internet Index: 该网站提供包括媒体、法律、交际、消费者研究、健康等“值得你信任的网址”。 Scirus: 该科学搜索引擎声称是“综合性最强的在线科学研究工具”,它共索引了超过450百万科学相关信息源。http://www.scienc...

eli的博客 2910

互联网搜索引擎SearXNG

SearXNG 是一个免费的互联网搜索引擎,它来自各种搜索服务数据库的结果。

wbsu2004的博客 1万+

搜索引擎的研究设计

  搜索引擎的研究设计计算技术研究所 李锐colin719@126.com摘要:论文简要介绍了搜索引擎的相关知识,提出了一个搜索引擎系统的设计构想。该系统采用了反馈机制,在用户察看结果时进行在线学习调整。在系统设计中提出了搜索语法的设计、基于用户喜好的成员搜索引擎的自动调度机制、个性化服务的支持等,并给出了建立一个搜索引擎系统的关键技术。最后分析了该系统的意义以及尚需解决的

秋枫林的专栏 6668

【亲测免费】 搜索引擎使用教程

搜索引擎使用教程 项目介绍 搜索引擎 是由 YSC 开发的一个开源项目,旨在通过一个统一且直观的用户界面,让用户能够灵活选择并高效利用包括但不限于百度、谷歌在内的搜索引擎进行信息检索。这个项目构建了一个分布检索工具的控制层,无需自行搭建复杂的搜索引擎架构,即可接入广泛的数据源。它适用于新闻采集、品牌监控、知识管理以及提升人机问答系统的数据丰富度等种应用场景。采用 JSoup CSS...

gitblog_00069的博客 621
上一篇: 中文搜索引擎技术揭密:网络蜘蛛
下一篇: 常见的ASP脚本攻击及防范技巧
husn
博客等级 码龄21年 11粉丝 64原创
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值