Redian新闻
>
16款开源的全文搜索引擎

16款开源的全文搜索引擎

公众号新闻

全文搜索引擎就是通过从互联网上提取的各个网站的信息(以网页文字为主)而建立的数据库中,检索与用户查询条件匹配的相关记录,然后按一定的排列顺序将结果返回给用户。

1、Apache Lucene Java 全文搜索框架

许可证:Apache-2.0 开发语言:Java 官网:https://lucene.apache.org/

Apache Lucene 是完全用 Java 编写的高性能、功能齐全的全文检索引擎架构,提供了完整的查询引擎和索引引擎、部分文本分析引擎。目的是为软件开发人员提供一个简单易用的工具包,以方便地在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。

项目地址:https://www.oschina.net/p/lucene

2、Apache Solr 全文搜索服务器

许可证:Apache-2.0 开发语言:Java 官网:https://solr.apache.org/

Apache Solr 是基于 Lucene 的全文搜索服务器,也是最流行的企业级搜索引擎,其主要功能包括全文检索、命中高亮、分面搜索、动态聚类、数据库集成,以及对富文本(如 Word、PDF)的处理。Solr 高度可扩展,并提供了分布式搜索和索引复制,Solr 4 还增加了 NoSQL 支持。

项目地址:https://www.oschina.net/p/solr

3、Elasticsearch 分布式搜索引擎

许可证:Apache-2.0 开发语言:Java 官网:https://www.elastic.co/cn/elasticsearch/

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,Elasticsearch 会集中存储你的数据,让你飞快完成搜索,微调相关性,进行强大的分析,并轻松缩放规模。

项目地址:https://www.oschina.net/p/elasticsearch

4、Nutch 搜索引擎

许可证:Apache-2.0 开发语言:Java 官网:https://nutch.apache.org/

Nutch 是一个开源 Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和 Web 爬虫。

Nutch 的创始人是 Doug Cutting,他同时也是 Lucene、Hadoop 和 Avro 开源项目的创始人。

项目地址:https://www.oschina.net/p/nutch

5、RediSearch 高性能全文搜索引擎

许可证:AGPL 开发语言:C/C++ 官网:https://redis.io/docs/stack/search/

RediSearch 是一个高性能的全文搜索引擎,可作为一个 Redis Module 运行在 Redis 上,是由 RedisLabs 团队开发的。实现了Redis的查询、二级索引和全文搜索。这些功能在文本查询的基础上实现了多字段查询、聚合、精确短语匹配、数字过滤、地理过滤和矢量相似性语义搜索。

项目地址:https://www.oschina.net/p/redisearch

6、Sphinx Search 全文搜索引擎

许可证:GPL 开发语言:C/C++ 官网:http://sphinxsearch.com/

Sphinx 是一个开源的全文搜索服务器,从头开始设计时就考虑到了性能、相关性(又名搜索质量)和集成的简单性。它是用 C++ 编写的,适用于 Linux(RedHat、Ubuntu 等)、Windows、MacOS、Solaris、FreeBSD 和其他一些系统。

Sphinx 让你可以快速轻松地批量索引和搜索存储在 SQL 数据库、NoSQL 存储或文件中的数据,或者即时索引和搜索数据,使用 Sphinx 就像使用数据库服务器一样。各种文本处理功能可以根据你的特定应用程序要求微调 Sphinx,并且许多相关功能确保你也可以调整搜索质量。

项目地址:https://www.oschina.net/p/sphinxsearch

7、ftserver 轻量精准全文搜索服务器

开发语言:Java FTServer (FTS) 是一个轻量精准全文搜索服务器,使用英文规则处理英文,使用中文规则处理中文,不需要切割中文为单词,可以支持中文字的任意排列,精准搜索中文长句子,轻松处理古文古诗词,写意句子不影响搜索,不依赖词库,搜索中文不漏词。非常容易按需定制,直接编译就可以使用,无需额外配置,同时可以嵌入到各种应用内部。

项目地址:https://www.oschina.net/p/ftserver

8、Xapian C++检索引擎

许可证:GPL 开发语言:C/C++ 官网:https://xapian.org/

Xapian 是一个用 C++ 编写的全文检索程序,他的作用类似于 Java 的 lucene。尽管在 Java 世界 lucene 已经是标准的全文检索程序,但是 C/C++ 世界并没有相应的工具,而 Xapian 则填补了这个缺憾。

Xapian 是一个高度适应性的工具包,它允许开发人员轻松地将高级索引和搜索工具添加到他们自己的应用程序中。它内置支持多个权重模型系列,还支持一组丰富的布尔查询运算符。

项目地址:https://www.oschina.net/p/xapian

9、Hibernate Search Hibernate搜索框架

许可证:LGPL 开发语言:Java 官网:https://hibernate.org/search/

Hibernate Search 的作用是对数据库中的数据进行检索的。它是 hibernate 对著名的全文检索系统 Lucene 的一个集成方案,作用在于对数据表中某些内容庞大的字段(如声明为 text 的字段)建立全文索引,这样通过 hibernate search 就可以对这些字段进行全文检索后获得相应的 POJO,从而加快了对内容庞大字段进行模糊搜索的速度(sql 语句中 like 匹配)。

Hibernate Search 自动从 Hibernate ORM 实体中提取数据,以将其推送到本地 Apache Lucene 索引或远程 Elasticsearch 索引。

项目地址:https://www.oschina.net/p/hibernate+search

10、MeiliSearch 轻量搜索引擎

许可证:MIT 开发语言:Rust 官网:https://www.meilisearch.com/

Meilisearch 是 Rust 实现的高性能开源搜索引擎,支持方便地集成到任何网站或应用程序,支持自托管 (self-hosting),可作为 Algolia 和 Elasticsearch 的轻量替代方案。Meilisearch 内置了许多实用功能,比如:

  • 快速的输入即搜索 (search-as-you-type) 体验,也称作 “即时搜索”

  • 支持冗错 / 纠错搜索 (typo tolerance)

  • 支持多面搜索 (faceted search)

  • 支持基于地理位置的搜索 (geosearch)

  • 支持多租户 (multi-tenancy)



Meilisearch 提供了一整套完整的 SDK 和库,让开发者便捷地将其连接到流行的编程语言和 Web 工具。Meilisearch 的搜索功能支持所有语言,对任何使用空格分隔单词的语言以及中文、日语、希伯来语、泰语和韩语都进行了特殊优化。

项目地址:https://www.oschina.net/p/meilisearch

11、Manticore Search C++ 开发的高性能搜索引擎

许可证:GPL-2.0 开发语言:C/C++ 官网:https://manticoresearch.com/

Manticore Search 是一个使用 C++ 开发的高性能搜索引擎,创建于 2017 年,其前身是 Sphinx Search 。Manticore Search 充分利用了 Sphinx,显着改进了它的功能,修复了数百个错误,几乎完全重写了代码并保持开源!这一切使 Manticore Search 成为一个现代,快速,轻量级和功能齐全的数据库,具有出色的全文搜索功能。

来自 MS 官方的测试表明 Manticore Search 性能比 ElasticSearch 有很大的提升。

项目地址:https://www.oschina.net/p/manticoresearch

12、Tantivy 全文搜索引擎库

许可证:MIT 开发语言:Ruby

Tantivy 是一个用 Rust 编写的搜索引擎库,其灵感来自于 Lucene。得益于 Rust 语言加持,Tantivy 性能比 Lucene 要好得多。

项目地址:https://www.oschina.net/p/tantivy

13、Tantiny Ruby 全文搜索引擎库

许可证:MIT 开发语言:Ruby、SHELL、Rust

Tantiny 是一个基于 Tantivy 的 Ruby 的最小化全文搜索库。当你手头的任务需要全文搜索,但配置一个完整的分布式搜索引擎会比任务本身花费更多的时间时,它是非常好的选择。

即使你已经在你的项目中使用了这样的引擎(实际上这是很有可能的),使用 Tantiny 仍然可能更容易,因为与 Solr 和 Elasticsearch 不同,它不需要任何东西来工作(没有单独的服务器或进程或其他什么),它是纯粹的可嵌入的。所以,当你发现自己在使用你所选择的搜索引擎会很麻烦 / 不方便,或者需要额外的设置时,你总是可以回到一个快速和肮脏的解决方案,但还是很灵活和快速。

Tantiny 并不完全是对 Tantivy 的 Ruby 绑定,但它试图接近。主要理念是提供对 Tantivy 倒排索引的低级访问,但具有漂亮的 Ruby 风格的 API、合理的默认设置和附加功能。

项目地址:https://www.oschina.net/p/tantiny

14、DataparkSearch 搜索引擎

许可证:GPL-2.0 开发语言:C/C++ 官网:http://www.dataparksearch.org/

DataparkSearch 搜索引擎是一个 C 语言的全功能的开源基于 Web 的搜索引擎。

项目地址:https://www.oschina.net/p/dataparksearch

15、GoFound 基于 Go 的全文检索引擎

许可证:Apache-2.0 开发语言:Google Go

GoFound 是一个 go 语言全文检索引擎, 基于平衡二叉树 + 正排索引、倒排索引实现。可支持亿级数据、毫秒级查询。使用简单,使用 http 接口,任何系统都可以使用。技术栈:

  • 平衡二叉查找树

  • 二分法查找

  • 快速排序法

  • 倒排索引

  • 正排索引

  • 文件分片

  • golang-jieba 分词

  • leveldb


项目地址:https://www.oschina.net/p/gofound

16、Compass 搜索引擎

许可证:Apache-2.0 开发语言:Java、Perl 官网:http://www.compass-project.org/

Compass 是一个建立在 Lucene 之上的开源项目,旨在简化搜索与任何 Java 应用的整合。Compass 提供了广泛的功能,旨在集成搜索引擎功能。下图显示了不同的 Compass 模块,然后是每个模块的简短描述。

项目地址:https://www.oschina.net/p/compass


往期推荐



大语言模型(LLM)精选开源项目

中兴新支点OS桌面环境正式开源,仅104M,速度提升20%

Slint 1.0正式发布,Rust编写的原生GUI工具包



活动推荐

2023 年 5 月 27-28 日,GOTC 2023 全球开源技术峰会将在上海张江科学会堂隆重举行。

为期 2 天的开源行业盛会,将以行业展览、主题发言、特别论坛、分论坛、快闪演讲的形式来诠释此次大会主题 ——“Open Source, Into the Future”。与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题,以及 OSPO、汽车软件、AIGC、开源教育培训、云原生、信创等热门话题,探讨开源未来,助力开源发展。

长按识别下方二维码立即查看 GOTC 2023 详情/报名。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
微软给的压力太大,谷歌计划下个月发布全新搜索引擎周鸿祎用一个Demo占住了中国第一个AI搜索引擎的位置岚图汽车否认裁员传闻; 微软必应搜索引擎日活用户突破1亿|首席资讯日报当我奶奶都开始用小红书,我觉得搜索引擎们不妙了。搜啥啥不行!文心一言和 GPT-4 快救救搜索引擎吧ChatGPT 暂时还干不掉的搜索引擎,小红书确实在取代了Meilisearch 1.0稳定版发布,Rust高性能开源搜索引擎地球,瞬间烟花颠覆式变革来了?谷歌将改变搜索引擎展示方式,加入AI对话与短视频苹果:不要直接挂断车祸检测电话/Google将把AI聊天加入搜索引擎/小米 13 Ultra 本月见富贵病Brave搜索引擎新增AI功能Summarizer延字源考正式上线,GitHub向所有用户开放全新代码搜索引擎Google 将把 AI 聊天加入搜索引擎/苏炳添回应使用 iPhone 14/小米 13 Ultra 本月见放弃ElasticSearch,GitHub从零打造搜索引擎!2亿代码仓库怎么搜?AI追踪 | ChatGPT开启四天周工作日大门,媒体再度面临生存威胁,google搜索引擎也将加入AIManticore Search 6正式发布,C++高性能搜索引擎宝马降10万!超30个汽车品牌花式打价格战;SHEIN表示暂无上市计划;微软必应搜索引擎日活用户首次突破1亿丨邦早报ICLR 2023 | 用大语言模型GPT-3直接替代传统搜索引擎语言模型自己学会用搜索引擎了?Meta AI提出API调用自监督学习方法Toolformer微软 Bing “ 开战 ” 谷歌,争夺 Firefox 的默认搜索引擎谷歌开发全新搜索引擎Magi,由人工智能技术驱动加拿大著名商人用搜索引擎找自己名字后 状告谷歌获赔50万微软必应超过百度成为中国第一大桌面搜索引擎;薇娅夫妇半年收获两家上市公司;比亚迪回应法国建厂丨邦早报谷歌摸着ChatGPT过河:没了热度,传统搜索引擎还是吊打LLM现在,人人都想做一个搜索引擎爸爸82岁交往小49岁女友,儿子陷11岁姐弟恋,神奇的一家人放弃 ElasticSearch,GitHub 从零打造搜索引擎!2 亿代码仓库怎么搜?聊一聊:你会把哪些APP当搜索引擎用?三星换必应?谷歌急了,全力推进新AI搜索引擎美国迈阿密(Miami),花园别墅微软发布ChatGPT版搜索引擎;含有脏话的开源代码比不含脏话的质量高 | 周热点nexttrace: 一款开源的全能可视化网络路由追踪工具ChatGPT颠覆传统搜索引擎,它的回答能信几分?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。