Lepton Search :不到 500 行代码构建对话式搜索引擎|开源|可商用

Lepton Search:贾扬清团队创新对话式搜索引擎探索 对话式搜索引擎、Lepton Search、Transformer模型、知识图谱、语义理解、信息检索、人工智能 1. 背景介绍 在信息爆炸的时代,传统的关键词搜索引擎已难以满足人们日益复杂的查询需求。人们越来越希望能够用更自然、更接近人类语言的方式进行信息检索,并获得更精准、更全面 阅读详情

最近前阿里巴巴副总裁贾扬清在 Twitter 上公布了 Lepton Search 的开源项目链接,Apache License 授权,任何人、任何公司都可以自由使用开源代码。大家可以阅读一下源码,非常简洁,核心部分用了 500 行 Python 就实现了一个类似 Perplexity 的生成式搜索引擎。

产品特性

Lepton Search 拥有一系列引人注目的产品特性,使其在众多搜索引擎中脱颖而出:

[1]. 内置支持大语言模型(LLM):Lepton Search 深度集成了大型语言模型,这意味着它能够利用这些先进的AI技术来理解和处理复杂的查询,为用户提供更加准确和深入的答案。

[2] 内置搜索引擎支持:Lepton Search 不仅支持LLM,还内置了强大的搜索引擎功能,能够快速检索互联网上的海量信息,确保用户能够找到最相关和最新的数据。

[3]. 可定制的漂亮用户界面(UI):Lepton Search 提供了一个高度可定制的用户界面,用户可以根据自己的喜好和需求调整界面布局、颜色主题和功能模块,打造个性化的搜索体验。

[4]. 可分享和缓存的搜索结果:Lepton Search 允许用户将搜索结果进行分享,无论是通过社交媒体还是其他平台,都能轻松实现。同时,它还提供了缓存功能,用户可以保存搜索结果,以便日后查阅,无需重复搜索,大大提高了效率。

[5]. 多语言支持:目前支持中文、英语、法语、德语和日语(按字母顺序排列)。有时 LLM 会坚持英文,但总的来说看起来还不错。

贾扬清表示,Lepton Search 的 idea 受到了 Perplexity AI、Phind 等由 LLM 驱动的搜索引擎的启发。

Perplexity AI 成立于 2022 年 8 月,是世界上首个对话式搜索引擎,它以对话式搜索引擎的先锋姿态,引领了搜索技术的新时代。借助GPT等尖端AI技术,Perplexity AI能够即时为用户的问题提供精准答案,对答案的准确性和响应速度有着近乎苛刻的追求。这家公司由OpenAI的前研究科学家Aravind Srinivas(现任Perplexity AI的CEO)和Meta的前研究科学家Denis Yarats(现任CTO)等一群行业翘楚携手创立。

自从Perplexity AI的搜索引擎面世以来,它便以其独特的魅力迅速俘获了众多用户的心,逐渐成为挑战谷歌等老牌搜索引擎的新兴力量。在新年伊始,Perplexity AI宣布成功完成了7360万美元的B轮融资,公司估值飙升至5亿美元,标志着其在AI领域的坚实地位。 另外,Lepton Search 背后使用 MistralAI 开源的 Mixtral-8x7b 作为支撑模型,运行在 LeptonAI 的 playground 托管平台上,吞吐量高达 200 tokens / 秒。该搜索引擎目前使用的是必应搜索 API,Lepton KV 作为无服务器存储。

在Mistral AI的Mixtral模型(一个拥有8x70亿参数的版本)的每秒处理Token数上,Lepton AI目前位居榜首。它是目前排名前三的Mixtral模型托管服务中,唯一支持完整32k Token上下文窗口的。Lepton AI还提供了极具竞争力的价格。Lepton 认为Mixtral是目前表现最佳的开源模型,无论是在性能还是质量上。

这个Mixtral模型的端点位于 http://search.lepton.run:每次查询都会同时发起两个请求,一个用于获取答案,另一个用于获取相关问题。

产品部署

Perplexity AI 的开源版本是“Lepton Search” 。我立即部署并尝试了一下,部署过程简单快捷,效果出乎意料地好!难以置信,这么高效的服务竟然能在短短10分钟内搭建完成,而且完全免费! LLM使用的“mixtral-8x7b”,搜索引擎设置为“Bing”。

部署 Lepton Search 有两种方法:

1、在本地环境中部署

Lepton Search的部署安装步骤如下:

- 克隆Lepton Search项目:
在命令行中运行 `git clone https://github.com/leptonai/search_with_lepton.git`
- 安装Lepton AI:
在命令行中运行`pip install -U leptonai && lep login`,这将自动设置LLM和KV函数。
- 设置Bing密钥:
在命令行中运行`export BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY`,其中`YOUR_BING_SUBSCRIPTION_KEY`需要替换为你的Bing订阅密钥。
- 构建前端网络:
在命令行中切换到web目录,然后运行`npm install && npm run build`。
- 运行后台服务器:
在命令行中运行`BACKEND=BING python search_with_lepton.py`。

以上步骤完成后,Lepton Search应该已经成功部署并运行在你的本地环境中。注意,这些步骤需要在Python 3.8或更高版本的环境中执行,并且可能需要安装一些依赖包。

2、基于Lepton 云部署

如果您还没有,您可以通过按GitHub中的“Deploy”按钮 ( https://github.com/leptonai/search_with_lepton) 并设置搜索引擎 (Bing|Google) 的 API 密钥来轻松尝试。

常见问题

问:Bing 的搜索 API 是免费的吗?

答:每秒搜索次数达3次即可免费使用。当然,如果您想为多个用户开发服务,则需要付费版本。然而,免费版本足以尝试个人的 Lepton Search。

问:Lepton Search 是否可以用于商业目的?

A. 是的,可以使用。 Lepton Search 是作为“Apache 2.0”开源发布的,因此也允许商业用途。

References

[1]. Lepton Search Online :https://search.lepton.run/

[2]. Lepton Search GitHub:https://github.com/leptonai/search_with_lepton

[3]. 贾扬清 Twitter: https://twitter.com/jiayq

Lepton Search:AI搜索的新尝试 AI搜索, Lepton Search, 知识图谱, 嵌入式表示, 检索模型, 自然语言处理 1. 背景介绍 在信息爆炸的时代,海量数据的涌现使得传统的搜索引擎难以满足人们日益增长的信息获取需求。传统的基于关键词匹配的搜索方式往往难以理解用户意图,并难以提供精准、相关的搜索结果。近年 阅读详情

相关推荐

Megatron-LM深度解析:万亿参数大模型的3D并行训练之道

训练框架,采用创新的"层内模型并行"设计,通过将Transformer层的计算拆分到多个GPU上并行执行,显著提升训练效率。该系统支持3D并行策略(数据并行、张量并行、流水线并行)和序列并行等新技术,成功应用于训练5300亿参数的MT-NLG模型。相比DeepSpeed、TPU GSPMD等框架,Megatron-LM在NVIDIA GPU上展现出卓越性能,并与TensorRT等工具深度集成,形成从训练到部署的完整解决方案。该项目持续演进,已成为大模型训练的重要基准。

数据与算法架构提升之路专栏 2057

一探Lepton Search究竟

2024年1月25日,阿里巴巴原技术副总裁在 Twitter 上称用不到 500 行 Python 代码实现了 AI 对话搜索引擎,并在27日附上了开源地址:https://github.com/leptonai/search_with_lepton,截止春节期间已经5.8K的Star。Twitter截图Commits界面。

wu__di的博客 1920

告别版本过低提示!微信3.9登录修复与聊天记录无缝迁移全攻略

本文详细解析了微信3.9版本过低提示的根源,并提供了完整的修复方案和聊天记录迁移指南。通过专用修复工具绕过版本检测,以及新旧版本聊天记录目录对比,帮助用户实现无缝迁移。特别提醒备份重要数据,确保操作安全。

weixin_42535461的博客 3009

深入探究 Lepton Search:AI 搜索引擎的新势力

在人工智能与搜索技术深度融合的当下,Lepton Search 以其独特的魅力闯入了人们的视野。它是由贾扬清的 Lepton AI 团队推出的一款创新型 AI 增强对话式搜索引擎,虽然代码量仅约 500 行,却展现出了强大的功能与潜力,引发了广泛的关注与讨论。本文将深入剖析 Lepton Search 的各方面特性,带您全面了解这一新兴的搜索工具。

寻道AI,探索AI无限可能! 2259

驯服电源尖峰:从BUCK/BOOST环路剖析到高di/dt噪声的实战抑制

本文深入探讨了电源系统中高di/dt噪声的产生机制及抑制方法,通过BUCK/BOOST电路的环路分析,揭示了电流路径不连续导致的电压尖峰问题。文章提供了实用的PCB布局技巧和噪声抑制策略,包括最短回路原则、铺铜优化和过孔阵列战术,帮助工程师有效降低EMI噪声,提升电源系统的稳定性。

weixin_29587015的博客 263

MATLAB信号处理实战:VMD分解参数调优全指南(附避坑技巧)

本文深入探讨了MATLAB中变分模态分解(VMD)的核心参数调优实战技巧。针对模态数K和惩罚系数α的选择难题,提供了从经验估计、可视化观察到量化指标辅助的渐进式调优框架,并分享了避免过分解与欠分解的实用避坑指南,旨在帮助工程师高效处理非平稳信号,提取清晰的物理特征。

weixin_29079671的博客 138

如何用AI构建智能搜索引擎:Search with Lepton完整指南

Search with Lepton是一个革命性的AI智能搜索项目,通过不到500行代码就能构建自己的对话式搜索引擎。这个开源工具将大型语言模型与搜索引擎完美结合,为用户提供准确、可靠的智能问答体验。🚀 ## 🔍 什么是Search with Lepton? Search with Lepton是一个基于检索增强生成(RAG)技术的智能搜索解决方案。它利用AI大语言模型分析搜索结果,生成精

gitblog_00642的博客 1005

DSPACE仿真平台的使用

DSPACE仿真平台的使用 文章目录DSPACE仿真平台的使用1.ModelDesk新建项目2.MotionDesk引入项目3.ControlDesk引入项目4.项目整合运行 我们使用DSPACE仿真平台软件来模拟小汽车的自动驾驶。 总共需要用到DSPACE大类下的三个软件:ModelDesk、ControlDesk、MotionDesk。 1.ModelDesk新建项目 在桌面上点击ModelDesk图标,打开DSPACE—ModelDesk 选择 File 标签,侧边栏选择 New,点击 New A

qq_42582489的博客 7511

项目分享|贾清扬大佬500行代码的AI搜索引擎—search-with-lepton

开源AI搜索引擎介绍search-with-lepton

weixin_45783724的博客 1491

《湖科大教书匠计算机网络》学习笔记总目录+思维导图

本篇文章是对《湖科大教书匠计算机网络》所有知识点的笔记总结归档和计算机网络的思维导图

weixin_73077810的博客 8187

开发者必备:search_with_lepton提升代码查找效率实战

你是否还在为以下问题困扰?使用传统搜索引擎查找代码时结果杂乱无章,筛选有效信息耗时费力;尝试多种工具组合却面临配置复杂、学习成本高的困境;本地代码库搜索功能有限,无法结合最新技术文档。本文将介绍如何使用search_with_lepton工具,通过500行代码构建一个集成LLM的智能代码搜索引擎,解决上述痛点,提升开发效率。 读完本文后,你将能够: - 快速搭建支持多搜索引擎的智能检索系统 - ...

gitblog_01058的博客 814

智警杯1.4---excel可视化

知识点

lulu001128的博客 944

500行代码构建AI搜索工具,贾扬清最新开源项目登顶GitHub热榜

2023 年 3 月,贾扬清从阿里离职后联合创立了一家新的 AI 公司 Lepton AI,旨在建立高效的 AI 应用平台。贾扬清介绍称,Lepton Search 的后端是 Mixtral-8x7b 模型,托管在 LeptonAI,输出速度能达到每秒大约 200 个 token,搜索引擎采用了 Bing 的搜索 API。贾扬清前几天在社交平台介绍了自己开发的 AI 应用 Lepton Search —— 一个用 500 行 Python 代码构建的对话式 AI 搜索工具。1、搜索质量至关重要。

IT界那些事儿 623

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

500行Python代码构建的AI搜索工具!

后端是Mixtral-8x7b 模型,托管在 LeptonAI 上,输出速度能达到每秒大约200个 token,用的搜索引擎是 Bing 的搜索 API。一个500行Python代码构建的AI搜索工具,而且还会开源,试了一下麻雀虽小该有的都有。(2) 适当加入一些虚构内容实际上有助于补充摘要片段中缺失的“常识性信息”。(1) 搜索质量至关重要。优质的摘要片段是形成精准概括的关键。(3) 在进行内容概括时,开源模型表现出了卓越的效果。

yanqianglifei的专栏 1073

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

search_with_lepton搜索语法详解:高级查询技巧

你是否还在为海量搜索结果筛选低效而烦恼?是否因关键词模糊导致优质信息擦肩而过?search_with_lepton作为基于Lepton AI构建的智能搜索框架,不仅整合了主流搜索引擎API与LLM能力,更支持原生搜索引擎高级语法。本文将系统拆解Bing/Google双引擎查询技巧,通过45+实战案例带你掌握布尔运算、字段过滤、语义优化等进阶操作,让搜索效率提升300%。 ## 核心语法体系:跨引...

gitblog_00146的博客 1097

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

贾扬清推的Lepton Search要干翻谷歌?一起来解析下他的源码

LeptonAI 于近日发布了一个对话式搜索引擎 demo,名为“Lepton Search”。这是一个类似谷歌搜索的小demo

lucasma的博客 843

LeptonSearch

来了,贾扬清承诺的 Lepton Search 开源代码来了。前天,贾扬清在 Twitter 上公布了 Lepton Search 的开源项目链接,并表示任何人、任何公司都可以自由使用开源代码。项目链接:https://github.com/leptonai/search_with_lepton也就是说,你也可以用不到 5...

weixin_30676635的博客 170

DIY一个Perplexity有多难??Github 5k stars的search_with_lepton

基于 AI 的答案引擎 Perplexity,最近融了7360万美元的B轮融资。早在一年前,我就体验过Perplexity,它的搜索体验让人眼前一亮,答案是针对用户查询生成的,标注了引用来源。这个体验是全新的,在GenAI之前,也有很多产品尝试过做下一代的搜索引擎,但大多停留在酷炫的概念,实际落地的效果差强人意。生成式的答案引擎无疑是新的品类,只不过当时的ChatGPT过于火爆,普遍觉得Perpl...

shadowcz007的博客 945

这就是商战?AI原生应用的纵横捭阖;预期中的LLM颠覆为何没发生?教你构建一个糟糕的RAG系统;贾扬清Lepton Search如约开源;生成式AI深度报告 | ShowMeAI日报

日报关键词:Arc - Perplexity的合作与竞争;贾扬清Lepton Search开源;大模型未来三年的十个假设;大模型没能颠覆什么?如何构建一个糟糕的RAG系统;生成式AI深度报告……点击阅读全文

ShowMeAI研究中心 1536

bloop 服务端 bleep 完全指南:从源码构建、仓库索引到代码搜索

`server` 是 bloop 项目中的一个 Cargo workspace,其中包含名为 `bleep` 的 Rust 包——它是 bloop 桌面应用背后真正的搜索引擎与代码导航引擎:负责扫描本地与 GitHub 仓库、构建全量索引、启动 HTTP Web 服务并提供正则与语义搜索 API。本文以 [server/README.md](https://link.gitcode.com/i/5

gitblog_00495的博客 134

vibe-vibe 后端实战:六步把 API 从“能用“打磨成“好用“——文档、兼容、批量、上传与实时更新

> 本篇是 Datawhale vibe-vibe 开源教程《第七章:后端 API 开发》的进阶篇([7.3 让接口更好用](https://link.gitcode.com/i/4283efdd706537c70d01d0a7c0c8be30)),聚焦接口从"能用"走向"好用"的完整路径:OpenAPI 接口文档、向后兼容与版本管理、批量操作与事务一致性、文件上传(multipart/form-

gitblog_00296的博客 458

koharu-app 深入解析:Koharu 的 Tauri 应用状态、命令 API 与权威前端契约

`koharu-app` 是 Koharu(Rust 编写的 ML 漫画翻译工具)桌面端的核心应用层 crate:它全权持有 Tauri 管理的应用状态、命令 API、项目生命周期、处理作业、类型化事件通道与 Agent host,并借助 `koharu-desktop` 为浏览器画布准备与发布页面帧。读完本文,你将掌握 koharu-app 的模块边界、49 条 Tauri 命令的组成与用途、`

gitblog_00531的博客 452

利用免费的必应 Bing 自定义搜索打造站内全文搜索

百度的站内搜索不做了,唉,果然免费的不永久。我们看看 Bing 的,每个月有 1000 次免费的调用 bing search api 的次数。不同客户可以多申请几个就行了。

zhangxin09的专栏 1万+
上一篇: 如何使用Hugging Face微调大语言模型(LLMs)
下一篇: 基于LlamaIndex解决RAG的关键痛点
技术狂潮AI
博客等级 码龄3年 1282粉丝 137原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术狂潮AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值