h2o项目简介
查询和总结您的文档，或者只是使用 h2oGPT（一个 Apache V2 开源项目）与本地私有 GPT LLM 聊天。
项目地址
https://github.com/h2oai/h2ogpt
测试体验地址
https://gpt.h2o.ai/
主要功能
- 任何文档的私人离线数据库（PDF、Excel、Word、图像、代码、文本、MarkDown 等）
- 使用精确嵌入（大型、全 MiniLM-L6-v2 等）的持久数据库（Chroma、Weaviate 或内存中 FAISS）
- 使用指令调整的 LLM有效利用上下文（不需要 LangChain 的少样本方法）
- 并行汇总达到 80 个令牌/秒输出 13B LLaMa2
- 通过 UI上传和查看文档（控制多个协作或临时集合）
- UI或 CLI 以及所有模型的流式传输
- 同时针对多个模型进行UI 模式
- 支持多种模型（LLaMa2、Falcon、Vicuna、WizardLM，包括 AutoGPTQ、4 位/8 位、LORA）
- HF 和 LLaMa.cpp GGML 模型的GPU支持，以及使用 HF、LLaMa.cpp 和 GPT4ALL 模型的CPU支持
- Linux、Docker、MAC 和 Windows支持
- 推理服务器支持（HF TGI 服务器、vLLM、Gradio、ExLLaMa、OpenAI）
- 符合 OpenAI 标准的 Python 客户端 API，用于客户端-服务器控制
- 使用奖励模型评估绩效
各类模型和数据集下载地址
https://huggingface.co/h2oai
515
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
