shy_snow的专栏

本文介绍了如何在局域网环境中配置和使用ollama服务部署qwen2.5-coder模型。配置文件中定义了模型名称、版本、API地址等参数，并指定了该模型支持的多种功能角色。用户只需通过简单的"ollama pull"命令即可从局域网拉取该模型。整个部署过程简洁高效，适合在本地网络环境中快速搭建AI模型服务。

Prompt Optimizer 提示词优化器安装使用。docker pull docker.1ms.run/linshen/prompt-optimizer:1.4.4启动docker run -d --restart unless-stopped --name prompt-optimizer -p 10007:80 linshen/prompt-optimizer

讯飞星火API免费使用指南：1）访问官网领取0元免费token；2）在控制台获取APIPassword；3）参照文档通过HTTP调用API，需将APIPassword设置在请求头中。该接口兼容OpenAI，调用时需配置特定base_url并使用APIPassword作为密钥。详细操作步骤及图示可参考官方文档链接。

Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和LLMOps的理念，使开发者可以快速搭建生产级的生成式 AI 应用。Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

大模型配置config.toml中的大模型配置，一个是全局的一个是特殊的，可以使用同一个。可以使用硅基流动的deepseek大模型，自己修改相关配置。内容如下python main.py直接启动命令行对话，没有页面。

讯飞星火大模型，通过websocket方式通信传递协议要求的报文，然后将流式返回的报文拼接为完整的响应内容，status=2时是最后一条消息。因为是websocket方式所以是异步响应的，如果想要同步需要使用CountDownLatch控制下线程等待最后一条消息处理完再继续往下走。星火不同版本稍微有一些差异，具体以官网提供的demo为准。

开通讯飞星火大模型api调用后，使用官方demo调用报错10404，最终发现是domain参数需要跟调用的版本保持一致，1.5，2，3版本分别传general,generalv2,generalv3，传错了还报错10404。

无，开源大模型https://gitee.com/mindspore/zidongtaichu。选择类型后会将提示语显示出来并显示关键词和关键词的说明，方便修改关键词。商汤商量SenseChat（日日新大模型SenseNova）方便的插件选择，包括思维导图，文档输入，图片识别。上海MiniMax（ABAB大模型）上海人工智能实验室（书生通用大模型）好未来（MathGPT 大模型）知乎（“知海图 AI”模型）网易有道（“子曰”大模型）昆仑万维（“天工”大模型）智谱AI（GLM大模型）中科院（紫东太初大模型）

创建应用成功后,可以获取到API Key和Secret Key。然后获取token后使用http方式调用即可。curl -XPOST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=[调用接口获取的access_token]' -d '{ "messages": [ {"role":"user","content":"介绍一下你自己"} ]}'