weixin_41799190的博客

词向量（embedding）就是使用高维向量来表示数据，这里的数据可以是文本，视频，音频等数据格式。（方框里面的向量（不完整）就是embedding之后的结果）"什么是大预言模型"embedding之后的结果。

Prompt 最初是 NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类，聚类等）会对应一种 Prompt。在 ChatGPT 推出并获得大量应用之后，Prompt 开始被推广为给大模型的所有输入。即，我们每一次访问大模型的，而大模型给我们的。ChatGPT的回答图中也是一种Prompt和Completion对应。

为了解决大型语言模型在处理文本时面临的信息偏差/幻觉，知识更新滞后，内容不可追溯，专业领域知识欠缺，推理能力限制，应用场景适应性受限，长文本处理能力较弱等文通，研究人员提出了一种新的模型架构：检索增强生成（RAG, Retrieval-Augmented Generation）。该架构巧妙地整合了从庞大知识库中检索到的相关信息，并以此为基础，指导大型语言模型生成更为精准的答案。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括 API 集成、互动逻辑、数据存储等等。