墨染辉
码龄6年
求更新 关注
提问 私信
  • 博客:43,764
    43,764
    总访问量
  • 37
    原创
  • 164
    粉丝
  • 107
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:安徽省
加入CSDN时间: 2021-01-23
博客简介:

zc621_的博客

查看详细资料
个人成就
  • 获得328次点赞
  • 内容获得15次评论
  • 获得279次收藏
  • 博客总排名1,899,994名
创作历程
  • 22篇
    2024年
  • 15篇
    2023年
成就勋章
TA的专栏
  • 问题杂
    1篇
  • 大语言模型
    16篇
  • 人工智能
    4篇
  • c++ 向量
    2篇
  • 机器学习_pytorch
    4篇

TA关注的专栏 4

TA关注的收藏夹 0

TA关注的社区 12

TA参与的活动 0

创作活动更多

【多重好礼】鸿蒙心迹 · 开发录原创征稿活动

鸿蒙开发者的实战经验,值得被记录。从踩坑排查到项目复盘,从工具脚本到学习笔记,每一段真实的开发经历,都是社区最宝贵的技术资产。「鸿蒙心迹 · 开发录」正式启航,不限主题、随时可写,只要是鸿蒙开发相关的真实经验都欢迎投稿。 本活动为 [HarmonyOS 7.0 创新内容共创季](https://builderx.csdn.net/activity-site/harmonyos/activity2026)双轨征文之一,与[「共创季 · 稿事节」](https://harmonyosdev.csdn.net/6a97f0de2b83d06f0ecadec5.html)深度征文互补——「稿事节」写深度技术长文,「开发录」写日常开发实战笔记。 「开发录」每月一期,12月截止,本季共三期,投稿即有机会获得京东卡、CSDN博客流量券、亿万Token、社区定制周边好礼!

268人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

大模型生成时的参数设置怎么调整?

在使用大型语言模型(如GPT-3、GPT-4等)进行文本生成时,调整生成参数(Generation Parameters)是优化生成结果质量和多样性的重要手段。设置为True后,生成方法转变为束搜索与多项式采样相结合的解码策略,增加生成内容的多样性和创造性。通过不断实验和优化,您可以找到最适合您任务的参数设置,提升大模型生成内容的质量和效果。建议通过实验和观察生成内容,逐步优化参数设置,以达到最佳效果。通过理解每个参数的作用和调整策略,您可以根据具体任务需求,生成更符合预期的内容。
原创
博文更新于 2024.10.06 ·
2708 阅读 ·
22 点赞 ·
0 评论 ·
16 收藏

详细解释:前向传播、反向传播等

反向传播(Backward Propagation)**是训练神经网络的两个核心过程。通过理解和掌握这两个过程,可以更好地设计、训练和优化神经网络模型,提升其在各种任务中的表现。它基于损失函数的梯度,通过链式法则(Chain Rule)将误差从输出层逐层传播回输入层,计算每个参数对损失的贡献。是指数据从输入层经过各个隐藏层,最终到达输出层的过程。在神经网络中,每一层的输出依赖于上一层的输出,通过链式法则,可以逐层计算梯度。通过反复执行前向传播和反向传播,模型逐步优化其参数,以达到更好的任务表现。
原创
博文更新于 2024.10.06 ·
2460 阅读 ·
29 点赞 ·
0 评论 ·
27 收藏

【无标题】

是一种参数高效的微调方法,旨在通过在输入序列前添加一段可训练的“前缀”来适应特定任务,而无需微调整个预训练模型的所有参数。**前缀微调(Prefix-Tuning)**通过在输入序列前添加一组可训练的虚拟前缀向量,实现了对大型预训练模型的高效适应。通过这些步骤和机制,前缀微调能够在保持预训练模型参数不变的同时,仅通过优化前缀向量,实现对特定任务的高效适应和性能提升。是一种参数高效的微调方法,旨在通过在输入序列前添加一段可训练的“虚拟前缀”向量,使预训练模型适应特定任务,而无需微调整个模型的所有参数。
原创
博文更新于 2024.10.04 ·
1312 阅读 ·
21 点赞 ·
0 评论 ·
21 收藏

高效参数微调

这种方法通过选择模型中的部分参数进行更新,而不是全部参数,从而减少微调所需的计算和存储资源。
原创
博文更新于 2024.10.04 ·
2134 阅读 ·
24 点赞 ·
0 评论 ·
26 收藏

微调方法概述

通过优化输入提示(prompts)来引导模型生成所需的输出,而不改变模型的主要参数。P-Tuning:在Prompt-Tuning的基础上,添加一些可训练的提示向量,提高模型的适应能力。:在模型的权重矩阵中引入低秩矩阵,仅更新这些低秩矩阵,从而减少需要训练和存储的参数量。AdaLoRA:LoRA的改进版本,动态调整低秩矩阵的参数,提高适应性和效果。全参数微调适用于需要最大化模型性能且具备足够计算资源的场景。
原创
博文更新于 2024.10.04 ·
1346 阅读 ·
3 点赞 ·
0 评论 ·
9 收藏

10.2 如何解决从复杂 PDF 文件中提取数据的问题?

嵌入式表格检索是一种有效的方法,能够解决从复杂 PDF 文件中提取数据的问题。通过结合表格检测、解析、嵌入和语义检索技术,可以准确地从复杂的表格中获取所需的信息,满足用户的查询需求。对于需要处理大量包含复杂表格的 PDF 文档的场景,该技术具有重要的应用价值。是一种专门针对从复杂 PDF 文件中的表格提取数据的技术。它结合了表格识别、解析和语义理解,使得从复杂结构的表格中检索信息成为可能。
原创
博文更新于 2024.10.04 ·
2239 阅读 ·
15 点赞 ·
1 评论 ·
17 收藏

RAG 索引优化有哪些优化策略?

当我们从检索系统中得到大量的相关文档时,直接将所有内容拼接到提示(prompt)中传递给大语言模型,可能会超过模型的上下文窗口限制,或者导致模型处理效率低下。:RAG(检索增强生成)在检索召回率方面表现较低,尝试过调整块大小(chunk size)和采用混合检索方法,但效果不佳,需要进一步优化。是一种利用假设性文档来改进检索的技术。具体来说,先让模型根据查询生成一个假设的回答,然后将这个回答向量化,用来检索相似的真实文档。:对检索到的文档进行重新排序,优先展示与查询最相关的内容,减少不必要的信息干扰。
原创
博文更新于 2024.10.04 ·
1402 阅读 ·
22 点赞 ·
0 评论 ·
9 收藏

pdf处理2

介绍: 通过使用文本摘要模型对每个长文档进行摘要提取,然后对这些摘要内容建立索引。在需要回答用户的查询时,系统从索引中找到相关的摘要内容,再通过语言模型生成回答。存在的问题对整本书籍进行文本摘要需要较高的计算资源和时间。摘要可能会丢失一些关键信息,导致无法完整反映原文内容的细节和深度。介绍: 这种方法先从长文档中提取多级标题,利用这些标题来理解文档结构和主要内容。然后,可以对这些标题进行语义扩充,即补充相关内容以增强信息的完整性,或者向量库检索与标题相关的文本片段。
原创
博文更新于 2024.10.03 ·
1420 阅读 ·
25 点赞 ·
0 评论 ·
8 收藏

pdf处理1

处理PDF文件以构建数据索引涉及多个步骤和技术,关键在于准确地识别和提取不同类型的内容,并将其结构化存储。通过使用先进的工具和模型,可以有效地解决PDF处理中的各种难点,确保数据索引的准确性和高效性。希望这个解释能帮助你更好地理解PDF文件在数据索引构建中的处理过程!
原创
博文更新于 2024.10.03 ·
1284 阅读 ·
16 点赞 ·
0 评论 ·
12 收藏

生成器--

什么是生成器?在RAG系统中,**生成器(生成组件)**是系统的核心部分之一。简单来说,生成器的任务是根据检索到的信息,生成自然、流畅且有意义的文本回答。生成器的作用转化信息为文本传统输入:通常,生成器接收用户的查询(问题)和一些上下文信息(如先前的对话内容)。RAG系统中的额外输入:除了传统的上下文信息,生成器还会接收检索器(检索模型)找到的相关文本片段(即与用户查询相关的文档部分)。更深入理解问题背景通过结合检索到的文本片段,生成器能够更全面地理解用户问题的背景和细节。
原创
博文更新于 2024.10.03 ·
1017 阅读 ·
6 点赞 ·
0 评论 ·
11 收藏

检索器--

在RAG技术中,检索器模块的核心任务是从大量文档中找出与用户查询最相关的内容。为了实现这一点,关键在于构建准确的语义表示。块优化:将文档分割成适当大小的块,并灵活应用多种分块策略,以捕捉更细致的语义特征。微调嵌入模型:使用先进的嵌入模型将文本转换为向量表示,并根据具体应用需求对模型进行微调,以提升语义表示的准确性。在RAG系统中,协调查询和文档的语义空间是确保检索准确性的关键。查询重写通过生成指导性伪文档、假想文档或多查询检索,提升查询的语义明确性和覆盖面。适用于处理用户查询不清晰或复杂的场景。
原创
博文更新于 2024.10.03 ·
999 阅读 ·
11 点赞 ·
0 评论 ·
11 收藏

文档切分粒度不好把控

在文档对话系统中,**文档切分(文本分割)**的粒度决定了系统处理和理解文档内容的细致程度。如果切分粒度过大或过小,都可能带来以下问题:噪声过多:语义信息丢失:当前的文档切分方法多基于格式化标记(如HTML标签或PDF中的换行符)进行简单分割,这种方法无法准确捕捉文本的语义结构,导致:举例说明:假设有一个包含多个段落的文档,用户提问关于某一具体主题。如果文档切分过大,一个文本块可能包含多个主题,LLM在处理时可能无法聚焦于用户关心的具体部分,导致回答泛泛而谈或遗漏关键信息。为了解决上述痛点,提出了基于语义级
原创
博文更新于 2024.10.03 ·
1545 阅读 ·
6 点赞 ·
0 评论 ·
7 收藏

LLM-文档检索-召回

整体思路:基于LLM的文档对话架构分为两部分:检索部分的核心原则是:二级索引架构:语义切分方法:关键信息提取:
原创
博文更新于 2024.10.02 ·
779 阅读 ·
8 点赞 ·
0 评论 ·
5 收藏

常见的文本嵌入模型文本嵌入模型、langchain

内容生成与处理选择:LLM(如 OpenAI 的理由:提供高质量语义嵌入,适用于复杂文本生成和处理任务。对话与交互选择:聊天模型(如 ChatGPT)理由:能够管理多轮对话和上下文,提供自然的对话体验。信息检索与相似性分析选择:文本嵌入模型(如 Sentence-BERT、OpenAIEmbeddings)理由:高效的语义检索和相似性计算,适用于文档检索和推荐系统。LangChain是一个功能强大的框架,专为构建基于大型语言模型的应用程序设计。令牌使用效率低:可以通过使用Tiktoken。
原创
博文更新于 2024.09.30 ·
4976 阅读 ·
9 点赞 ·
2 评论 ·
13 收藏

LangChain 核心概念简介

通过理解和利用LangChain的核心概念,开发者可以构建适应性强、高效且能够处理复杂用例的高级语言模型应用程序。高效开发:模块化设计和预定义工具减少开发时间和复杂度。可扩展性强:灵活组合组件和工具,轻松扩展应用功能。智能化响应:Agents 和 Toolkits 提供多功能和智能化的用户交互。优化用户体验:维护对话上下文,提供连贯自然的交互体验。应用场景。
原创
博文更新于 2024.09.30 ·
1153 阅读 ·
9 点赞 ·
0 评论 ·
4 收藏

Batch_size

数据质量和代表性确保模型学到有用的、准确的信息。Prompt 多样化帮助提高模型的适应能力和鲁棒性,提升面对不同任务和问题的表现。多任务数据量平衡有助于避免模型偏向某个特定任务,确保整体性能。
原创
博文更新于 2024.09.30 ·
1672 阅读 ·
17 点赞 ·
0 评论 ·
13 收藏

如何避免灾难性遗忘?

为了避免灾难性遗忘,可以采取以下几种策略:
原创
博文更新于 2024.09.20 ·
1116 阅读 ·
5 点赞 ·
0 评论 ·
7 收藏

微调方法及其区别

在训练和优化这些Transformer模型时,常用的微调方法包括全参数微调、低秩适配(LoRA)、监督微调(SFT)和指令微调(Instruction Fine-Tuning)等。微调方法调整参数数量资源需求适用场景优点缺点全参数微调全部参数高需要最佳性能且资源充足的任务最高的性能提升高计算资源和显存需求LoRA部分参数低资源有限或需要多任务切换的情况高效、低资源消耗、灵活性强可能不如全参数微调表现好监督微调 (SFT)全部或部分中需要精确任务表现的应用。
原创
博文更新于 2024.09.20 ·
3045 阅读 ·
10 点赞 ·
0 评论 ·
19 收藏

还有哪些其他的基于transformer架构模型?

*自回归生成(Autoregressive Generation)**是一种文本生成方法,模型通过逐步预测下一个词语来生成完整的句子或段落。每一步生成的词语都会作为上下文的一部分,用于预测下一个词。特点:逐步生成:模型一次生成一个词,基于之前生成的词预测下一个词。上下文依赖:每个生成的词依赖于之前生成的所有词,因此模型需要记住整个生成过程的上下文。适用于生成任务:如文章写作、对话生成、代码编写等。假设我们要让模型生成一句话,“我喜欢吃苹果。输入:开始生成,“我喜欢吃”模型生成下一个词:苹果。
原创
博文更新于 2024.09.20 ·
1506 阅读 ·
21 点赞 ·
0 评论 ·
7 收藏

双向编码和单向编码 这两个与Decoder-Only、Encoder-Only、Encoder-Decoder 之间有什么关系?

定义:模型在处理每个词时,同时考虑其左侧和右侧的上下文信息。优势更准确的语义理解。能够捕捉复杂的语言结构和多义词的正确含义。应用:主要用于需要深度理解输入文本的任务,如文本分类、情感分析、命名实体识别(NER)、问答系统等。**双向编码(Bidirectional Encoding)与单向编码(Unidirectional Encoding)**描述的是模型在处理文本时如何利用上下文信息。双向编码:同时考虑词语的前后文,适用于理解任务。单向编码:只考虑一侧的上下文,适用于生成任务。
原创
博文更新于 2024.09.20 ·
1999 阅读 ·
14 点赞 ·
0 评论 ·
12 收藏
加载更多