05 从零搭建 GPT 模型:LayerNorm、GELU 与解码器堆叠
本文介绍从零搭建GPT模型的关键组件:LayerNorm对特征维归一化,GELU平滑激活,前馈网络扩展收缩,残差连接缓解梯度消失。随后组装TransformerBlock(多头注意力+前馈,Pre-LN),最终构建GPTModel并实现文本生成,附参数量核算。
阅读详情
相关推荐
Python Class 参数传递完全指南
Python Class 参数传递完全指南:1.1 实例方法(最常用)1.2 类方法(@classmethod)1.3 静态方法(@staticmethod)2. 嵌套函数(def 内嵌 def)的 4 种传参方式2.1 闭包捕获(读取外层)2.2 显式传递(推荐用于灵活传参)2.3 nonlocal 修改外层2.4 使用 self 传递(共享状态)3. 继承中的参数传递(super())4. 灵活传参:*args 与 **kwargs5. 嵌套层级过深时的最佳实践(工程建议)
【MCP(Model Context Protocol)开发到发布完整指南】
MCP(Model Context Protocol)开发到发布完整指南
Python函数进阶:可变参数、匿名函数与作用域
本文深入探讨了Python函数的高级特性,主要包括: 可变参数:详细介绍了*args(收集位置参数为元组)和**kwargs(收集关键字参数为字典)的用法,以及参数解包技巧。 匿名函数(lambda):讲解lambda语法、特点及典型应用场景,如排序、map/filter操作等,同时提醒不要过度使用。 函数式编程工具:介绍map、filter、reduce三大工具及其与列表推导式的对比。 作用域规则:深入解析LEGB查找顺序,global和nonlocal关键字的使用,以及闭包的实际应用。 实战案例:展示了
Agent 记忆压缩通常有哪些方法?
在传统软件中,状态可以通过关系型数据库做毫秒级精准存取;而在 AI Agent 架构中,大模型本身是无状态的概率推理引擎。为了维持多轮交互的连续性,开发者必须将历史记忆注入到上下文(Context)中。上下文爆炸与成本失控:多轮对话与工具调用轨迹(Tool Traces)包含海量冗余 Token,每次 API 请求都需要对全量历史重复计费,成本呈二次方上升。推理延迟(Latency)恶化:超长上下文会导致 GPU 在 Prefill 阶段的计算耗时大幅拉长,严重破坏实时交互体验。
22-DataCenter报文序列化
(put在循环后),解析侧遇到时continue不影响store循环——顺序无关但习惯上收尾。
可以做年龄编辑的gan对抗网络(SAGAN)
把这 10 张(或更多年龄段)图片按顺序拼接,用 OpenCV 或 FFmpeg 导出为 MP4,就能看到“一个人”的年龄变化过程。:模型只学了 10 个离散年龄段(0~9),直接切换标签会导致五官突然“跳变”,无法生成 18岁→18.5岁 这种细腻变化。如果连续年龄回归,会更加的丝滑,接下来我们将修改一版连续年龄回归的代码,还是在这个的基础之上进行!,比如用预训练的 ArcFace 提取人脸特征,约束不同年龄帧的特征向量尽量接近。,会生成固定噪声下不同年龄的人脸图片,实现“编辑年龄”的效果。
2026科学实验能力大赛真题:护林飞行闯关解析
2026 首届全国青少年科学实验能力大赛决赛已于 8 月 20—22 日在济南收官,9 月起各赛区成绩陆续公布。这场白名单赛事鼓励青少年用"做中学"的方式呈现科学探究过程,而图形化编程正是把科普内容变成可交互作品的好工具。今天我们用一道原创项目题「护林飞行闯关」,带大家用 Scratch 做一个科普护林小游戏,把六大考点串成能玩的作品。
基于Python的爱奇艺视频数据可视化分析系统
长视频平台剧集、评分、热度与评论数据体量大、维度多,手工汇总难以快速把握类型结构、口碑分布与主演导演影响力。系统采用 B/S 架构,后端入口为app.py,运行端口8060;数据库使用 MySQL(库名iqiyi),经 PyMySQL 访问。前台基于 Bootstrap 5、本地中的 ECharts 5 与 echarts-wordcloud,配合主题。业务表包括usersdramascommentsfavorites。数据可通过导入,或经/ 相关脚本补充样本。分析层在。
Java深入解析篇二十之JavaStream API详解
Stream(流)是引入的数据处理抽象,位于包。它表示从数据源产生的元素序列,并支持对其进行函数式、聚合式操作。不是集合:流不存储数据,只描述对数据的计算;不是 IO 流:与无关;惰性管道:中间操作只是登记,终端操作才触发实际计算。// 命令式写法(对照) // List<String> r = new ArrayList<>();
Django的手机数据分析与可视化
Django的手机数据分析与可视化系统 摘 要 本系统基于Django框架、HTML和MySQL数据库技术,构建了一个全面的手机数据分析与可视化平台。大屏内容丰富,包括品牌市场份额分布、手机价格区间分布、各维度评分分布、热门机型Top10、内存容量分布以及品牌评分与价格分析等多个模块。通过这些模块,用户可以直观地了解手机市场的整体趋势、各品牌的市场表现、手机价格分布情况、用户评分分布以及热门机型的详细信息。系统采用了先进的可视化技术,将复杂的数据以图表的形式呈现,使得数据更加易于理解和分析。 在管理功能方
Pixhawk 6C — Mission Planner 烧录 & 全套校准教程
适用于自行编译的 ArduPilot 固件。
Python量化实战:如何检测并剔除历史数据中的“闪崩/乌龙指”异常价格点?
针对“如何检测并剔除历史数据中的闪崩/乌龙指异常价格点”这一问题,一个实用的工程方案是:先使用 QuantDash 获取统一格式的历史 K 线,再通过滚动收益率、MAD(Median Absolute Deviation,中位数绝对偏差)等鲁棒统计方法识别异常价格变化,最后结合 OHLC 结构进行二次确认。QuantDash Python SDK 支持直接获取日 K、分钟 K,并原生返回 Pandas DataFrame,因此可以把“数据获取 → 异常检测 → 清洗”压缩到一个简单的数据处理流水线中。
《模型不玄学》小白的模型算法实战手册 - 前言
这是一本给算法小白的算法模型实战手册。能够深入浅出的理解如何利用数据训练一个成熟的模型。这本小册子想做的,就是把“从数据到能用的模型”这个过程,用讲透。
GLM-5.3-NVFP4 部署实战系列[四]问题深拆①:sm80 没有稀疏 MLA 注意力后端怎么办
GLM-5.3 的 DSA 稀疏注意力在 A800 上无路可走:vLLM v0.28.0 的稀疏 MLA 后端全部要求 SM90+。修通路径:移植社区 PR #47629,vendor 三个文件加两处注册,连环修掉 metadata 计数断言等小坑。最大的坑:0.28.0 把 indexer 重写为 C++ op,内部直调仅支持 SM90+ 的 deep_gemm——采用最小化改法:调用点门控回退 Triton 内核(LUT 解码 fp8),sm90+ 路径零影响。
把 AI 知识库搬回本机纯国内 永久免费 · 0 Token 的羽山数智方案
AI本地知识库搭建方案= 思源笔记 + 本地大模型 + 本地向量库——0 费用、0 出境、0 绑定。整条链路:笔记存储、语义检索、智能问答、工作流编排,全部跑在自己的电脑上。 这不是概念稿,是跑通了的实盘:18/18 交付校验通过,Qwen3-8B + BGE-M3 本地推理,Top-1 检索相关度 0.82,Agent 自动调用工具且零幻觉。Python代码。
15.4 完整实现基于RAG的多Agent客户服务系统
【示例15.1】多Agent客服系统的完整代码,文件名为rag_multi_agent_system.py。当需要产品细节、使用方法等信息时使用。输入应为查询的问题。根据客户的问题,决定使用哪个工具。如果需要多个工具的信息,逐步调用它们。请根据文档内容回答,不要编造信息。如果文档中没有相关信息,请说明。建议您联系我们的客服团队以获取更多帮助。建议您联系我们的客服团队以获取更多帮助。,负责理解客户需求并调用合适的工具提供准确回答。当用户询问产品是否有货、库存数量时使用。处理查询,使用单参数输入,格式为。
实时行情中的成交量 Volume 到底是什么?包含盘中撤单量吗?从交易数据语义到 QuantDash 实战解析
实时行情中的 Volume 是包含盘中撤单量,还是仅包含实际成交股数?首先要区分两个概念:撤单不是成交,因此不能简单把撤单数量理解为成交量 Volume 的组成部分。在量化数据处理中,Volume 应当按照数据源对“成交量”字段的定义进行理解,不能把委托、撤单和实际成交混为一谈。对于 Python 量化开发者而言,真正重要的是使用稳定、结构化的行情接口获取 Volume,并在策略中明确区分“成交数据”和“盘口委托数据”。QuantDash Python SDK 可以直接返回实时行情中的 volume
buuctf-pwn bbys_tu_2016题解(学习过程持续更新)
payload:填充(0x14+4)的垃圾数据至return address,然后用printfFlag函数的地址覆盖返回地址。可以看到我们输入的AAAA在0xffffcf44处,距离ebp(0xffffcf58)偏移0x14字节。将文件拖入ida,按F5将汇编代码转换成c语言代码,得到。可以看到这是一个32-bit的文件,NX保护开启。可以看到这是一个后门函数,可以得到flag。nano exp.py 开始写攻击脚本。进入printFlag函数,得到。n 回车 直到可以输入数据。








25




被折叠的 条评论
为什么被折叠?



