算法手撕面经系列(1)--手撕多头注意力机制

大模型面经 | 手撕多头注意力机制（Multi-Head Attention）

AIGC面试高频考点

【代码】大模型面试手撕代码题2——多头注意力机制。

是对多头注意力（MHA）和多查询注意力（MQA）的折中优化方案。其核心思想是将查询头（Query Heads）划分为多个组（Group），每组内的查询头共享一组键（Key）和值（Value），从而在保留多头并行性的同时减少参数量和计算复杂度。多头注意力（Multi-Head Attention, MHA）是Transformer模型的核心机制，通过并行计算多个注意力头，使模型能够同时关注输入序列中不同位置的特征。这种设计在保持多头多样性的前提下，减少了显存占用和计算延迟，适合长序列建模和大规模模型部署。

2. 将 Q, K, V 拆分成多头（hidden_dim 和 num_head , 从hidden_size得到）4. 计算上下文向量 （求和 softmax和dropout之后的数值 * V）1. 每个头的维度 = 输入特征维度 / 注意力头数量。2. 定义线性变换层，用于生成 Q, K, V。3. 计算注意力权重。6. 通过输出线性层。初始化：输入特征维度，注意力头数量，是否dropout。前向传播：1. 通过线性层得到 Q, K, V。

self.scale = self.head_dim ** -0.5 # 预计算缩放因子类定义定义了一个名为的类，它继承自nn.Module，这是PyTorch中所有神经网络模块的基类。这意味着类具备构建神经网络模块的能力，例如可以包含可训练的参数，进行前向传播等操作。初始化参数embed_dim：输入特征的嵌入维度，它决定了模型对输入数据的表示能力。比如在自然语言处理中，一个词经过嵌入层后可能会被表示为一个embed_dim维的向量。num_heads：注意力头的数量。

如果你还没刷面试题？想看最新面经和答案？那得赶紧加入求职群！最新校招、实习、社招、教职信息、大厂面经和企业内推全都有！强烈建议大家加入2024年求职群（主要面向25届、26届及之后的同学）！

本文详细分享了作者在腾讯、字节等多家大厂的大模型算法工程师面试经验，涵盖自我介绍、项目拷打、通识考察、手撕代码和反问五大环节。文章提供了每个环节的具体准备要点，包括项目深度理解、Transformers等模型原理、代码实现技巧以及面试注意事项，为求职者提供了一份全面系统的大模型岗位面试指南。

LightGBM的核心是一个梯度提升框架，它通过迭代地构建决策树来最小化损失函数。，从而逐步提高模型的整体性能。

本文笔主亲身经历，面试公司有腾讯、字节、拼多多、饿了么、顺丰科技、携程、金山、富途、TCL、虾皮等。

算法面试准备 - 手撕系列第五期 - 单头注意力机制(包括Self_atten和Cross_atten)

本文深入解析了算法面试中高频考点——多头注意力机制，详细演示了Self-Attention与Cross-Attention的代码实现与优化技巧。内容涵盖从基础维度变换、掩码处理到性能优化（如合并线性层、Flash Attention原理），并提供了应对面试高频问题的实战对答思路，旨在帮助开发者彻底掌握Transformer核心组件，从容应对算法工程师面试。

手撕 numpy写线性回归的随机梯度下降(stochastic gradient descent，SGD)   在每次更新时用1个样本，可以看到多了随机两个字，随机也就是说我们用样本中的一个例子来近似我所有的样本，来调整θ，因而随机梯度下降是会带来一定的问题，因为计算得到的并不是准确的一个梯度，对于最优化问题，凸问题，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局...

是时候准备面试和实习了不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。

自我介绍是对背景和工作经历的概述，所以尽可能突出你自己做的比较好且有把握的项目，这样面试官在提问的时候也会因为你自己提到的内容而往这方面走。不过有一些面试官就是会找简历上和自己业务相关或者感兴趣的项目来进行提问，所以你在简历上提到的项目都需要非常熟悉。02。

max(0, 1-y*y^) 不关注明显分对的点：比如标注为1 预测大于等于1的点。手撕：每次拿1、2个，判断取n个，先拿的人获胜情况。10.attention的时候还有什么mask。9.mask是怎么实现的 权重设为负无穷。1.简单介绍一下你了解的预训练模型。3.transformer的结构。手撕：天上最多同时几个飞机，贪心。12.Bert和Elmo的区别。4.防止梯度消失梯度下降的方法。1.多分类样本不均衡怎么解决。4.多标签分类和多分类的区别。手撕：梯度下降方法求开平方。5.常见预训练模型了解吗。

最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。今天分享我们一位星球成员面试淘天集团算法岗面经：wxg部门，根据简历发问，问的比较泛。

最近面试大厂算法&开发岗，不仅让手写Transformer代码，甚至手撕BP算法，面试八股也是标配，总结了一下面试官必问的10个问题：解释多头注意力机制；简述常见注意力机制；介绍Transformer的QKV；Transformer位置编码的优缺点；详述Encoder及Decoder模块；Transformer残差结构及意义；解释Transformer并行性；Transformer与CNN...