开源模型——文心ERNIE 4.5 vl

参考以下文章：

https://blog.csdn.net/sherlockMa/article/details/149026603

参考原文地址

代码地址：https://github.com/PaddlePaddle/ERNIE

论文地址：https://yiyan.baidu.com/blog/publication/ERNIE_Technical_Report.pdf

模型列表

[ERNIE-4.5-VL-28B-A3B-Thinking] Supports SFT training and function call training for ERNIE-4.5-VL-28B-A3B-Thinking (https://huggingface.co/baidu/ERNIE-4.5-VL-28B-A3B-Thinking).

PaddleOCR-VL-0.9B model.

[ERNIE-4.5-21B-A3B-Thinking] Supports SFT training and function call training for ERNIE-4.5-21B-A3B-Thinking (https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-Thinking).

2 架构

ERNIE-4.5-VL支持图像、视频和文本模态作为输入，并以文本作为输出。

MoE介绍：

1. 稀疏 MoE 层: 这些层代替了传统 Transformer 模型中的前馈网络 (FFN) 层。MoE 层包含若干“专家”(例如 8 个)，每个专家本身是一个独立的神经网络。在实际应用中，这些专家通常是前馈网络 (FFN)，或更复杂的网络结构，从而形成层级式的 MoE 结构。
2. 门控网络或路由: 这个部分用于决定哪些词元(token) 被分发到哪个专家。

该系统包括三个核心组件：

1. 异构混合专家（Heterogeneous MoE）：文本和视觉特征被路由到专属专家集，同时两种模态共享一组专家和所有自注意力参数。视觉专家的参数规模为文本专家的三分之一。
2. 视觉编码器（Vision Encoder）：配备自适应分辨率转换和二维旋转位置嵌入（RoPE）。
3. 适配器（Adapter）：对齐视觉和文本模态的表征，融入空间和时间压缩。
4. 多模态位置嵌入（Multimodal Positional Embedding）：在多模态模型中采用三维 RoPE，分别对时间、宽度和高度位置进行编码。

异构MoE

(1)异构MoE路由：

在多模态模型中，MoE路由器容易出现不稳定，尤其是在数据分布突然变化时。例如，将仅处理文本的MoE模型扩展为处理多模态输入，可能会导致路由器崩溃，进而导致文本能力的退化。

从下图研究发现，文本专家的激活集中在少数几个专家上，而视觉专家的激活模式则更为分散。

作者提出了模态隔离路由策略（异构MoE）：具体而言，ERNIE 4.5中的前馈神经网络（FFN）专家被分为三种类型：文本专家、视觉专家和共享专家。文本和视觉标记都会以非路由的方式经过共享专家处理，而每种模态的标记则会独立路由到其对应的模态特定专家。

具体来说，文本专家仅处理文本token，视觉专家仅处理视觉token，而共享专家则同时处理两种模态。MoE 层的最终输出为共享专家和模态专属专家的输出之和。
下图为架构图。 文本特征（红色） 路由到特定文本专家，视觉特征（蓝色）路由到视觉专家网络，共享专家和 self-attention参数（紫色），负责处理统一的跨模态隐藏状态； MoE层的最终输出是通过将共享专家和模态专属专家的输出相加得到的。其中视觉专家的参数量仅为文本专家的三分之一。

异构MoE设计带来了几个关键优势：  

1. 统一的多模态建模：构建统一的多模态模型，文本和视觉所有参数联合优化。与部分微调方法相比，该设计数据效率更高、扩展性更强，支持模型扩展到数千亿参数规模。
2. 路由稳定性：可在训练后期引入视觉专家，避免路由崩溃。这种分阶段训练减少了总体计算量，同时保留性能，因为视觉理解很大程度上依赖于已有的文本知识。
3. 计算效率：文本和视觉专家可以分别部署。在仅处理文本的推理场景中，可以跳过视觉专家以减少内存开销。对于多模态推理，作者支持模态感知的推理流水线分区。具体来说，为每种模态分配不同的推理预算，独立部署预填充文本、预填充视觉和解码文本模块，可以显著减少跨设备通信。

视觉编码器

图像编码：现有的ViT通常是在固定分辨率输入上进行预训练的，这要求在处理之前将图像调整为正方形。 作者使用了一种自适应分辨率的视觉编码器。

1. 与强制使用正方形输入不同，独立调整每张输入图像的高度和宽度，使其分别成为ViT块大小的最近倍数。这种方法大致保留了原始宽高比，避免了固定尺寸调整大小带来的失真。

2. 图像采用二维旋转位置嵌入（RoPE），分别对高度和宽度维度的空间位置进行编码。

3. 图像打包技术：多个图像或视频帧的块合并为一个序列。

视频编码：长视频处理会很快耗尽模型有限的长度预算。为此，作者提出了一种自适应分辨率采样策略，根据每段视频的时长和可用的序列长度动态调整帧的数量及其空间分辨率。具体而言：

1. 固定帧率采样：根据预定义的帧率（例如每秒2帧）从视频中均匀采样帧。如果采样后的帧数超过模型的序列长度限制，则进一步调整帧数量或空间分辨率。
2. 动态调整：如果采样后的帧数仍然超过限制，会进一步降低分辨率，直到帧数和分辨率的组合符合模型的输入要求。如果帧数仍然过多，会进一步减少帧数。
3. 多视频输入：对于包含多个视频的输入，根据每个视频的长度按比例分配帧数，以确保每个视频的代表性。
4. 对于时间的建模，作者引入了一种时间戳渲染技术，将绝对时间戳叠加到每一帧上。这种方法适用于任何帧率，不消耗额外的标记，并且降低了学习难度，使得时间理解更加准确。

适配器

(3)适配器：作为视觉编码器和语言模型之间的模态桥接模块，通过双压缩层 将视觉表示投影到共享embedding空间，用于对齐视觉和文本表示；适配器融入空间和时间token压缩，实现特征融合并减少序列长度。

空间压缩操作在不重叠的2×2块上进行，沿空间维度的token数量减少4倍，而时间压缩将序列长度减少2倍。

这两种压缩操作都利用了像素重排（pixel shuffle）技术：

它将空间上或时间上相邻的标记特征重新排列成更紧凑的特征。特征 随后通过多层感知机（MLP）。   

目的：为了统一处理图像和视频。  做法：每张静态图像，通过复制图像特征，被当作一个合成的两帧视频来处理，从而在不同模态之间实现一致的时间建模。

像素洗牌的具体实现步骤：

1. 输入特征图：假设输入特征图 F 的大小为 H×W×C。
2. 分块：将 F 按照 s×s 的块进行划分，每个块包含 个像素。
3. 重排：将每个 s×s 块中的像素重新排列，形成一个新的特征图 F′，其大小为 H′×W′×C′，其中 H′=H/s，W′=W/s，C′=C×。
4. MLP 处理：将重排后的特征图 F′ 输入到 MLP 层中进行进一步处理，以增强特征的表达能力。
    

多模态位置嵌入

(4)多模态位置嵌入​​：

对视觉输入，采用统一的（三维旋转位置嵌入）3D RoPE位置嵌入方案，分别对时间、宽度和高度3个轴 分配不同的频率编码。  分配方法：较低频率分配给时间轴（变化最慢），剩余频率在空间轴（高度和宽度）之间交错分配，实现对称空间建模和强大的长时时间建模

文本标记则默认使用标准的一维RoPE。

目标：提升了多模态理解能力，尤其是在需要序列长度外推的长视频理解任务中表现尤为突出。

3 预训练

数据集构建

训练数据来源于网页、学术论文、文档、图像、视频以及合成模态转换数据。

知识中心数据：层级分类知识

交错文本-图像数据。

图像-文本对。

 REEAO（Record Everything Everywhere All at Once）—— 逐位确定性预训练数据管理器。

REEAO 将多模态数据源分割为固定长度的记录，并从根本上保证训练过程产生逐位确定性的令牌序列，该序列在预训练数据配置完成后、实际训练开始前即完全确定。

预训练方案

表 2：三个 ERNIE-4.5-Base 模型的模型和训练超参数

ERNIE 4.5的预训练分为三个阶段：

阶段一：纯文本训练：首先进行大规模预训练，使用来自不同领域的数万亿纯文本令牌。此阶段主要在标准的短上下文（8k序列长度）配置下，发展核心语言能力、事实知识库和文本生成能力。

短上下文：作者首先在大规模预训练阶段使用来自不同领域的数万亿纯文本标记进行训练。这一子阶段主要发展核心语言能力、事实知识库以及在标准短上下文（8k序列长度）配置下的文本生成能力。  
长上下文扩展：为了将模型的上下文长度扩展到128k标记，在此子阶段，作者首先通过将旋转位置嵌入（RoPE）的频率基底θ从10k增加到160k，将最大序列长度增加到32k，并继续训练以使模型适应更长的序列。接着，作者进一步将序列长度扩展到128k标记，并将RoPE频率基底θ的上限从160k增加到500k，使用长上下文数据对模型进行训练。在此过程中，作者对超过16k标记长度的文档进行上采样，以确保模型能够充分接触到长距离依赖关系。基准评估表明，这一阶段使模型能够支持长达128k标记的输入序列，同时在标准任务上保持其原有能力。
 

阶段二：纯视觉训练：独立进行视觉模态的预训练，包括视觉和LLM对齐。

视觉编码器：首先将视觉编码器与较小的语言模型一起预训练，利用大规模图像 - 文本对数据集，促使视觉编码器捕捉丰富全面的视觉知识。
视觉预对齐：在这一阶段，冻结所有 LLM 和 ViT 参数，而视觉适配器、视觉专家和视觉路由器被训练。适配器从零初始化，视觉专家通过对文本专家进行结构剪枝得到。该阶段确保视觉模块与 LLM 骨干网络无缝融合，同时保留其原始性能。
视觉融合：随后，视觉编码器被解冻，允许对整个视觉通路进行联合优化。训练重点是高质量的图像-文本对，例如标题和替代文本，以对齐视觉和语言表示。

阶段三：多模态联合训练：结合 纯文本和视觉训练。

作者解冻整个模型，并在标准和扩展长 上下文的多模态数据上进行联合训练。

短上下文：作者解冻整个模型，并在标准上下文长度的文本、图像和视频数据的 混合数据上进行联合训练。这一阶段作为融合阶段，巩固模态专属对齐。  
长上下文：最后，联合训练扩展到128k的上下文长度。这使得模型能够在长上下文的多模态任务中有效泛化。

在多模态训练期间，图像令牌和提示位置被屏蔽，并从交叉熵损失计算中排除。

为了解决由此引入的梯度不平衡问题（即未屏蔽令牌较少的样本贡献的梯度不成比例地大），ERNIE 4.5引入了令牌平衡损失函数（Token-Balanced Loss）。该函数通过一个归一化因子（1除以总序列长度），确保每个样本的损失贡献与总序列长度成反比，从而独立于特定的掩码配置。

在标准上下文和长上下文长度下联