半岛全站app苹果卷开源大模型公开代码、权重、数据集、训练全过程

　　要说 ChatGPT 拉开了大模型竞赛的序幕，那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中，苹果似乎掀起的水花不是很大。

　　近日，苹果发布了 OpenELM，共四种变体（参数量分别为 270M、450M、1.1B 和 3B），这是一系列基于公开数据集进行预训练和微调的模型。OpenELM 的核心在于逐层缩放，即 OpenELM 中的每个 Transformer 层都有不同的配置（例如，头数和前馈网络维度），导致模型每层的参数数量不同，从而实现了更有效的跨层参数分配。

　　值得一提的是，苹果这次发布了完整的框架，包括数据准备、训练、微调和评估程序，以及多个预训练的 checkpoint 和训练日志，以促进开源研究。

　　结果显示，OpenELM 的性能优于使用公开数据集进行预训练的现有开源 LLM（表 1）。例如，具有 11 亿个参数的 OpenELM 性能优于 OLMo。

　　一般来讲，LLM 中每个 transformer 层使用相同的配置，从而实现跨层参数的统一分配。与这些模型不同的是，OpenELM 中的每个 Transformer 层都有不同的配置（例如，头数和前馈网络维度），导致模型每层的参数数量不同。这使得 OpenELM 能够更好地利用可用的参数预算来实现更高的精度。苹果使用逐层缩放（layer-wise scaling）来实现跨层参数的非均匀分配。

　　逐层缩放：标准 Transformer 层由多头注意力（MHA）和前馈网络（FFN）组成。针对 Transformer 层参数分配不均匀的问题，苹果对各个 Transformer 层的注意力头数和 FFN 乘法器进行了调整。

　　苹果引入参数 α 和 β 两个超参数来分别缩放每层注意力头的数量 n_h 和 m。对于第 i 层，n_h 和 m 计算为：

　　苹果使用自家开源的 CoreNet 库（以前称为 CVNets ，专门用于训练深度神经网络）训练 OpenELM 变体，训练过程迭代了 35 万次。最终训练出了 OpenELM 四种变体（参数量为 270M、450M、1.1B 和 3B）。

　　图 1 绘制了 OpenELM 在 7 个标准零样本任务上随训练迭代次数的准确率。可以发现，在大多数任务中，随着训练持续时间的延长，准确率在总体上会有所提高。此外，通过平均最后五个检查点（每 5000 次迭代收集一次）得到的检查点，在准确率上与经过 350k 次迭代后得到的最终检查点相当，或略有提高。这种改进很可能是由于权重平均降低了噪声。因此，在表 4 的主要评估、表 5 的指令调优实验和表 6 的参数效率调优实验中，研究者使用了平均检查点。

　　表 4 中的结果横跨各种评估框架，突出了 OpenELM 相对于现有方法的有效性。表 4 中的结果跨越了不同的评估框架，凸显了 OpenELM 相对于现有方法的有效性。例如，与拥有 12 亿个参数的 OLMo 相比，拥有 11 亿个参数的 OpenELM 变体的准确率分别提高了 1.28%（表 4a）、2.36%（表 4b）和 1.72%（表 4c）。值得注意的是，OpenELM 达成了这样的准确率，但是使用的预训练数据比 OLMo 少的多。

　　如图 5 所示，在不同的评估框架中，指令微调始终能将 OpenELM 的平均准确率提高 1-2%。

　　参数高效微调（PEFT）结果。研究者使用常识推理的训练和评估设置。这个设置为不同方法提供了 8 个多项选择数据集的 170k 训练样本进行 PEFT 研究，包括 LoRA 和 DoRA。研究者将 OpenELM 与这些方法整合在一起，并使用 8 个 NVIDIA H100 GPU 对所生成的模型进行了三个训练周期的微调。如表 6 所示，PEFT 方法可以应用于 OpenELM。在给定的 CommonSense 推理数据集上，LoRA 和 DoRA 的平均准确率相似。

　　表 7a 和 7b 分别展示了本项工作在 GPU 和 MacBook Pro 上的基准测试结果。尽管 OpenELM 在相似参数数量下准确度更高，但其速度比 OLMo 慢。虽然这项研究的主要关注点是可复现性而不是推理性能，但研究者还是进行了全面的性能分析来判断工作的瓶颈所在。

　　分析表明，OpenELM 的处理时间的相当部分可归因于研究者对 RMSNorm 的简单实现（见表 8）。详细来说，也就是简单的 RMSNorm 实现导致许多单独的内核启动，每个都处理少量输入，而不是像 LayerNorm 那样启动单个融合内核。通过用 Apex 的 RMSNorm 替换简单的 RMSNorm，研究者发现 OpenELM 的吞吐量显著提高。然而，与使用优化 LayerNorm 的模型相比，仍有显著的性能差距，部分原因是（1）OpenELM 有 113 层 RMSNorm，而 OLMo 有 33 层 LayerNorm；（2）Apex 的 RMSNorm 没有为小输入优化。为了进一步说明由 RMSNorm 引起的性能下降，苹果用 RMSNorm 替换了 OLMo 中的 LayerNorm，观察到生成吞吐量显著下降。在未来的工作中，研究者计划探索优化策略以进一步提高 OpenELM 的推理效率。