序列处理领域的变革：超越 Transformer 的局限
多年来，序列建模领域，尤其是在自然语言处理方面，一直被自回归 Transformer 架构的成功所主导。它们在上下文学习方面的卓越能力，加之 softmax attention 机制在训练阶段固有的并行性，巩固了它们作为主流范式的地位。然而，这种主导地位伴随着相当大的代价。其核心计算引擎 softmax attention 表现出相对于输入序列长度的二次方扩展行为 (quadratic scaling behavior)。这一特性直接转化为不断升级的计算开销和巨大的内存需求，构成了一个显著的瓶颈，尤其是在处理现代应用中常见的长序列时，例如文档摘要、长篇问答或基因组分析。
虽然复杂的 GPU 优化设法在训练期间缓解了部分针对较短序列长度的压力，但推理阶段——模型在真实世界场景中部署的阶段——仍然是出了名的资源密集型和昂贵，尤其是在大规模运行时。attention 的二次方特性意味着，在推理过程中，序列长度加倍会导致计算量和内存占用增加四倍，这使得在长上下文上部署非常大的 Transformer 模型在许多情况下变得经济上具有挑战性或技术上不可行。
认识到这些根本性限制，研究人员一直在探索替代的架构途径。一个特别有前景的方向涉及重新审视和复兴循环神经网络 (RNN) 设计。现代 RNN 方法旨在整合压缩状态机制。这些状态封装了来自序列的相关历史信息，允许模型以相对于序列长度的线性计算复杂度 (linear computational complexity) 运行，并且至关重要的是，在推理过程中无论序列变得多长都能保持恒定的内存使用量 (constant memory usage)。这一特性为长序列任务提供了相对于 Transformer 的显著优势。近年来在线性 attention 近似和状态空间模型 (SSMs) 等领域的进展显示出巨大潜力。像 RWKV-4 这样的架构作为值得注意的例子出现，展示了具有竞争力的性能水平，同时大幅降低了与推理相关的计算负担，暗示了一条超越标准 attention 二次方约束的可行前进道路。
引入 RWKV-7 ‘Goose’：循环架构性能的新基准
在此基础上，并推动循环架构的边界，一项涉及来自不同机构研究人员的合作努力，包括 RWKV Project、EleutherAI、清华大学等，最终促成了 RWKV-7，代号 ‘Goose’ 的开发。这种新颖的序列建模架构代表了一次重大飞跃，在广泛的多语言任务中，特别是在 30 亿参数规模上，建立了新的最先进 (SoTA) 性能基准。
RWKV-7 成就中最引人注目的方面之一是其卓越的效率。尽管与许多领先的当代模型相比，RWKV-7 是在规模小得多的 tokens 语料库上训练的，但它提供的英语语言处理能力与其更大、更需要数据的对手相比具有高度竞争力。也许更重要的是，它在实现这一点的同时，忠实地遵循了先进 RNN 的核心效率原则：恒定的内存消耗和每个 token 一致的推理时间，无论正在处理的序列长度如何。这使得 RWKV-7 成为要求高性能和资源节约的应用的极具吸引力的选择，尤其是在处理长上下文时。
RWKV-7 所体现的进步源于几项关键的架构创新，这些创新扩展并完善了其前身的原则。该模型整合了一个复杂的向量值状态门控机制 (vector-valued state gating mechanism)，允许对循环状态内的信息流进行更细致的控制。此外，它引入了自适应上下文学习率 (adaptive in-context learning rates)，使模型能够根据即时上下文动态调整其学习过程，从而可能增强其捕捉复杂依赖关系的能力。在其核心循环更新规则中，一个经过改进的值替换机制 (value replacement mechanism)，扩展了 delta rule 概念，进一步提升了模型的表达能力和进行复杂模式识别的能力。
这些增强不仅仅是经验上的改进；它们赋予了 RWKV-7 超越通常与标准 Transformer 在典型复杂性假设下相关联的理论能力。研究人员提供的证据表明，RWKV-7 可以有效地跟踪复杂状态，并且重要的是，能够识别整个正则语言类 (recognize the entire class of regular languages)，这对于没有专门修改或可能需要过高计算扩展的普通 Transformer 来说是一项具有挑战性的壮举。
为了强调他们对开放科学和协作进步的承诺，研究团队不仅发布了架构细节，还发布了一套预训练的 RWKV-7 模型。这些模型的规模从灵活的 0.19 亿参数到强大的 2.9 亿参数不等，满足了不同的计算预算和应用需求。伴随这些模型的是一个庞大的 3.1 万亿 token 多语言语料库，被称为 RWKV World v3，它在模型训练中发挥了重要作用，并且本身也是社区的宝贵资源。所有这些贡献，包括模型权重和底层代码库，都在宽松的 Apache 2.0 开源许可证下提供，促进了广泛的采用、审查和进一步开发。
架构深入探讨：驱动 RWKV-7 的引擎
RWKV-7 的设计哲学建立在 RWKV-6 奠定的坚实基础上，继承了诸如用于改进时间建模的 token-shift、用于精细化类 attention 行为的 bonus 机制，以及高效的 ReLU² 前馈网络结构等特性。然而，’Goose’ 迭代引入了几个关键的增强功能，共同提升了其能力。
- 向量值状态门控 (Vector-Valued State Gating): 与简单的标量门控不同，RWKV-7 采用向量门。这允许循环状态内的不同通道或维度被独立地更新和调制，从而对信息如何随时间持续或衰减提供了更精细的控制。这种增加的粒度增强了模型管理复杂、多方面上下文信息的能力。
- 自适应上下文学习率 (Adaptive In-Context Learning Rates): 一种新颖的机制允许模型用于上下文吸收的内部“学习率”根据正在处理的 tokens 动态调整。这表明模型可以加强对新颖或意外信息的关注，同时可能降低冗余输入的权重，从而实现更有效的学习和状态表示。
- 精炼的 Delta Rule 公式 (Refined Delta Rule Formulation): 负责整合过去信息的核心时间混合块 (time-mixing block) 对 delta rule 进行了重大改进。这涉及输入 tokens 和循环状态之间的复杂交互，使用可训练矩阵（表示为模型维度 D）进行复杂的转换。该过程包括使用低秩多层感知器 (MLPs) 进行权重准备以提高效率。控制状态演变的关键组件包括：
- 替换键 (Replacement Keys): 决定状态中要更新的部分。
- 衰减因子 (Decay Factors): 控制过去信息衰减的速度。
- 学习率 (Learning Rates): 根据当前输入调节更新的强度。
- 加权键值 (WKV) 机制 (Weighted Key-Value (WKV) Mechanism): 该机制是 RWKV 架构线性 attention 近似的核心。它基于从输入序列派生的键和值之间的加权交互来促进动态状态转换，有效地充当了一个复杂的遗忘门，允许模型根据相关性选择性地保留或丢弃过去的信息。
- 表达能力增强 (Expressivity Enhancements): RWKV-7 整合了逐通道修改，并在某些组件中使用了双层 MLP 结构。这些变化不仅旨在增加模型的表示能力，而且旨在改善训练和推理过程中的计算稳定性和数值精度，同时仔细保留 RNN 设计中固有的关键状态跟踪能力。
RWKV-7 的训练方案利用了新编译的 RWKV World v3 语料库。这个包含超过 3 万亿 tokens 的庞大数据集经过精心策划，不仅旨在增强模型在英语方面的熟练度，而且显著提升了其在各种其他语言和编程代码方面的能力，反映了对真正多语言和代码感知基础模型日益增长的需求。
此外，该研究为 RWKV-7 的能力提供了理论基础。研究提供了证明，表明它有能力解决被认为超出复杂性类别 TC₀ 范围的问题，其中包括诸如 S₅ 状态跟踪（管理 5 个元素的排列）和前述的识别所有正则语言等任务。这种理论优势表明，RWKV-7 可能比传统 Transformer 架构更自然、更有效地处理某些类型的结构化或算法任务。架构设计的一个有趣的实际成果是提出了一种成本效益高的升级路径。这种方法可能允许在无需从头开始进行完整、昂贵的重新训练周期的情况下，增强现有的 RWKV 模型以整合新的架构改进，从而促进更敏捷和增量的模型开发。
衡量 ‘Goose’：跨多样化基准的性能
为了严格评估 RWKV-7 的能力，这些模型使用了广泛采用的 LM Evaluation Harness 进行了广泛的评估。该框架提供了一套标准化的基准测试，涵盖了广泛的语言理解和生成任务。评估范围包括以英语为中心的基准测试和各种多语言挑战。
结果描绘了一幅引人注目的 RWKV-7 实力图景。在众多基准测试中，RWKV-7 模型展示了与已建立的最先进模型（包括著名的基于 Transformer 的架构）高度竞争的性能水平。考虑到与许多竞争对手相比，RWKV-7 使用的训练 tokens 数量明显较少，这一点尤其值得注意。例如，在具有挑战性的 MMLU (Massive Multitask Language Understanding) 基准测试中，RWKV-7 相较于其前身 RWKV-6 显示出显著的改进。其在多语言任务中的增益更为明显，直接反映了从广泛且多样化的 RWKV World v3 训练语料库中获得的益处。
除了标准化的学术基准测试外，评估还结合了使用近期互联网数据的评估。这些测试旨在衡量模型处理和推理最新信息的能力，证实了其在处理当代知识和语言使用方面的有效性。
评估期间突出的具体优势包括：
- 联想回忆 (Associative Recall): 模型展示了基于相关线索回忆信息的强大能力，这是涉及知识检索和推理任务的关键能力。
- 机制化架构设计 (Mechanistic Architecture Design): 评估隐含地验证了 RWKV-7 中所做出的特定架构选择的有效性，显示了它们对整体性能的贡献。
- 长上下文保持 (Long-Context Retention): 在受益于恒定内存使用的同时，该模型还在扩展序列长度上展示了实际的保持和利用信息的能力，这对于需要长距离依赖建模的任务至关重要。
至关重要的是，这些性能成就是以显著的计算效率实现的。尽管与一些行业巨头相比，在可用训练资源方面受到限制，RWKV-7 在训练期间所需的浮点运算次数 (FLOPs) 少于几个规模相当的领先 Transformer 模型，从而取得了强大的基准分数。这突显了其参数效率及其线性扩展循环设计的固有优势。SoTA 级别的性能（尤其是在多语言方面）与卓越的计算节约性的结合，使 RWKV-7 成为序列建模领域中一个强大而实用的替代方案。
应对当前障碍与展望未来
尽管 RWKV-7 架构取得了令人瞩目的成就并具有固有的优势，但像任何复杂技术一样，它并非没有局限性和未来需要改进的领域。研究人员坦诚地承认了几个挑战：
- 数值精度敏感性 (Numerical Precision Sensitivity): 模型计算的某些方面可能对数值精度敏感，可能需要仔细的实现和处理，尤其是在较低精度格式（如 bfloat16）下进行训练时，以保持稳定性和性能。
- 缺乏指令调优 (Lack of Instruction Tuning): 发布的 RWKV-7 模型在推出时，尚未经过大规模指令调优或基于人类反馈的强化学习 (RLHF)。这意味着它们在零样本方式下遵循复杂指令或进行细致对话方面可能不如经过微调的对应模型。
- 提示敏感性 (Prompt Sensitivity): 与许多大型语言模型一样，RWKV-7 的输出质量有时可能对输入提示的具体措辞和结构敏感。获得最佳结果可能需要一定程度的提示工程。
- 受限的计算资源 (Restricted Computational Resources): 虽然相对于其性能而言效率很高，但与一些主要 AI 实验室可用的巨大计算能力相比，开发和训练仍然是在资源限制下进行的。扩展努力可能会揭示新的挑战或机遇。
展望未来，RWKV 的发展路线图包括几个有前景的方向，旨在解决这些局限性并进一步增强该架构的能力。重点关注的关键领域包括：
- 优化推理速度 (Optimizing Inference Speed): 继续优化代码库并可能探索特定硬件的实现，可以进一步提高已经具有优势的推理速度，使部署更加实用。
- 整合思维链推理 (Incorporating Chain-of-Thought Reasoning): 研究在 RWKV 框架内引发或训练思维链 (CoT) 推理能力的方法，可以显著提升其在需要多步逻辑推导的复杂问题解决任务上的性能。
- 利用更大的数据集和模型规模进行扩展 (Scaling with Larger Datasets and Model Sizes): 利用高效的架构，在可能扩展的多语言数据集版本上训练更大的模型，有望进一步推动性能边界。
- 指令调优与对齐 (Instruction Tuning and Alignment): 应用成熟的技术来实现指令遵循和与人类偏好对齐，对于使 RWKV 模型对下游应用更加用户友好和可控至关重要。
RWKV-7 模型、广泛的训练数据集以及相关代码在 Apache 2.0 许可证下的开放可用性，是推动社区参与的强大催化剂。它鼓励对高效序列建模进行更广泛的研究，允许对结果进行独立验证，并使开发人员能够在此创新的循环架构基础上进行构建，从而可能加速朝着功能更强、更易于访问且计算上可持续的 AI 系统的发展。