英伟达Alpamayo 2 Edge端侧模型:本地推理成本可控,闭环性能提升48.9%
端侧部署架构设计
英伟达发布的Alpamayo 2 Edge是一款专为车载环境设计的端到端自动驾驶模型。该模型采用双模块架构,由约 2.45B 参数的视觉语言模型(VLM)骨干和约 0.2B 参数的扩散动作专家组成。两者协同工作,旨在解决高速车辆中算力有限且响应时间严格的问题。模型直接运行在车规级芯片 DRIVE AGX Thor 上,实现了从感知到决策的本地化闭环处理。

自适应推理控制机制
为了平衡推理质量与端侧计算成本,该模型引入了 Adaptive Reasoning 机制。系统使用特殊标记 来判断驾驶状态:在常规驾驶场景下,模型直接输出该标记以结束显式推理文本生成,从而减少 Token 消耗;仅在遇到复杂交通交互时,才生成完整的因果链(Chain-of-Causation,CoC)推理。这种设计并非关闭视觉网络,而是通过改变语言模型的输出策略,动态控制本地推理开销,确保车辆既“想得明白”又“开得及时”。

因果链数据构建流程
模型的训练依赖高质量因果标注数据。英伟达使用 Alpamayo 2 Super 生成 CoC 自动标注,再通过离线蒸馏训练 Edge 模型。公开数据包含约 115,000 小时多摄像头驾驶视频及 370 万条 CoC 推理标注。标注过程以车辆行为变化(Meta-Action)为锚点,重点捕捉驾驶决策发生时刻的场景因素与动作之间的因果关系。尽管自动生成的标注可能存在教师模型偏差,但该机制有效集中了监督信号,避免了逐帧生成带来的冗余数据问题。
连续轨迹生成模块
动作专家负责将场景理解转化为可执行的车辆轨迹。它接收 VLM 输出的语义条件,生成每个时间步的加速度和曲率,并通过 Unicycle Model 积分形成轨迹。模型最终输出 64 个 Waypoints,覆盖未来 6.4 秒,每 0.1 秒一个点。在训练过程中,动作专家采用 Flow Matching 方法,并使用 Detach 梯度隔离技术,防止连续控制目标干扰上游视觉语言骨干的优化,确保两个模块分别专注于语义理解和运动生成。

评估与闭环性能提升
英伟达引入 AlpaJudge 机制评估推理质量,将 CoC 解释转化为训练信号。实验数据显示,使用 AlpaJudge 奖励后,模型评分提升 10.2%,人工评价提升 11.4%。在闭环强化学习测试中,Alpamayo 2 Edge 的表现较基线提升 48.9%。这一结果表明,通过结合因果推理与扩散动作生成,该模型在私有化部署场景下能有效兼顾本地推理速度与驾驶安全性,为车端 AI 提供了一种高效的技术方案。
来源:雷锋网