苹果HALO系统实测:千问模型驱动宇树G1,本地推理成功率91%
系统架构与边缘部署方案
苹果研究团队在arXiv平台发布HALO人形机器人自主控制系统,实现了从数据生成到真机部署的全流程开源。该系统在宇树科技G1机器人上进行了验证,为提升算力支撑,团队在机器人背部加装了3D打印保护外壳,并内置了一台配备M4 Pro芯片和64GB统一内存的Mac mini。这种硬件配置旨在让机载端承担Orchestrator(VLM)与Motion Generator(DiT)等计算密集型任务的实时推理,而G1自带的板载芯片则专注于高频运行Tracker策略网络,体现了分层计算的思路。

三层控制逻辑与模型选型
HALO系统采用三层协同控制架构。最上层是基于视觉语言模型的任务编排模块,默认调用千问Qwen3.6-35B-A3B,同时也支持通过API调用云端模型,这种设计兼顾了离线能力与灵活性。中间的动作生成层使用了另一款较小的千问模型Qwen3.5-2B,以平衡精度与速度。底层则是经过强化学习和策略蒸馏训练的动作跟踪器,以每秒50次的频率运行,确保了机器人动作的稳定性与响应速度。
真实环境测试数据表现
研究团队在6个未预先扫描或建图的真实环境中进行了360次单项任务测试,结果显示平均成功率为91%。在更复杂的长序列任务中,单一场景内各进行10次测试,3种任务组合的平均成功率为70%。其中,“俯身通过障碍—走向目标—推箱子”这一最复杂任务在10次测试中成功5次,成功率为50%。尽管部分接触类任务表现有所下降,但91%的单项成功率证明了HALO在通用操作任务上的鲁棒性。

算力资源与训练成本分析
从算力视角来看,该系统的训练过程消耗了大量计算资源。团队使用250张英伟达H100 GPU,耗时约48小时合成了主要训练数据。动作生成器通过模仿学习训练,使用了64张B200;而动作跟踪器则通过强化学习等步骤训练,使用了4张H100。这表明尽管推理端可以通过Mac mini实现边缘化部署,但前期的模型训练与数据合成依然高度依赖大规模数据中心算力,推理成本的转移并未改变训练端的高投入特征。
局限性感知与未来方向
目前系统主要依赖视觉感知,难以直接感知接触情况,当物体被遮挡或离开视野时,任务成功率会下降。团队指出,新增物理任务仍需人工编写提示词和设计关键帧,部分动作甚至使用了人类视频素材,说明数据自动化程度仍有提升空间。加入触觉感知将是后续改进的重要方向,以弥补视觉在复杂交互场景下的不足。

来源:IT之家