谷歌 LiteRT Tensor API 落地,C++ 实现端侧模型跨硬件低成本推理
API 架构革新:解耦硬件依赖
谷歌正式推出 LiteRT Tensor API,这是一款专为端侧机器学习设计的轻量级 C++ 接口。其核心目标在于解决传统端侧开发中代码与特定硬件后端紧密耦合的痛点。以往开发者需手动编写针对不同加速器如 Metal、OpenCL 或 Vulkan 的计算逻辑,导致每增加一种硬件目标都要重新编写代码,极大增加了开发与维护负担。新 API 允许开发者通过 C++ 逐个算子搭建计算图,使得同一套代码能在 CPU、GPU 和 NPU 上灵活运行,无需针对每个新硬件目标进行重写,从而实现了原生模型开发灵活性与跨平台可移植性的统一。
核心能力:零拷贝与权重直导
除了架构层面的解耦,LiteRT Tensor API 提供了多项关键能力以降低推理成本。首先,它支持直接权重导入,开发者可以直接从检查点加载权重,甚至兼容 Hugging Face 的 .safetensors 文件,简化了模型迁移流程。其次,该 API 实现了零拷贝缓冲区互操作,避免了在预处理、推理和后处理阶段之间复制加速器缓冲区,显著提升了数据流转效率。此外,它与 AI 编码智能体高度兼容,智能体可以生成 C++ 代码来构建、修改、验证和基准测试模型图,这种自动化特性进一步降低了本地推理调优的人力成本。
性能实测:跨设备基准对比
谷歌通过一个演示应用展示了 LiteRT Tensor API 在跨平台性能上的优势。该应用使用了 SAM 2 模型,并在 macOS 笔记本电脑(Metal)、iOS 手机(Metal)和 Android 手机(OpenCL)上运行了相同的 C++ 代码。测试结果显示,在 MacBook Pro 上,该方案比 Apple MLX(fp16 模式下的图像编码器加掩码解码器)快约 1.5 倍。这一数据表明,通过底层 C++ 控制,开发者能够挖掘出比通用框架更高的硬件推理效率,尤其是在需要精细优化推理成本时,这种直接控制硬件加速器的优势更为明显。
智能体优化:WebGPU 帧率突破
Arm AI 总监 Laurence Moroney 对该工具的应用场景给出了专业评估。他指出,虽然模型转换仍是主流选择,但当需要图级控制或希望预处理和后处理保留在加速器上时,LiteRT Tensor API 是更佳选择。特别值得注意的是,基于纯 C++ 定义的模型图允许编码智能体进行深度优化。例如,智能体将 SAM 2 的逐帧决策逻辑从 CPU 代码移入计算图中,并重写了在 WebGPU 上触发 CPU 回退的操作,改用兼容 GPU 的算术运算。结果显示,在 512×512 分辨率下,帧率从不足 10fps 提升至 30fps 以上。这一案例证明,结构化原语能帮助智能体实现真实的性能优化,从而降低复杂推理任务对硬件算力的依赖。
后续规划:支持动态形状与量化
谷歌已规划多项后续改进措施,旨在进一步降低端侧部署的门槛与成本。计划包括原生支持 ML Drift 后端,增加更多对 NPU 友好的操作,以及实现自动全图量化功能。此外,针对不同图像尺寸、批大小和序列长度的扩展动态形状支持也在开发议程中。这些功能将有助于开发者在有限的端侧算力约束下,通过自动化量化和动态形状调整,更精确地平衡模型精度与推理速度,最终实现更低成本的本地化 AI 部署。
来源:InfoQ