微软14年AI科学家离职,呼吁关注本地推理优化而非仅扩充参数
14年老兵离职:创新难落地是主因
微软任职逾14年的AI科学家、AI Frontiers实验室联合创始人约翰·兰福德(John Langford)近日离职。他在声明中表示,离开的关键原因在于研究成果难以看到实际应用路径,创新想法甚至未能获得公司的认真考虑。这一决定反映了他对当前AI研究落地渠道的不满。
兰福德是机器学习领域的资深研究者,长期致力于推进上下文多臂老虎机(Contextual Bandits)理论。他与合作者在探索算法、学习问题归约及离线策略评估方面做出了代表性工作,为机器学习系统利用不完整反馈改进决策奠定了理论与方法基础。
<
团队重组引发路线分歧
兰福德所在的约50人团队于今年9月发生调整,被并入穆斯塔法·苏莱曼(Mustafa Suleyman)领导的Microsoft AI部门。尽管双方目标一致,但在研究路线、创新落地渠道和团队重组方式上存在较大分歧,这最终促使兰福德选择离开。他认为,仅靠组织调整无法解决根本的研究导向问题。
反对“唯规模论”,倡导降本创新
兰福德承认,扩大模型规模确实能改善预测效果,且对企业而言回报更容易预期。但他反对将扩大规模作为唯一核心,认为这会让工作重心过度集中在数据上,挤压探索新方法的空间。在他看来,微软应更重视通过算法创新降低推理成本,而非单纯堆砌算力。
<
全带宽Transformer:减少信息浪费
争议焦点之一是兰福德于今年8月发布的“全带宽Transformer”研究。该研究指出,模型生成下一个词元时,不只利用此前输出的词元,还会重新利用内部的中间状态,从而减少信息浪费。这种思路旨在提升本地推理的效率,使模型在资源受限环境下表现更佳。
在论文实验中,10亿参数模型能够以更少的训练数据,接近或达到使用约1.5倍数据训练的常规模型表现,而每个词元增加的计算开销则很小。这一结果证明了通过结构优化而非单纯增加参数来提升性能的有效性,对降低私有化部署成本具有重要意义。
行业趋势:字节Seed类似研究
报道指出,字节跳动Seed团队在今年10月25日发布了采用类似思路的Recycler研究。该方法以类似方式重用隐藏状态,且在推理和数学方面,能超越参数多两到三倍的模型。这一进展表明,关注内部状态重用以优化推理成本已成为行业共识。
相比之下,微软在Build 2026发布会上发布的模型虽规模宏大,但兰福德的离职提醒业界,在追求更大模型的同时,不应忽视通过算法创新降低推理成本的潜力。对于关注本地推理和开放权重部署的用户而言,这类高效模型更具实际吸引力。
<
来源:IT之家