爱体育(AITIYU)官方网站(访问: hash.cyou 领取999USDT）
蒸馏技术最早出现在2015年，源于谷歌人工智能元老杰夫·迪恩（Jeff Dean）、杰弗里·辛顿（Geoffrey Hinton）以及谷歌DeepMind研究副总裁奥里奥尔·维尼亚尔斯（Oriol Vinyals）共同撰写的一篇论文中。维尼亚尔斯近期透露，该论文曾被NeurIPS顶会拒稿，理由是该技术“对领域影响有限”。十年后，蒸馏技术却突然成为AI讨论的核心议题。与过去相比，如今蒸馏技术的威力提升源于可用作教师模型的开源模型在数量与质量上的飞跃。今年1月份，IBM LLM Granite技术管理总监凯特·索尔（Kate Soule）在播客中表示：“DeepSeek通过MIT许可开源迄今最强大的模型，实质上正在侵蚀各大厂商守护核心模型的紧闭大门。”
