Meta新研究：字节模型蒸馏后，天花板破了
Meta新研究：字节模型蒸馏后，天花板破了Token词元替代了Byte字节，但不意味着大模型都得是Token。
来自主题: AI技术研报
5787 点击 2026-09-15 13:59
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Token词元替代了Byte字节，但不意味着大模型都得是Token。
过去的 Diffusion RL 多聚焦于奖励设计与优化算法，训练时的采样成本被忽视。DMSampler 指出：在在线 RL 中，限制规模化的不只是奖励信号或优化器，很多时候是 rollout 本身太贵。
“我们有点处在自己的科技泡沫里。”
今年以来，开源项目LightX2V 及其 4 步视频生成蒸馏模型在 ComfyUI 社区迅速走红，单月下载量超过 170 万次。越来越多创作者用它在消费级显卡上完成高质量视频生成，把“等几分钟出一段视频”变成“边看边出片”。
自从DeepSeek带火了蒸馏模型以后，更多人开始关注AI大模型在边缘端的部署。而在过去，TinyML一直也在MCU领域很火热。现在，边缘AI走得更快了，市场也正在走向爆发。
本文介绍了英特尔®至强®处理器在AI推理领域的优势，如何使用一键部署的镜像进行纯CPU环境下基于AMX加速后的DeepSeek-R1 7B蒸馏模型推理，以及纯CPU环境下部署DeepSeek-R1 671B满血版模型实践。
蒸馏模型的性能可以量化估算了。
DeepSeek的含金量还在上升，一个半个周末过去发生这些大事：国家超算互联网平台上线DeepSeek-R1，最高支持671B的满血版。达摩院玄铁芯片成功适配DeepSeek-R1系列蒸馏模型，在RISC-V架构CPU和端侧平台打开新的应用空间。
模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。