8月6日晚间,晚点LatePost爆料称,字节跳动正在讨论训练一个参数规模超5万亿的模型,超过阿里的Qwen 3.8-Max(2.4万亿参数)和月之暗面的K3(2.8万亿参数),成为国内已知参数规模最大的模型。该计划仍处于早期阶段。
消息称,该模型将由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作。项亮2016年加入字节,曾负责机器学习中台AML团队;沈科2018年清华毕业后加入字节,负责LLM预训练数据。
多名字节跳动人士透露,上半年多个Seed团队已开始反思,这是讨论训练超5万亿参数模型的原因之一。两周前的Seed全员会上,张一鸣安抚团队成员,认为一段时间内可接受模型落后于行业,希望大家追求智能上限,并主张编程是关键方向,反对蒸馏。
