字节Seed：大概念模型来了，推理的何必是下一个token

henry 发自 凹非寺 量子位 | 公众号 QbitAI LLM的下一个推理单位，何必是Token？ 刚刚，字节Seed团队发布最新研究—— DLCM（Dynamic Large Concept Models） 将大模型的推理单位从token（词） 动态且自适应地推到了concept（概念）层级。 DLCM通过 端到端地方式学习语义边界，动态地将Token序列分割成概念，在压缩后的概念空间中进行深度推理，并借助因果交叉注意力将 概念级推理结果重构为Token级预测 。 由此，传统LLM中基于均匀、冗余Token信息密度的计算分配，被转化为面向概念的动态推理与自适应算力分配。 在以推理为主的基准任务上，DLCM在将推理阶段FLOPs降低 34% 的同时，还将平均准确率提升了 2.69% 。 这也意味着，大模型的推理效率并不必然依赖更密集的Token级计算，而可以通过更高层级的语义组织来获得。 接下来，我们具体来看。 分层的下一token预测框架 如上所说，DLCM的核心在于学习动态的Token-概念映射，实现了计算资源的自适应分配。 接下来，在 动态分割 阶段，模型基于Token级表示，计算相邻Token之间 ...