作者：孙伟高 上海人工智能实验室 近年来，大语言模型（LLMs）展现出强大的语言理解与生成能力，推动了文本生成、代码生成、问答、翻 译等任务的突破。代表性模型如 GPT、Claude、Gemini、DeepSeek、Qwen 等，已经深刻改变了人机交互方 式。LLMs 的边界也不止于语言和简单问答。随着多模态（VLMs）与推理能力（LRMs）的兴起，LLMs 正 不断扩展到多模态理解、生成与复杂推理场景。 但模型性能持续提升的背后，是模型尺寸、数据规模、RL 推理长度的快速 Scaling，是算力和存储资源的急 剧消耗。大模型的训练与推理的成本居高不下，成为制约其广泛落地和应用的现实瓶颈。 本文从 LLM 架构角度出发，带你剖析大模型的效率秘诀。这一切的核心在于 Transformer 架构。 Transformer 的自注意力机制虽带来了远距离建模的突破，却因 O ( N 2 ) 的复杂度在长序列任务中成本高 昂。 而在 RAG、智能体、长链推理、多模态等新兴场景下，长序列需求愈发突出，进一步放大了效率与性 能之间的矛盾。 同时 Transformer 的 FFN 部分采用密集的 MLP 层，同样面临模型规 ...