小语言模型

Search documents
2025年AI在多个方面持续取得显著进展和突破
Sou Hu Cai Jing· 2025-06-23 07:19
多模态 AI 能够处理和整合多种形式的输入,如文本、图像、音频和视频等,成为 2025 年 AI 领域的关键趋势。像 OpenAI 的 GPT-4 能从文本、音频和视觉 输入生成文本,谷歌的 Gemini 模型展示出出色的多模态能力,微软的 Designer 应用利用多模态 AI 进行图形设计任务。其应用广泛,在医疗保健领域可结 合医疗图像和患者病史进行更准确的诊断,在客户服务方面能提供更直观和全面的支持,在内容创作上能根据单一提示生成多种媒体类型。 2025 年 AI 在多个方面持续取得显著进展和突破,主要的发展趋势和特点: Ai生成 AI 智能体正变得日益复杂,从简单的聊天机器人向更智能、具有情境感知能力的助手转变。它们在各个平台上改变着客户服务、生产力和用户交互方式。 例如,智谱 AI 开放日推出的智能体可替用户点外卖,能在无人工干预下完成跨应用程序、多步骤的真实任务。2025 年,智能体将更加普及,能处理更复杂 的任务,为供应链经理、软件开发人员、金融分析师等提供支持,并有望革新自动驾驶领域。 #AI这一年 2025 年见证了小语言模型(SLMs)的快速发展和广泛采用。这些更紧凑的模型相比大型语言模型 ...
英伟达揭示RL Scaling魔力!训练步数翻倍=推理能力质变,小模型突破推理极限
机器之心· 2025-06-04 04:41
强化学习(RL)到底是语言模型能力进化的「发动机」,还是只是更努力地背题、换个方式答题?这个问题,学界争论已久:RL 真能让模型学会新的推理 技能吗,还是只是提高了已有知识的调用效率? 过去的研究多数持悲观态度:认为 RL 带来的收益非常有限,有时甚至会让模型「同质化」加重,失去多样性。然而,来自英伟达的这项研究指出,造成这 一现象的根本原因在于:数学、编程等任务在 base model 的训练数据中被过度呈现,以及 RL 训练步数不足。 论文题目:ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models 链接:https://arxiv.org/pdf/2505.24864 ProRL 来了!长期训练 = 推理能力质变! 由 NVIDIA 团队提出的 ProRL(Prolonged Reinforcement Learning)框架,将 RL 训练步数从传统的几百步大幅提升至 2000 步以上,释放了小模型潜 藏的巨大潜力。结果令人震惊: KL 正则化 + 周期性策略重置 这一突 ...