Workflow
语言模型
icon
Search documents
[大模型实践] 卡比人贵时代的深度学习经验
自动驾驶之心· 2025-06-20 14:06
Core Viewpoint - The article emphasizes the importance of developing new methodologies for large model experiments, focusing on key indicators, identifying true bottlenecks, balancing large and small experiments, and enhancing team collaboration [1]. Group 1: Key Indicators - Identifying key indicators is crucial as they should clearly differentiate between state-of-the-art (SoTA) models and others, guiding the direction of model iterations [4]. - Good indicators must objectively reflect performance levels and accurately indicate the direction for model improvements, avoiding the pitfalls of focusing on misleading metrics [4]. Group 2: Experimentation Methodologies - The cost of experiments has increased significantly, making it essential to conduct meaningful experiments rather than low-value ones [5]. - It is advised to conduct large experiments to identify significant issues while using small experiments to filter out incorrect ideas [6]. Group 3: Team Collaboration - Given the complexity of large model experiments, it is important for team members to understand their comparative advantages and roles within the team [8]. - Effective collaboration can be enhanced by finding ways to observe and document experiments together, increasing communication frequency [8].
Z Potentials|专访陈羽北,Aizip打破效率瓶颈,让AI进入真实产品,推动On-Device AI的未来革命
Z Potentials· 2025-06-11 02:21
在当今 AI 行业,技术的迭代速度与应用的广泛程度正在以前所未有的方式深刻改变着我们的生活。从早期的基础算法研究到如今的智能硬件应用, AI 的 革命已悄然展开,然而,尽管 AI 潜力巨大,其高昂的能耗、庞大的模型和复杂的学习机制仍是行业亟待突破的难题。在这种背景下,致力于突破 AI 效率 瓶颈的创新型公司正引领着一股变革潮流。 在本期的专访中,我们有幸邀请到了 Aizip 的联合创始人陈羽北。 Aizip 作为一家专注于 On-Device AI 模型的创新公司,凭借其高效、紧凑的 AI 模型和 跨领域技术突破,正在推动 AI 技术在硬件设备上的广泛应用 。 Aizip 在多模态感知、语言推理及行为控制等领域取得的成绩,不仅为智能设备带来了更高 效的性能,还使得 AI 融入我们的日常生活成为可能。 在这场对话中,我们将一同探讨陈羽北如何突破传统 AI 模型的效率瓶颈、如何构建具有全球竞争力 的 AI 产品,并深入了解他如何通过 Aizip 实现将 AI 技术从学术研究转化为商业化应用的宏大愿景。让我们一起走进这场精彩的对话! 01 长期研究 AI ,期望提升 AI 能量效率、模型效率及学习效率 ZP: 请先 ...
为什么用错奖励,模型也能提分?新研究:模型学的不是新知识,是思维
机器之心· 2025-06-08 03:45
本文主要作者是吕昂和谢若冰。吕昂,中国人民大学博士生,研究方向为语言模型结构优化,导师为严睿教授;谢若冰,腾讯高级研究员,研究方向为大语言模 型、推荐系统。 最近的一篇论文中,来自人大和腾讯的研究者们的研究表明,语言模型对强化学习中的奖励噪音具有鲁棒性,即使翻转相当一部分的奖励(例如,正确答案得 0 分,错误答案得 1 分),也不会显著影响下游任务的表现。 研究者解释道,强化学习对下游任务的提升,关键不仅在于奖励的准确性,而更在于模型是否能够产生高质量的思考过程。仅通过奖励模型输出中关键思考词的 出现频率,而非基于答案正确性的奖励,语言模型依然能够在下游任务中取得非常高的峰值表现。这表明,强化学习对下游任务的提升,更多来源于让模型学会 采用恰当的思考路径接近正确答案。而相关的解题基础能力,模型已在预训练阶段获得。因此,预训练阶段的能力提升依然至关重要。 研究者还展示了基于思考模式的极简奖励如何有效校准奖励模型,从而在开放性 NLP 任务中增强语言模型的表现,并使较小的模型也能通过强化学习成功获得思 考能力。 论文地址:https://huggingface.co/papers/2505.22653 代码链接: ...
如何知道别人想要什么?
3 6 Ke· 2025-04-29 00:06
编者按:如何洞察他人需求?本文突破传统调研局限,提出颠覆性视角——抛弃本质主义的"需求挖 掘",转向动态序列思维。真正的需求不在预设清单中,而是由情境触发。唯有通过主动构建行为序 列,在试错中培养创造情境的能力,才能唤醒他人内心未曾察觉的渴望。文章来自编译。 上周我在讨论人机协作的五种新型思维模式时,曾强调在人工智能时代为何要摒弃本质主义、转向序列 思维——也就是学会适应动态的上下文,而不是执着于寻找固定不变的"真理"。本周我将具体阐释这种 思维的实际应用。 过去10-15年间,初创企业界经常流传这么一句箴言:"做大家想要的东西。"这句话之所以引发共鸣, 是因为它将创始人的核心使命浓缩得恰到好处。可惜它就像告诉投资者要"跑赢大盘"一样,缺乏可操作 性。二者都面临同样的诘问:"怎么做?" 主流方法论是要聚焦客户需求。这种世界观认为,大家购买产品纯粹出于实际需要,或者说是在"雇 佣"产品完成特定任务。 用这种框架思考,其实就是默认别人存在客观可测的待解难题。只要足够细致地观察,就能绘制出问题 图谱,关联需求坐标,进而确定开发方向。 这是产品研发的科学范式。原本神秘的需求洞察转化为实证活动:通过街头访谈、问卷调查、 ...