信息过载

Search documents
ICML 2025 | 打破残差连接瓶颈,彩云科技&北邮提出MUDDFormer架构让Transformer再进化!
机器之心· 2025-06-27 08:06
本文第一作者为北京邮电大学副教授、彩云科技首席科学家肖达,其他作者为彩云科技算法研究员孟庆 业、李省平,彩云科技CEO袁行远。 残差连接(residual connections)自何恺明在 2015 年开山之作 ResNet [1] 中提出后,就成为深度 学习乃至 Transformer LLMs 的一大基石。但在当今的深度 Transformer LLMs 中仍有其局限性,限 制了信息在跨层间的高效传递。 彩 云 科 技 与 北 京 邮 电 大 学 近 期 联 合 提 出 了 一 个 简 单 有 效 的 残 差 连 接 替 代 : 多 路 动 态 稠 密 连 接 (MUltiway Dynamic Dense (MUDD) connection),大幅度提高了 Transformer 跨层信息传递的 效率。 大规模语言模型预训练实验表明, 仅增加 0.23% 的参数量和 0.4% 的计算量,采用该架构的 2.8B 参数量 MUDDPythia 模型即可在 0-shot 和 5-shot 评估中分别媲美 6.9B 参数量(~2.4 倍)和 12B 参数量(~4.2 倍)的 Pythia 模型, 表明了 MU ...
停止焦虑第一步:信息节食
洞见· 2025-06-23 09:56
你是否有过类似的感受: 刷个手机放松一下,结果看到不知名网友晒出的豪车、别墅和旅游照片,顿觉自己很没出息; 洞见 ( DJ00123987 ) —— 不一样的观点,不一样的故事, 3000 万人订阅的微信大号。点击标题下 蓝字 " 洞见 " 关注,我们将为您提供有价值、有意思的延伸阅读。 作者:洞见·姜榆木 少则得,多则惑。 ♬ 点上方播放按钮可收听洞见主播佳音 朗读音频 上班上得好好的,刷到又有新的AI产品问世的信息,不禁生出要被AI淘汰的担忧和紧迫感; 还有哪里发生刑事案件了,哪些企业裁员了,哪里的教育政策又变了…… 我们出门还安全吗?我们行业会不会受到波及?要不要再给孩子报个补习班…… 当无数消息在我们耳畔不停地响起,不知不觉间,烦躁、焦虑、纠结就产生了。 学者戴维·申克在《数据烟雾》中提出过这样一个观点: 食物短缺的时代,人们会吃他们能找到的一切食物。 时至今日食物已经很充足了,人们过量摄入脂肪和糖就会生病,所以大家需要节食。 信息也是一样。 现在我们已经被大量信息淹没,尤其是无用信息,这也会让我们生病。 "正如我们学会在糖和西兰花之间平衡饮食,现在也必须学会平衡信息饮食。" 为什么最近几年,焦虑这个 ...
数字文明的文化重构 从生命认知到信任经济的范式转型
Jin Rong Shi Bao· 2025-06-20 06:12
数字技术浪潮正在重塑全球文明肌理,这场革命不仅关乎生产效率的跃迁,更引发我们对生命本质的叩 问:在虚实共生的数字时代,如何锚定生命价值坐标?又该以何种智慧在信息洪流与技术伦理的张力中 实现自洽?这些命题既关乎个体生存哲学,更指向文明存续的深层逻辑。 生命认知的范式革命:从物质永恒到数字永生的文明跃迁 当我们以一种全新的视角看待生命意义时,不得不面对这样一个现实:在数字时代,如何管理自己的生 活,避免被信息洪流淹没,让自己的生命更有价值? 数字时代的我们每天都在被海量的信息包围。手机里不断弹出的消息、电脑里堆积如山的文件、微信通 讯录里不断增加的人脉……这些看似有用的信息和资源,挤压我们有限的思考空间与内心的宁静。面对 这样一种"信息过载"和"被琐碎信息绑架"的现象,古老的"断舍离"智慧升华为认知排毒的生存哲学,其 核心可拆解为三重实践:一是构建信息防火墙。对"信息垃圾"坚决说"不",对煽动性的标题党果断标 记"不感兴趣",将重复的碎片化资讯无情"舍弃",为充斥情绪宣泄的社交内容设定必要的"静音时段"。 二是聚焦于高维价值,将80%的认知资源投向专业领域前沿研究、跨学科知识融合与深度高效阅读,剩 余20%用于经 ...
守护孩子的记忆力(纵横)
Ren Min Ri Bao· 2025-06-11 22:11
科学管理数字生活,探寻人机和谐之"道"。适应数字时代,要学会智慧驾驭科技工具,使之成为提升认 知能力的"助推器"。注重锻炼青少年的认知能力,在日常生活中多创造"健脑"机会。 提笔忘字,话到嘴边却失语;转身就忘事,眼镜戴着却要到处找……这些曾被视为衰老带来的记忆力减 退现象,而今出现在青少年群体中。 青少年的大脑尚处于发育阶段,具有高度可塑性,极易受外部环境影响。从某种意义上说,一些青少年 身上的"数字失忆"现象,是数字场景深度嵌入社会生活、现代生活节奏加快以及不良生活方式等因素相 互作用的结果。 信息过载与碎片化阅读是第一诱因。当大脑在短时间内应对海量网络信息,持续的"注意力轰炸",易使 青少年群体陷入"浅阅读、浅思考"的泥淖。 不良生活习惯是重要原因。睡眠时间不足、不均衡的膳食结构、缺少体育锻炼和户外活动,这些因素共 同从生理基础层面,削弱着大脑的记忆功能。 对技术工具的过度依赖也是其中一个方面。大脑如同肌肉一般,需要通过反复调用和刺激来维持强度和 效率。对青少年而言,过度依赖技术工具替代心智劳动,不知不觉便容易误入认知荒原。 身处数字时代,如何帮助孩子守住记忆力?不妨从几个方面入手。 重塑信息驾驭力,培育 ...
AI 硬件的新战场,谁在帮管理者改造自己?
晚点LatePost· 2024-10-28 09:48
AI 硬件能让办公变得更简单吗? 当今 AI 产业的发展,似乎再次验证了乔布斯转述 Allen Kay 的那句话:真正在乎软件的人,应该去制造 属于自己的硬件。 苹果和三星进一步在硬件中集成 AI,Meta 和字节都在推出自己的智能硬件。他们推出的很多硬件在早期 具有实验性,期待找到一个场景、一个人群,验证 AI 大模型提供的底层能力,结合硬件特性可以解决实 际问题。因此往往都是 AI+ 业已存在的硬件形态的模式,于是看见了 AI 眼镜、AI 耳机、AIPC 等形态。 而在诸多全新的硬件形态中,科大讯飞智能办公本已经成为最早一批真正 "有用" 的 AI 智能硬件之一。在 办公这个高频场景下,以管理者或专家商务精英作为切入点,在手机与 PC 之外,给 AI "造了个身体",让 AI 的能力在办公场景发挥到极致。 早上 5 点 30 分起床,凌晨 1 点 30 分入睡。这是医疗创业公司 CEO 陈杰的日常作息。他每天最多的时间 都用来做两件事:交流和判断。有时是公司的评审会,有时是中科院等机构中的项目评审,有时是博鳌亚 洲论坛全球健康论坛大会,更多时候是跟同事客户的访谈和社交。 超高频率的信息交换,是很多管理者在 ...