Workflow
Scaling
icon
Search documents
对话香港大学马毅:“如果相信只靠 Scaling Laws 就能实现 AGI,你该改行了”
晚点LatePost· 2024-06-04 10:05
文丨程曼祺 编辑丨宋玮 黄俊杰 当大部分人都相信一件事或趋势时,不同意的人可以选择沉默,也可以大声说出来。前者是少数派中的多数派,后者少数派中的少数派。 马毅就是一个少数派中的少数派。 自 2000 年从伯克利大学博士毕业以来,马毅先后任职于伊利诺伊大学香槟分校(UIUC)、微软亚研院、上海科技大学、伯克利大学和香港大 学,现担任香港大学计算机系主任和数据科学研究院院长。 他最早将 "压缩感知" 技术应用于计算机视觉领域,在人脸识别、物体分类等任务上产生了巨大影响。 知名 AI 学者李飞飞是马毅在 UIUC 时参与招聘的第一个华人助理教授,ResNet 一作何恺明是马毅在微软亚研院负责视觉组时招的第一个新员 工。 少数派中的少数派。 马毅公开表达时直言不讳。AI 业界惊叹于 GPT 等大模型的威力,担心 AI 可能毁灭人类,如图灵奖得主杰弗里·辛顿(Geoffrey Hinton) 和 OpenAI 发起者之一伊隆·马斯克(Elon Musk)就多次将 AI 类比为原子弹,呼吁监管。 "说现在的 AI 危险的人,要么是无知,要么是别有目的。" 马毅在 twitter 上回应 AI 威胁论。 强烈的观点来自他对 ...
Llama 3 发布,亮点在于 “小” 模型
晚点LatePost· 2024-04-19 16:05
重新寻找 Scaling Laws。 文丨 贺乾明 编辑丨黄俊杰 像一个人的学习成长一样,每个全新的大模型,都需要从大量的文本中学习 "知识",才有能力去解 决一个个问题。 Google 训练 70 亿参数的 Gemma 开源模型,让它 "看过" 6 万亿 Token(6 万亿个词)的文本。微软 投资的 Mistral 训练 73 亿参数模型,"看过" 8 万亿个 Token 的文本。 用如此大规模的数据训练参数不到 100 亿的模型,已经是行业中比较重的方法。按照 DeepMind 研 究人员提出的策略,如果考虑性价比,这么大的模型,看 2000 亿 Token 的文本就够了。不少中国 一线创业公司的同等规模大模型只用了 1 万亿~2 万亿个 Token 的文本。 Meta 的 CEO 马克·扎克伯格(Mark Zuckerberg)不满足于此,他直接把下一代开源大模型送进了 "县中",用更多习题拔高能力。Meta 昨夜推出的 Llama 3 系列大模型,80 亿参数模型用了 15 万亿 Token 的训练数据,比 Google 的多学了一倍还不止,是很多小公司产品的十倍。 根据 Meta 公布的数据,在 ...