Workflow
maxDNN
icon
Search documents
CUDA内核之神、全球最强GPU程序员?OpenAI的这位幕后大神是谁
机器之心· 2025-09-30 23:49
机器之心报道 编辑:+0 在 AI 圈里,聚光灯总是追逐着那些履历光鲜的明星人物。但一个伟大的团队,不仅有台前的明星,更有无数在幕后贡献关键力量的英雄。 之前我们介绍了 OpenAI 的两位波兰工程师 ,最近 OpenAI 又一位身处幕后的工程师成为了焦点。 起因是 X 上的一则热门帖子,其中提到 OpenAI 仅凭一位工程师编写的关键 CUDA Kernel,就支撑起每日数万亿次的庞大计算量。 评论区纷纷猜测,这位大神便是 OpenAI 的资深工程师 Scott Gray。 为什么一个能编写 CUDA Kernel 的工程师会引起如此关注? 因为编写高性能的模型训练 CUDA Kernel 是一项极度专业的技能,它要求开发者必须同时精通三大高深领域:并行计算理论、GPU 硬件架构与深度学习算法。能 将三者融会贯通的顶尖人才凤毛麟角。 大多数开发者停留在应用层,使用现成工具。从事推理优化的人稍多,因为其问题边界更清晰。然而,要深入底层,为复杂的训练过程(尤其是反向传播)从零 手写出超越 cuDNN 等现有库的 CUDA Kernel,则需要对算法、并行计算和硬件有宗师级的理解。 而 Scott Gray 的职 ...