我在 Character.ai 做 Post Training｜42章经

在我 9 月份的硅谷行程里，让我印象最深、最有收获的人之一就是 Ted。 他先后在 Meta、Apple、Google 和 Roblox 都工作过，并在 23 年年底加入了 Character.ai，做 Post Training。作为 C.AI 第四十来号员工，他对于 C.AI 的产品、模 型、训练等等的熟悉程度都非常高。 所以我这次特别把他请来，跟大家一起分享下美国最好的 AI 公司内部是如何运作的，Post Training 的最佳实践是怎么做的等等。 Inside C.AI 曲凯 ： 我首先问一个问题，C.AI 一直是 AI 陪聊类产品的代表，各项数据都非常好，所以你们到底是哪个点做得比别人好？ Ted： 我觉得 C.AI 走到现在，核心优势有三个： 1) 模型全自研带来的性能优势。自研模型有更大的自由度，我们可以自如地调整预训练阶段的语料比例，从而极大地提升对话效果。 2) Noam Shazeer 带来的成本优势。Noam 是创造 Transformer 的核心人物之一，一个真正少有的技术天才。创立 C.AI 后，他带领着一群业界最顶尖的技术团队，把 我们的推理成本压缩到了其它同参数量模型的 1% ...