速递｜a16z全程跟进：vLLM之父创AI推理Inferact，顶级投资阵容融资，估值达8亿美元

图片来源： Upscale AI 安德森 ·霍洛维茨基金会的参与可追溯至 vLLM 项目的早期阶段。该机构普通合伙人 Matt Bornstein 指出， vLLM 在 2023 年成为其 "AI 开源资助计划 " 的首个受助项目。该计划致力于支持从事开源软 件开发的学生和开发者——这类软件可被自由查阅与修改。在 Inferact 成立之前，安德森·霍洛维茨基 金会还主办了该项目的首场社区聚会，为与团队建立紧密联系奠定了早期基础。 投资者表示他们的兴趣反映了人工智能行业更广泛的转变。伯恩斯坦指出，过去企业往往需要等待数 年才能迎来新模型发布，因为训练系统既缓慢又昂贵。随着现有模型已经足够强大，开发者在无需等 待重大升级的情况下即可使用，这一情况已发生改变。 但开发者创建的 AI 产品必须持续与模型进行通信，这推高了成本并给系统带来压力。 " 推理环节正 成为瓶颈， " 伯恩斯坦表示，并补充说这个问题在未来几年可能会愈发严峻。 Inferact 表示其首要任务是继续将 vLLM 作为独立的开源项目进行支持，所有改进都将回馈社区。第 二个目标是开发独立的商业产品，帮助企业更高效地在各类硬件上运行 AI 模型。 由 ...