Workflow
10万美元成本训练的小模型,在特定任务超越GPT-4o,延迟低99倍
3 6 Ke·2025-05-14 09:45

现有的SOTA级别大语言模型固然拥有较强智能,在部分任务上达到或超过了人类的水准,但他们的参数尺寸动辄达到数千亿甚至万亿,无论是训练,部 署,还是推理,都成本高昂。对于企业和开发者来说,这些SOTA模型在一些相对简单,但需要大规模和高并发的任务上,未必是综合成本及性能的最优选 择。 一家叫Fastino的早期初创公司看到了这个痛点,使用低端游戏GPU,以平均不到10万美元的成本,训练出一系列称为"任务特定语言模型"(TLMs,Task- Specific Language Models)的小型模型,能够在特定任务上性能媲美大型语言模型,并且推理速度快99倍。 近日,Fastino获得由Khosla Ventures领投的1750万美元种子轮融资,Insight Partners,Valor Equity Partners,以及知名天使投资人前Docker首席执行官Scott Johnston和Weights & Biases首席执行官Lukas Biewald参与。在2024年11月,Fastino获得M12(微软旗下)和Insight Partners领投的700万美元前种子轮融资, 累计融资近2500万美 ...