联想发布端侧AI新技术,让PC本地推理能力媲美 OpenAI-mini

联想在联想创新科技大会(Tech World)上,展示了端侧算力 "联想推理加速引擎"。这款由联想、清华 大学及无问芯穹联合研发的推理引擎,专为高效AI PC推理而设计,是一个软硬件协同优化平台,可以 让一台普通PC的本地推理能力,媲美OpenAI去年发布的o1-mini云端模型。 "联想推理加速引擎"通过高 性能并行解码、算子融合优化以及异构计算技术, 实现了多种应用场景下推理速度的大幅提升,以及功 耗和内存占用的显著降低。与大模型推理芯片相结合,通过硬件加速与软件优化的无缝协作,进一步放 大了性能提升,形成了叠加效应。 ...