如果您希望可以时常见面，欢迎标星收藏哦~ 来源 ：内容来自新浪财经 。 8月12日下午消息，在2025金融AI推理应用落地与发展论坛上，华为联合中国银联共同发布AI推 理创新技术UCM（推理记忆数据管理器），实现高吞吐、低时延的推理体验。 点这里加关注，锁定更多原创内容 *免责声明：文章内容系作者个人观点，半导体芯闻转载仅为了传达一种不同的观点，不代表半导体芯闻对该 观点赞同或支持，如果有任何异议，欢迎联系我们。 10万亿，投向半导体 芯片巨头，市值大跌 黄仁勋：HBM是个技术奇迹 Jim Keller：RISC-V一定会胜出 推荐阅读 喜欢我们的内容就点 "在看 " 分享给小伙伴哦~ 在当今数字化时代，AI发展日新月异。大模型训练的热潮尚未消退，AI推理体验却已悄然成为AI 应用的关键。在2025WAIC期间发布的白皮书指出，AI正从训练向推理的结构性转变而快速增长。 在这样的大背景下，AI推理体验的重要性愈发凸显。 推理体验直接关系到用户与AI交互时的感受，包括回答问题的时延、答案的准确度以及复杂上下 文的推理能力等方面。资料显示，国外主流模型的单用户输出速度已进入200 Tokens/s区间（时延 5m ...

据介绍，华为此次发布的AI推理创新技术UCM（推理记忆数据管理器），作为一款以KV Cache为中心 的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数 据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。 责任编辑：郭栩彤 新浪科技讯 8月12日下午消息，在2025金融AI推理应用落地与发展论坛上，华为联合中国银联共同发布 AI推理创新技术UCM（推理记忆数据管理器），实现高吞吐、低时延的推理体验。 在当今数字化时代，AI发展日新月异。大模型训练的热潮尚未消退，AI推理体验却已悄然成为AI应用 的关键。中信建投在2025WAIC期间发布的白皮书指出，AI正从训练向推理的结构性转变而快速增长。 在这样的大背景下，AI推理体验的重要性愈发凸显。 推理体验直接关系到用户与AI交互时的感受，包括回答问题的时延、答案的准确度以及复杂上下文的 推理能力等方面。资料显示，国外主流模型的单用户输出速度已进入200 Tokens/s区间（时延5ms），而 我国普遍小于60Tokens/s（时延50 - 100ms），如何解决推理效率与用户体验的难题迫在 ...

据介绍，推理体验直接关系到用户与AI交互时的感受，包括回答问题的时延、答案的准确度以及复杂 上下文的推理能力等方面。当前，随着AI产业已从"追求模型能力的极限"转向"追求推理体验的最优 化"，推理体验直接关联用户满意度、商业可行性等，成为衡量模型价值的黄金标尺。 （文章来源：上海证券报） 8月12日，在2025金融AI推理应用落地与发展论坛上，华为将发布AI推理创新技术UCM（推理记忆数据 管理器）。作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管 理推理过程中产生的KV Cache记忆数据，扩大了推理上下文窗口，以实现高吞吐、低时延的推理体 验，降低每Token的推理成本。 ...