Workflow
AI推理
icon
Search documents
华为发布AI推理创新技术UCM:实现高吞吐、低时延推理体验,降低每Token推理成本
Xin Lang Ke Ji· 2025-08-12 07:22
据介绍,华为此次发布的AI推理创新技术UCM(推理记忆数据管理器),作为一款以KV Cache为中心 的推理加速套件,其融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数 据,扩大推理上下文窗口,以实现高吞吐、低时延的推理体验,降低每Token推理成本。 责任编辑:郭栩彤 新浪科技讯 8月12日下午消息,在2025金融AI推理应用落地与发展论坛上,华为联合中国银联共同发布 AI推理创新技术UCM(推理记忆数据管理器),实现高吞吐、低时延的推理体验。 在当今数字化时代,AI发展日新月异。大模型训练的热潮尚未消退,AI推理体验却已悄然成为AI应用 的关键。中信建投在2025WAIC期间发布的白皮书指出,AI正从训练向推理的结构性转变而快速增长。 在这样的大背景下,AI推理体验的重要性愈发凸显。 推理体验直接关系到用户与AI交互时的感受,包括回答问题的时延、答案的准确度以及复杂上下文的 推理能力等方面。资料显示,国外主流模型的单用户输出速度已进入200 Tokens/s区间(时延5ms),而 我国普遍小于60Tokens/s(时延50 - 100ms),如何解决推理效率与用户体验的难题迫在 ...
张忆东:震荡是港股长期行情的蓄电池!恒生科技ETF基金(513260)、港股通科技ETF汇添富(520980)连续回调“吸金”!
Xin Lang Cai Jing· 2025-08-12 06:57
Market Overview - The Hong Kong stock market experienced a collective decline, with the Hang Seng Tech ETF (513260) dropping by 0.43% despite attracting over 640 million yuan in net inflows over the past 10 days [1] - The financing balance for the Hang Seng Tech ETF has exceeded 130 million yuan, with a recent financing purchase amounting to 39.57 million yuan [1] Sector Performance - The technology sector in Hong Kong showed mixed results, with notable gains from Huahong Semiconductor (up over 4%), SMIC (up over 3%), and BYD Electronics (up over 2%) [4] - Conversely, Kuaishou saw a significant drop of over 8%, while Alibaba and Tencent experienced slight declines [4] Company Insights - Huawei is set to unveil breakthrough technology in AI inference at a forum on August 12, which may reduce reliance on HBM technology and enhance the performance of domestic AI models [5] - The performance of major tech companies is expected to be a catalyst for market movements, with a focus on their mid-year earnings reports [8] Investment Sentiment - Analysts from Xinyi Securities maintain a bullish long-term outlook for Hong Kong stocks, emphasizing the strengthening position of Hong Kong as an international financial center and the positive feedback loop from quality companies listing in Hong Kong [6] - The market is anticipated to experience a phase of consolidation, with a focus on mid-year earnings and value propositions [6][8] Long-term Outlook - The long-term outlook for Hong Kong stocks remains optimistic, driven by improving supply-demand dynamics and the potential for economic recovery from a "passive destocking" phase [8] - The technology sector is viewed as a key driver for economic transformation, with AI playing a significant role in future growth [9]
华为发布AI推理创新技术UCM
人民财讯8月12日电,8月12日,华为正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作 为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程 中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token 推理成本。该技术已率先在中国银联"客户之声""营销策划""办公助手"三大业务场景中,开展智慧金融 AI推理加速应用试点,并已取得成果。 ...
华为即将发布AI推理领域突破性黑科技;供需失衡,第三季DDR4合约价或季增85%-90%——《投资早参》
Mei Ri Jing Ji Xin Wen· 2025-08-12 01:01
每经记者|杨建 每经编辑|彭水萍 点评:CANN是华为昇腾AI编程语言,可对标CUDA之于英伟达,是高效调用昇腾的关键。CUDA是由 英伟达推出的一套用于并行计算的平台和编程模型,它允许开发者利用NVIDIA的GPU进行通用计算, 将原本用于图形渲染的GPU算力拓展到科学计算、深度学习、数据分析等多种领域。开源的目的是激励 开发者使用CANN,创造算子丰富华为生态,CANN算子生态的丰富会提升其开发的效率,降低人力成 本,激发更多的业务需求。概念股包括东方国信、软通动力、云从科技等。 3、杭州市司法局发布公开征求《杭州市促进具身智能机器人产业发展条例(草案)》意见的公告。其中 指出,建立多元智算供给服务体系,提升算力资源利用效率,降低算力使用成本。明确核心技术主攻方 向,聚焦具身智能"大脑"(具身智能大模型)、"小脑"(运动控制系统)及"本体"(机器人核心部件和整机)三 大核心环节。打造技术攻关平台,支持重大科技基础设施、重点实验室等具身智能机器人相关研发平台 建设和运营,鼓励科研设施与仪器面向企业开放。 (一)重要市场新闻 1、美股三大指数小幅收跌,道指跌0.45%,纳指跌0.3%,标普500指数跌0.25 ...
沪指再创年内新高,A股超4200只股票上涨,锂矿股大爆发
Mei Ri Jing Ji Xin Wen· 2025-08-11 08:16
每经编辑|金冥羽 8月11日,市场全天震荡走高,创业板指领涨,沪指、深成指盘中均再创年内新高。A股全天成交额1.85万亿元,较上个交易日放量1136.68亿元。盘面 上,市场热点良性轮动,个股涨多跌少,全市场超4200只股票上涨,逾百股涨超9%。截至收盘,沪指涨0.34%,深成指涨1.46%,创业板指涨1.96%。 受消息影响,8月11日早上开盘,碳酸锂期货所有合约均触及涨停,其中主力合约涨幅8%,报81000元/吨。 不少券商认为,此次停产利好较大。据财通证券研报,此次江西多个锂矿或因矿证审批流程也面临停产可能,或导致每月7000吨~8000吨碳酸锂当量受到 影响。瓷土矿转锂土矿对应税率也将大幅提高成本,叠加9—11月传统旺季供需更紧,多重因素推高碳酸锂价格。天风证券也认为,此次宁德锂矿争议落 地,对江西地区后续类似问题有代表性意义,碳酸锂供给收缩预期加剧,或迎来价值重估。 算力硬件股震荡走强,高新发展涨停。 消息面上,华为将于8月12日发布AI推理领域的突破性技术成果,或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能, 完善中国AI推理生态的关键部分。 沪指、深成指盘中均再 ...
金融AI论坛来袭!华为将发布突破性成果,聚焦信息技术自主可控的——信创ETF基金(562030)盘中涨超1%
Xin Lang Ji Jin· 2025-08-11 03:02
东莞证券指出,信创产业按照"2+8+N"节奏稳步推进,正从政策驱动转向政策+市场双驱动。随着2027 年全面替代节点临近,党政信创向县乡级下沉,行业信创在金融、能源等领域加速渗透,预计2025- 2026年市场规模增速分别达17.84%和26.82%,2026年将突破2.6万亿元。超长期特别国债扩容及化债方 案落地,为信创采购提供资金保障,政府采购需求标准的细化进一步夯实替换节奏。 【扎根自主可控,护航国家安全】 聚焦信息技术自主可控领域的信创ETF基金(562030)及其联接基金(A类:024050;C类:024051) 被动跟踪的中证信创指数,覆盖基础硬件、基础软件、应用软件、信息安全、外部设备等信创产业链核 心环节,指数具备高成长、高弹性特征,当前形势下,重点关注信创产业的四重投资逻辑: 消息面上,华为将于8月12日在2025金融AI推理应用落地与发展论坛上,发布AI推理领域的突破性技术 成果。据透露,这项成果或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型 推理性能,完善中国AI推理生态的关键部分。 华为指出,AI下一阶段的突破将高度依赖高质量行业数据的释放,而存力正是激活数据 ...
增长迅猛如火箭!网络业务成英伟达(NVDA.US)AI芯片霸主地位隐形支柱
智通财经网· 2025-08-11 02:41
Core Viewpoint - The focus of investors on NVIDIA's Q2 earnings report will be on its data center business, which is crucial for revenue generation through high-performance AI processors [1] Group 1: Data Center Business - NVIDIA's data center segment generated $115.1 billion in revenue last fiscal year, with the network business contributing $12.9 billion, surpassing the gaming segment's revenue of $11.3 billion [1] - In Q1, the network business contributed $4.9 billion to the data center revenue of $39.1 billion, indicating strong growth potential as AI computing power expands [2] Group 2: Network Technology - NVIDIA's network products, including NVLink, InfiniBand, and Ethernet solutions, are essential for connecting chips and servers within data centers, enabling efficient AI application performance [1][2] - The three types of networks—NVLink for intra-server communication, InfiniBand for inter-server connections, and Ethernet for storage and system management—are critical for building large-scale AI systems [3] Group 3: Importance of Network Business - The network business is considered one of the most undervalued parts of NVIDIA's operations, with its growth rate described as "rocket-like" despite only accounting for 11% of total revenue [2] - Without the network business, NVIDIA's ability to meet customer expectations for computing power would be significantly compromised [3] Group 4: AI Model Development - As enterprises develop larger AI models, the need for synchronized GPU performance is increasing, particularly during the inference phase, which demands higher data center system performance [4] - The misconception that inference is simple has been challenged, as it is becoming increasingly complex and similar to training, highlighting the importance of network technologies [5] Group 5: Competitive Landscape - Competitors like AMD, Amazon, Google, and Microsoft are developing their own AI chips and network technologies, posing a challenge to NVIDIA's market position [5] - Despite the competition, NVIDIA is expected to maintain its lead as demand for its chips continues to grow among tech giants, research institutions, and enterprises [5]
华为将发布AI推理黑科技;工业富联业绩创新高丨科技风向标
21世纪经济报道新质生产力研究院综合报道 【巨头风向标】 中国工程院院士倪光南:构建AI+机器人的生态系统 中国工程院院士倪光南8月10日在2025世界机器人大会上表示,当前是人工智能引领科技范式变革的时 代,在国家实施"人工智能+"行动的大形势下,机器人产业要构建"AI+机器人"的生态系统,更好发挥其 新质生产力的作用。倪光南还表示,这一要求的关键在于提升机器人智能审评,要用脑-眼-行动协同的 系统来提高机器人智能水平,真正让机器人能够看见世界、理解世界、行动于世界。 ChatGPT-4o重新上线 OpenAI宣布GPT-4o已重新上线,供Plus和Team用户使用。若需多平台使用,用户可在ChatGPT网页版 设置中启用"显示旧版模型"来访问GPT-4o。此前,在GPT-5发布后,OpenAI 曾停止提供GPT-4o,这一 决定曾引发用户争议。 华为将发布AI推理黑科技 8月12日,华为将联合中国银联共同发布AI推理最新应用成果。据悉,该成果或能降低中国AI推理对 HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能,完善中国AI推理生态的关键部分。 HBM是解决"数据搬运"的关键。HBM不足时,用 ...
AI与机器人盘前速递丨智元机器人获富临精工数千万元订单;华为将发布AI推理领域突破性成果!
Mei Ri Jing Ji Xin Wen· 2025-08-11 01:37
上周五(8月8日),截至收盘,上证指数收跌0.12%,AI应用、半导体、PEEK材料、机器人等概念股回 调。科创人工智能ETF华夏(589010)收跌2.72%,持仓股方面,福昕软件领跌8.54%,云从科技、金山办 公、合合信息等跌幅超6%。机器人ETF(562500)收跌1.38%,持仓股方面,信邦智能逆势录得20%涨停 板;东杰智能领跌11.06%,晶品特装下跌9.02%,中大力德、博杰股份、云天励飞下跌超4%。流动性方 面,当日成交总额9.10亿元,换手5.71%,市场稳健持有,静待催化。规模方面,单日获资金逆势加码 超5800万元,最新规模达159.75亿元,远超同类可比基金;最新份额达172.17亿,位居可比基金首位。 【市场复盘】 3. 8月9日,在2025世界机器人大会"产业发展"主论坛上,北京经济技术开发区发布具身智能社会实验计 划,并配套发布《北京经济技术开发区关于推动具身智能机器人创新发展的若干措施》专项支持政策, 以十条硬核措施全方位支持企业发展,精准赋能具身智能机器人产业发展。 【机构观点】 东吴证券认为,面向未来,具身大模型将在模态扩展、推理机制与数据构成三方面持续演进。当前主流 模 ...
华为即将发布AI推理领域突破性成果;GPT-5差评如潮GPT-4o紧急重新上线
Guan Cha Zhe Wang· 2025-08-11 00:59
【观网财经丨智能早报 8月11日】 华为即将发布AI推理领域突破性成果 华为将于8月12日在2025金融AI推理应用落地与发展论坛上,发布AI推理领域的突破性技术成果。据透 露,这项成果或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能, 完善中国AI推理生态的关键部分。(科创板日报) GPT-5翻车,OpenAI紧急重新上线GPT-4o 近日,面对GPT-5上线后的如潮差评,OpenAI CEO阿尔特曼迅速回应,承认低估了用户对GPT-4o的喜 爱程度。OpenAI紧急宣布重新上线GPT-4o,供Plus和Team用户使用,用户可在ChatGPT网页版设置中 开启"显示旧版模型"来访问。(智通财经) 奥尔特曼称GPT-8或能治疗癌症 OpenAI联合创始人、首席执行官萨姆·奥尔特曼在GPT-5新模型发布后的一场访谈中表示,2035年人们 将能借助这些工具治愈或至少有效治疗许多目前仍在困扰人类的疾病。在奥尔特曼看来,在GPT-8时 代,人们可以利用这一AI工具治疗某种癌症。 NASA和谷歌合作开发AI医疗助理 近日,据媒体报道,NASA与谷歌正在合作开发一款AI医疗助理。这款名为 ...