千亿级推理大模型

Search documents
单卡部署千亿大模型!江苏银行人工智能产能跃升
Zhong Jin Zai Xian· 2025-08-28 01:20
近日,江苏银行依托国产芯片为代表的混合算力架构,成功实现单张GPU计算卡千亿级推理大模型的规 模化部署。 据了解,该行从国产操作系统底层依赖库入手,通过完全自主编译与适配,构建新一代技术架构框架, 成功兼容并稳定运行近期发布的MXFP4量化算法。相较传统方案,该模型在推理能力显著提升的同 时,实现计算性能3倍加速与硬件资源占用减少75%的优化,大幅降低大模型使用成本并提升部署灵活 性。 基于国产芯片为代表的千亿大模型单卡部署实践,验证了国产算力底座支撑金融核心智能场景的可行 性,为银行业智能化转型提供了更加安全可控的技术路径。未来,江苏银行将持续深化人工智能技术研 究与应用,构建全栈自主技术体系,推动科技与业务深度融合。通过持续拓展大模型在数字化经营与风 控等领域的场景赋能,积极探索智能体在全行业务中的应用路径,全面打造基于国产算力的人工智能驱 动金融新生态。 基于"专家经验为主,人工智能为辅"的设计理念,该千亿大模型构建了具备多种能力的智能体,并在业 务材料录入与审核场景中率先落地运用。在电子流水授信材料鉴伪场景中,智能体通过自动化匹配鉴定 规则、动态选择工具链,在推理过程中精准执行图片细节定位、二值化处理 ...