Workflow
端侧场景
icon
Search documents
70B模型能当零售业区域经理!小模型加速端侧落地,芯片不一定要GPU
Di Yi Cai Jing· 2025-06-04 08:47
据商业软硬件厂商海石商用副总经理李昊旻介绍,零售场景AI落地源于芯片算力冗余,"三四年前,我们就看到算力的应用前景,根源在于观察到CPU和 GPU性能在零售场景开始出现冗余,单纯的算账和支付不需要太高的性能。(与此同时)AI场景开始显现出来。" 据李昊旻介绍,最早被提出并解决的是生鲜识别问题,由摄像头采集生鲜图像并由AI识别、算出SKU(最小存货单位)。如今,一些超市的秤能自动识别 生鲜,无须人工选择,其他应用还包括AI+通道识别方案、AI团餐识别方案,分别用于识别超市收银是否有异常扫码行为、提高自选菜餐厅的收银效率。 14B模型用上显卡,在零售业应用的成本基本上能做到万元级别,如果不用显卡,一些情况下CPU也能运行7B、8B模型。 模型小型化让一些端侧场景用了起来。 "零售场景下,8B(B为十亿参数)模型能做人流预测、商品检验、导购;14B可以做一些简单报表分析;32B在报表出来后还可以给图谱指引、数据预警; 70B可以扮演区域经理、大区经理的角色。" 工控主板厂商吉方工控副总经理李晓涛在近日一场分享中表示。他告诉记者,近期有很多模型已能用于公司实 际运营中,且性价比高。 在大模型中,8B~70B参数并不算 ...