360数字安全集团CTO潘剑锋：跳出通用模型框架，要打造真正的安全垂直大模型

随着产品化落地深入，多模型并行导致参数过大、GPU消耗过高、应用成本攀升，且单一任务需多种模 型能力协同。为此，360启动第二阶段研发，推出"多专家协同（CoE）"大模型架构。该架构以大基座 为基础，可像搭积木般插入不同专家分区，多数参数固定，任务执行时无需激活所有参数，有效解决多 模型协同难题，实现集约化应用。 第三阶段聚焦训练框架创新。为解决多机多卡环境下训练成本高昂的痛点，360主导（联合伯克利BAIR 实验室）推出业界首个开源的RL-LoRA训练框架，并升级为支持"持续进化"的LoRA训练框架。潘剑锋 表示，该框架一方面使显存和带宽开销呈数量级降低，实现极致"省"；另一方面，节省的显存支持更大 的Batch Size，使训练效率翻倍、周期大幅缩短，实现极致"快"。（文猛） 责任编辑：刘万里 SF014 此外，潘剑锋还指出，360聚焦各类安全任务，正以"在专业场景中实现小参数模型能力远超通用大尺寸 模型"为目标，在实战效果与落地能效上持续突破，通过三级跳式发展实现安全大模型的效能跃升。 第一阶段，聚焦单个安全任务，探索垂直模型结构与训练方法创新。针对安全任务在数据、任务属性及 实战需求上的独特性，360 ...