机器之心原创 作者：闻菲 当整个人工智能行业都在为「如何给程序员打造更快的马」而疯狂投入时，一支特立独行的团队选择 「直接去造汽车」。 「大模型的发展，更像一场篮球比赛才刚刚打完第一节。所有人都在用第一节的比分去判断整场比赛 的胜负，但我们认为，还有第二、三、四节要打。」蔻町智能（AIGCode）创始人兼 CEO 宿文用这 样一个比喻，为当前略显拥挤的 AI 编程赛道，提供了一个不同的观察视角。 自 2022 年底 ChatGPT 引爆全球以来，AI 编程被普遍认为是大语言模型最快、最确定能实现严肃商 业化（PMF）的一个赛道。从 GitHub Copilot 的成功，到科技大厂和创业公司纷纷推出自己的编程 助手，行业似乎已经形成一种共识：AI 是程序员的「副驾驶」，其核心价值在于提升代码编写效 率。 网络结构创新是破局关键 在许多人眼中，大模型的基座之战似乎已尘埃落定。后来者尤其是创业公司，只能在应用层寻找机 会。宿文对此的看法截然不同：「我们认为大模型技术，或者说基座模型的发展，还处于婴幼儿时 期。」 他指出，现有以 Transformer 为基础的模型架构，在学习机制和知识压缩效率上存在根本性问题。 「 ...

智通财经APP获悉，东阳光药(01558)AI研发团队推出了多个自研创新模型应用于药物分子ADME/T属性 优化，已涵盖PK曲线预测和CYPs相互作用预测。近日，团队发布了基于多任务学习策略的药物透膜/转 运预测模型，内部数据测试的受试者工作曲线下面积（AUROC）达到0.90，显著优于公共开源模型。 药物透膜/转运预测：高成本稀缺数据与小样本学习的典型应用场景 生物膜和转运体对小分子药物的口服吸收产生重要影响。具有合适生物膜渗透性的药物可被肠道充分吸 收从而表现出良好的口服生物利用度；药物与转运体的相互作用影响其药理活性，若药物作为底物被转 运体外排将导致活性减弱而作为转运体抑制剂则导致活性提升。Caco2细胞系培养是开展药物肠道吸收 与转运体相互作用体外实验的关键技术，然而其培养周期长、实验条件敏感且污染风险高，因此测试成 本高昂。使用机器学习方法对专有数据建模可快速且低成本地预测药物与生物膜及转运体的相互作用， 从而在早期开展药代动属性优化。研发团队对内部Caco2细胞渗透性测试实验记录进行了数据抽提及标 准化，共获得包含膜渗透、转运体底物、转运体抑制三个任务在内的有效数据，为创新模型构建提供了 高质量 ...

机器之心报道 编辑：张倩 LoRA 中到底存在多少参数冗余？这篇创新研究介绍了 LoRI 技术，它证明即使大幅减少 LoRA 的可训练参数，模型性能依然保持强劲。研究 团队在数学推理、代码生成、安全对齐以及 8 项自然语言理解任务上测试了 LoRI。发现仅训练 LoRA 参数的 5%（相当于全量微调参数的约 0.05%），LoRI 就能匹配或超越全量微调、标准 LoRA 和 DoRA 等方法的性能。 大型语言模型的部署仍然需要大量计算资源，特别是当需要微调来适应下游任务或与人类偏好保持一致时。 为了降低高昂的资源成本，研究人员开发了一系列参数高效微调（PEFT）技术。在这些技术中，LoRA 已被广泛采用。 不过，LoRA 仍然会带来显著的内存开销，尤其是在大规模模型中。因此，近期研究聚焦于通过减少可训练参数数量进一步优化 LoRA。 最近的研究表明，增量参数（微调后的参数减去预训练模型参数）存在显著冗余。受随机投影有效性和增量参数冗余性的启发，来自马里兰大学和清华大学的研 究者提出了带有降低后的干扰的 LoRA 方法—— LoRI（LoRA with Reduced Interference） 。 LoRI ...