Workflow
BioCLIP 2
icon
Search documents
AI一眼认出95万物种,还能分辨雄雌老幼,2亿生物图像炼成“生命视觉”大模型
量子位· 2025-06-29 05:34
BIOCLIP 2团队 投稿 量子位 | 公众号 QbitAI 让AI看懂 95万物种 ,并自己悟出生态关系与个体差异! 而更令人惊喜的是,即使 在训练过程中没有相应监督信号 ,BioCLIP 2还在栖息地识别、植物疾病识别等5个非物种任务中给出了远超 DINOv2的准确率。 BioCLIP 2在大规模训练中获取了物种之外的涌现的生物学理解: 以下是论文详情: 把"生命之树"搬进显存 大语言/视觉模型的"涌现"告诉我们: 规模+结构化监督=意料之外的能力 。 然而,生物多样性研究领域一直没有见到一个具有涌现属性的视觉语义基座。BIOCLIP把CLIP的多模态对齐搬到物种上,利用〔界-门-纲-目- 科-属-种〕+学名+常用名的多粒度文本提供层级监督。在此基础之上,研究团队提出一个问题: 如果把层级对比学习从1千万张图像直接推到2亿,会不会学出 超越"物种标签" 的生物学知识? BIOCLIP 2正是这一实验的答案。 为了实现这一目标,研究团队从GBIF、EOL、BIOSCAN-5M、FathomNet等 4 大平台收集了2.14亿生物图像,提出了TreeOfLife-200M数 据集。该数据集包含95.2万个不 ...