内生性不确定性

Search documents
AGI五大安全困境:如何应对不确定“黑洞”?
Hu Xiu· 2025-05-14 06:55
一、通用人工智能(AGI)技术不确定性的治理黑洞 最近在前沿生成式人工智能模型上的突破,让许多人断言,人工智能将对国家安全产生同等的影响—— 也就是说,AGI将如此强大,以至于第一个实现它的实体将拥有重大的、也许是不可逆转的军事优势。 全球领先的 AI 实验室都在积极追寻通用人工智能(AGI)。这些实验室主要依靠经验性的"规模法 则"——即模型性能随计算量增加而提升——不断加大投入,用于训练模型所需的计算资源。该技术可 能在未来十年内触发多重战略转折点。 然而,如果性能确实能随计算量增加而提升,AGI 的技术突破门槛又在哪里,甚至这种突破是否可能 通过这种方法实现,都不得而知。也就是说,与1945年核裂变的技术确定性不同,AGI的发展路径存 在"内生性不确定性"(Endemic Uncertainty)。 1. 技术路径模糊:主要依赖"算力扩展定律"(Scaling Laws),但无法确认持续投入是否必然导向 AGI,算力投入与AGI突破的因果关系尚未明确; 2. 临界点不可知:开发团队可能直到突破发生后才能识别AGI的达成; 3. 社会影响混沌:末日论者呼吁暂停研发或加速军备竞赛,怀疑论者则质疑现有技术范式 ...