重生之在《我的世界》做山姆·奥特曼：网友在线手搓ChatGPT

henry 发自 凹非寺 量子位 | 公众号 QbitAI 逆天，太逆天。 一老哥在《我的世界》上手搓了一个ChatGPT！ 这你敢信？ 这款手搓GPT不仅经过英语对话训练，有 500 万个参数，还能在像素世界里的小电脑上跟你对话。 而且手搓这么一个GPT竟然没用指令集，完全是用红石电路（0/1）和存储单元手搓出来的。 怎么说呢，这难度不亚于你在60年代用IBM的超级计算机打《王者荣耀》。 我能在《我的世界》造一个你吗？ 绝对可…… （GPT可能也没想到，这顺嘴一说，直接把自己送进了《我的世界》。） 总的来说，这500万参数的GPT虽小，但五脏俱全。 | 这一出整的，在《我的世界》上跑GPT居然比在本地跑还靠谱。 | | --- | | 也难怪网友说宇宙是红石模拟出来的。 | 这是怎么一回事？ 从逻辑电门到GPT 这一切的开始源自《我的世界》大神 sammyuri 与GPT的一次对话： 词嵌入、位置编码、归一化、矩阵乘法、多头注意力、KV cache、激活函数（ReLU）、层数x6、输出单元应有尽有。 在具体的数据上，模型一共有5087280（约500万）个参数，在Python中用TinyChat数据集进行训 ...