周一早晨,六点整。

水木大学博士生公寓的一个房间里,手机发出了一阵蜂鸣声。

声音不大,但是章闻铎已经睁开了眼睛,伸手关掉了闹钟。

他没有赖床或者玩手机,利落地翻身下床,洗漱、换上了一身衬衫牛仔裤,然后坐在了电脑前,这个时候是六点二十分。

硕博连读五年,章闻铎就是用这样严苛的作息要求自己的。

经过一晚上的睡眠,昨晚那点微醺的酒劲,和因为自己的狂妄所产生的不适都消散的差不多了。

现在还有更重要的事去做。

昨天晚上,汤圆的API静态测试集测试证明了它不是一个用过拟合作弊的骗子。作为一个即将答辩的顶级计算机博士,章闻铎很清楚这意味着什么。

在业界所有人都在卷算力、卷参数、卷更大的模型的时候,汤圆给出了另外一种解答——数据质量能把模型能力提高到什么程度。

这对前沿研究者的价值不可估量。

章闻铎的博士研究方向不是传统的基于语义关系的大语言模型,因为他认同很多业界先驱的想法,认为纯粹的语义推断已经到达了它的上限。

想要让人工智能的研究突破到下一个阶段,必须走出一条新路来。

这也是为什么昨天晚上他敢于直接当面质疑韩路一的原因。

虽然最后证明,是他的判断错了,但这更有价值。

既然现在手里有着世界第一的闭源模型的API,可不能浪费了。

章闻铎调出了自己博士论文的核心代码,一个用于探测大模型内部是否具备反事实因果推理的“世界模型(World Model)”状态探针。

所谓世界模型,是和现在流行的大语言模型(LLM)完全不同的研究方向。如果说大语言模型要做的是,基于前文,后面会出现的“话”;那世界模型是,基于前面的事件信息,现实世界中会发生的下一件“事”。

而状态探针,探测的就是一个模型——不管他的内部实现机制是什么——有没有能够用内部状态表达世界的能力。

比如说,在网上流传的一个很经典的笑话,如果你问AI大模型:“五米外有个洗车店,我要洗车,我该走着去还是开车去?”大部分的AI都会回答走着去。

为什么?

因为“五米外”和“走路”在传统的大语言模型中是注意力强关联,洗车店和开车作为弱信号被忽略了。

但是你问任何一个智力正常的成年人,都不太可能会在这道题上翻车。

这就是语言模型在理解世界上的天然缺陷,而章闻铎的论文讨论的就是大语言模型和世界模型的关系。

在学术界,研究世界模型的学者一直分为两派。

一派认为现在的大语言模型这种基于语义的推理方向是个岔路,最终会走到死胡同,也就是说,做大语言模型永远也没办法做成世界模型。

而另外一派则认为,语言是人类对世界的抽象,当大语言模型的能力进步到一定程度的时候,它也可以具备世界模型的能力。

“死路派”和“殊途同归派”,两派在这个问题上争论不休,至今没有哪一派能说服了另一派。

章闻铎自己就是“死路派”的,他对汤圆的质疑甚至都不是针对汤圆的,他对所有的大语言模型都有这抵触,觉得这些都是实现AGI道路上的歧途。

他的理论提出了很多,但是理论需要验证。

对研究者来说,最痛苦的事就是缺乏顶级模型的验证机会。

而对中国的研究者来说,则有更大的一层障碍在。

现在,境外最强的闭源模型们对中国大陆研究者几乎断绝,偶尔可以通过一些中转站测试一下,但是模型能力不稳定,不确定中间有没有夹杂多余的提示词,还无法进行大规模反复验证。

而国内的顶级模型又还没强到能产生有意义的行为分叉。差一点的模型各种推理能力糊成一团,跑探针等于白跑。

章闻铎之前的诸多理论假设,就一直停留在纯数学推导阶段,也只能拿着一个半成品去做论文答辩。

而现在,汤圆向他敞开了大门。

广告位置下