大语言模型能做奥数题，却算不对两位数乘法，这个尴尬局面一直是AI领域公开的秘密。2026年3月，一家名为Percepta的AI公司发布了一项让业界瞩目的研究，他们直接在Transformer的权重里"建造"了一台计算机，不依赖任何外部工具就能执行任意C语言程序。
这项工作发布后迅速登上Hacker News首页，收获了超过300个赞和130多条评论，连AI领域的标杆人物Karpathy都为其点赞。
这项研究的核心思路其实不复杂。目前业界让大模型做精确计算主要有两条路：一是工具调用，让模型生成代码，再交给外部解释器执行；二是智能体调度，通过外部状态机把任务拆开，循环调用模型处理。
但本质上，这两种方法都相当于给模型装了一个"外挂"，计算并不是模型自己完成的。
Percepta团队换了个玩法。他们在Transformer权重中实现了一套RAM计算机和WebAssembly解释器，任何标准程序代码都可以编译成模型能识别的Token指令序列。
比如计算3加5，模型会先把代码写出来，然后切换到快速解码模式，在Transformer内部一步步执行这个程序，把执行过程逐行输出为Token流。
2D注意力头：关键的技术突破
让这件事变得真正可行的，是团队在注意力机制上的创新设计。
在传统的Transformer架构中，每生成一个Token都要对整个历史序列做一次注意力扫描，计算成本随序列长度线性增长。
Percepta设计了一种2D注意力头，把每个历史Token的Key向量设定为二维的，将注意力查询问题转化为计算几何中的凸包极值查询。
借助凸包数据结构，模型在Token生成过程中动态维护历史Key的凸包，每一步注意力查询只需要在凸包上进行，把计算复杂度从O(n)降到了O(log n)。
基于这个原理，团队开发了HullKVCache缓存系统。在普通CPU上就实现了每秒31037个Token的吞吐量，约9000条指令的序列仅需1.3秒即可完成，效率比传统KV缓存提高了近200倍。
更重要的是，这个设计完全基于标准PyTorch Transformer，不需要定制化的内核或稀疏掩码。
实际验证与行业反响
团队选了两个典型的长程精确计算任务来做验证。
第一个是10×10最小费用完美匹配问题，模型在内部执行匈牙利算法，全程以自回归方式生成计算轨迹，CPU上Token生成速度达到每秒33583个。
第二个是世界上最难的数独之一，芬兰数学家Arto Inkala设计的极难数独。模型内部执行一个完整编译后的数独求解器，通过约束传播和回溯搜索，在3分钟内实现了100%准确的求解。
整个计算过程是透明的，每一步的尝试，验证、回溯都以可读日志的形式输出。
这项研究引发了不少讨论和争意。支持者认为，它证明了Transformer不仅仅是统计预测器，还可以成为真正的通用计算基底，未来可以作为推理加速的系统原语。
批评者则指出，博客文章缺少严格的基准测试和训练细节，文本也有过度包装的嫌疑。
不过，抛开争论来看，这项工作确实提供了一个有意思的视角。它表明注意力机制的设计空间远比我们以为的要大，2D注意力头这样看似简单的修改就能带来指数级的效率提升。
领导这项研究的Christos Tzamos是MIT博士，目前担任雅典大学计算机科学副教授和Percepta的创始研究员，Percepta则是General Catalyst旗下的AI转型公司，团队成员来自Meta FAIR，MIT和谷歌等机构。
这项研究虽然还处于早期阶段、距离实际部暑还有距离，但它开辟的方向值得关注：与其给大模型不断加外挂，不如让模型本身就具备精确计算的能力。
这或许是通往更强大AI系统的一条新路径。
蜀商证券提示：文章来自网络，不代表本站观点。
