Transformer 架构带领 AI 领域走向高地，却如同桎梏，将人类锁死在这里。
Transformer 的确是 AI 的神，可是他太大了，大到遮住了整个 AI 的天。
2017 年，《Attention Is All You Need》其颠覆性的完全自注意力架构及其有冲击性的标题，把整个 AI 圈搅得天翻地覆。
“这不是人类能想出来的东西。”
就像打游戏被误解为开挂一样，这样的惊叹，无疑是对科研人最大的夸耀。他的确太耀眼了。
Transformer 的出现让美国看到了 AI 的巨大风口，也间接造就了如今美国 All in AI 的状态。当然，值得肯定的是，短期内 All in AI 的确获得了巨大的回馈，这样的正反馈无疑加重了这种循环。
可是随着时间的推移，随着算力和潜能的无限压榨——
弊端出现了。
人们似乎看到了 AI 的尽头。
越来越大的投入，换来的却是越来越小的收益。这也就是业界现在心照不宣的困境——Scaling Law（缩放定律）正在撞墙，单纯靠堆算力和数据带来的边际效应越来越低。如今的 AI 前沿研发，用琼斯的话来说，像极了一群对着一个高精度的钟表不断微调的“钟表匠”。
是的，Transformer 的成功，无疑让 AI 的研究途径越变越窄。随着 AI All in 的越来越多，人们只希望看到短期的回报。
“研究者们在资本下被迫放弃了深海探索，转而在已知的沙地里疯狂淘金。”
也就是说，人们开始只局限于对 Transformer 架构进行改良：在原有的神经网络上加一个层，还是多开几个门，又或是进行数据处理，只为了提高那几个百分比的跑分。
古代人们为了改进马车，不断地改良轮胎、寻找好马，又或是加长马鞭。可是是否有人想到，他们需要的其实是一个发动机呢？
Transformer 之父琼斯说，那个天才一般的灵感来源于几次漫无目的的早餐和办公室白板上的胡乱涂鸦。
没错。 AI 的发展现在需要的是一个全新的突破、创新的架构，而非继续深挖 Transformer。虽然深海里现在只有微弱的光，比如状态空间模型（如 Mamba）或者脉冲神经网络（SNN），它们现在看起来或许就像早期的粗糙蒸汽机，还比不上精美的马车，但这才是摆脱路径依赖的真正希望。
有人在觉醒，但是在历史和资本的洪流中，远远不够
真正的创新往往是低效的
的确，All in 的美国如同一匹脱缰的野马，他没有余力停下，也无法停下了。如果继续投入却得不到回报，这只会是一场无比巨大的泡沫。
其实，答案就摆在那里。
神经网络的由来，就是前人发现的神经网络和人脑的神经元极其相似。说是极其相似，实际上相差甚远。人脑处理复杂的信息只需要极小的能耗，可是 Transformer 产生一个 token 就需要消耗大量能量。
要知道，人类大脑的运行功率大约只有 20 瓦，相当于一个节能灯泡；而训练并维持一个 Transformer ，需要数以万计的 H100 显卡日夜轰鸣，消耗几兆瓦的电力。这绝不是一个完美的终极解。
你问所有精通甚至是了解 Transformer 的学者，他们一定会告诉你：
Transformer 绝对无法实现 AGI。
是的，这是血淋淋的事实。Transformer 只可能是死胡同，无比华丽的死胡同。想要突破桎梏，想要实现真正的 AGI，只可能用那万亿的金钱和无比庞大的时间投入。
万户飞天，被世人嘲笑，却被后人祭奠。如今也不会有所区别。
Transformer 太好用了。好用到，杀死了人类的智慧。
从历史趋势上看，好用的工具往往限制了人们寻找新工具的动力。
没错，他太好用了。
学习、工作、科研又或是生活，Transformer 在哪里都展现出了惊人的能力。这种强力的工具正在让人类变得平庸。
资本追求确定性，而科学突破追求的是意外。
所以，如果这场万亿美金的竞赛，最终只会产生一个很聪明的聊天机器人，那么这将是人类科技史上最昂贵的原地踏步。
可是如果 AGI 真的出现，对人类是好是坏呢？
人总是矛盾的。希望看到人类文明的跃迁，却也同时担心
他活下来了，我呢？
很明显，如今的 AI 已经初现端倪。大量的工作受到影响，计算机行业的竞争更大，岗位也更少，之后只会辐射越来越多的岗位。
但是好在，至少我们还有一定技术，就算薪资降低，也能讨一份生活。
可是，如果 AGI 出现了呢？
如果所有的工作 AI 都可以轻松完成，并且完成得比我们更好，还可以不眠不休、不需要工资，如果成本同时还很低，那么人类还如何生存呢？
当然，这些担心都是后怕。毕竟，怎么可能来得那么快呢？只是这样的未来的确很唬人。
我很自豪，未来的某一天，能作为AI领域的学生，亲眼目睹甚至是参与人类历史上最伟大的跃迁之一。
我很自傲，我希望即便在一切颠倒从来的洪流下，我也能站的住脚。