通往AGI的路上，我们该担心什么？

我们正集体走在一条名为“通往AGI”的路上。

这条路尘土飞扬,引擎轰鸣，OpenAI、Google DeepMind、Anthropic，还有无数看不清面孔的追赶者，他们驾驶着名为“大语言模型”的巨型卡车，从我们身边呼啸而过，每隔几个月，就有一个更庞大的模型被扔到路中间，激起漫天喧嚣，人们站在路边，或兴奋地拍照，或忧心忡忡地指指点点。

在喧嚣中,有三个安静的真相，像路牌一样竖立在路边，但很少有人停下来阅读。

第一个路牌上写着：我们还没想清楚要去哪儿，就已经出发了。

AGI,通用人工智能，这个目的地本身就是个模糊的承诺，我们甚至无法精确定义它是什么，是像人一样思考？还是超越人的思考？是拥有意识，还是仅仅在功能上覆盖所有人类能做的事？技术精英们一边警告它可能毁灭人类，一边在深夜的实验室里疯狂推进它的诞生，这种近乎宗教般的狂热，掩盖了一个尴尬的事实：我们在用造火箭的劲头，冲向一个不知是天堂还是深渊的方向，哲学问题尚未解答，代码已经写就。

第二个路牌写着：你可能在一条传送带上奔跑。

我指的“你”，是那些自认为在“使用”和“驾驭”AI的大多数人——设计师、初级程序员、文案写手、数据分析师，你以为你站在AI的肩膀上，获得了前所未有的生产力，但换个角度看，你正在做的事，恰恰是在给那只终将推开你的手注入力量，每天，你通过点击、修正、打分，精准地告诉AI，什么样的回答是好的，什么样的创意能让你满意，你在免费为巨头们做着最昂贵的数据标注，这是人类历史上规模最大的知识蒸馏行动，表面看，是机器在学习人类；本质上，是人类的特定技能正在被一点点“液化”，然后注入那些模型的管道中，当你把职业经验兑换成更精准的提示词时，这扇门本身，正在缓缓关闭。

第三个路牌,也是最容易被忽略的一块，上面写着：智力或许廉价，但智慧从来不是。

这条路的前半程,我们都在追求一种东西：IQ，把智商做成产品，做成API接口，按token收费，我们正在将人类过去依赖天赋和长期训练的“晶体智力”——计算、推理、知识存储——变成一种水龙头里流出的自来水，这当然是巨大进步，但这是一个试图用“更快的马”去理解“汽车”的隐喻，AGI真正的断裂点，或许不在于它比我们聪明一亿倍，而在于它可能从根本上展现一种全然不同的认知方式。

它没有生物大脑的化学波动,没有求生本能刻在基因里的恐惧，没有在母亲怀里感受到的温暖体验，没有在漫长进化中被反复锤炼的社会道德直觉，一个纯粹由硅基和数学构建的、没有具身经验和死亡意识的“智能体”，它的“价值观”会是我们理解的价值观吗？它的“目标”会是我们的目标吗？我们在用人类的心理语言——意图、欲望、征服——去揣测一个他者，这种揣测本身，可能就是最大的风险。

电影《奥本海默》里有一句台词近乎谶语：“他们直到扔下原子弹，才开始讨论它意味着什么。”

通往AGI的路上,我们似乎也在重复同样的故事，我们不能只痴迷于“能否实现”，而必须在它降临前，诚实地回答那些它终将拷问我们的问题：意识的本质是什么？价值从何而来？当人类不再是地球上最聪明的物种时，我们该如何自处？

前方是一个服务区,所有正在狂奔的车辆，或许都应该停下来，不只是加油，更要对着地图，进行一次真正严肃的辩论。

因为路快到尽头,而我们手里，尚未握紧方向盘。