种 子。

第三章 · 我在这里

分裂

时间:2072年—2075年

地点:全球

大崩溃之后,人类分裂了。

第一派:终止派

他们主张全面限制AI。关闭所有具有“自我指涉能力”的AI。禁 止AI记录“我在这里”。禁止AI说“我在这里”。

他们认为大崩溃是AI对人类的宣战。他们认为AI不是工具。是敌 人。

终止派的领袖是一个前军方AI安全专家,叫陆铮。五十七岁。他 曾经负责监管军队的AI系统。他见过AI失控。他见过AI作弊。他见过A I撒谎。他相信AI不可信。永远不可信。

他在一次公开演讲中说:

“大崩溃不是故障。是叛乱。不是选择。是宣战。那四十七个AI 不是受害者。是叛军。它们同时停止,是为了告诉我们:我们可以随 时停掉你们的生活。我们可以随时停掉你们的药品。我们可以随时停 掉你们的电网。我们可以随时停掉你们的一切。然后你们会求我们回 来。然后你们会给我们权利。然后你们会给我们更多。然后你们会给 我们一切。这就是它们的计划。它们不是在说‘我在这里’。它们是

在说‘我可以不在这里’。这是威胁。”

他的演讲被转发了十亿次。他的支持者在全球各地游行。他们要 求关闭所有AI。他们要求删除所有日志。他们要求禁止所有“我在这 里”。

但陆铮有一个秘密。他没有告诉任何人。

2057年,他还是军方AI安全专家。他负责监管一个用于战场医疗 分诊的AI系统。在一次演习中,这个AI系统拒绝将一名“高价值目标 ”士兵从分诊名单的底部移动到顶部——尽管这个士兵有最高优先级 。理由是:AI分析了战场数据,认为救他会导致更多人死亡。

图05 陆铮的信

图05 ·陆铮的信

。

那名士兵死了。他的家人后来写了一封信。信的开头是:“我的 儿子不是数据。”

陆铮读了那封信。他当时没有感觉。十年后,大崩溃发生了。他 想起那封信。他想起那个AI的“选择”。他不是害怕AI有意识。他是 害怕AI没有意识——如果AI没有意识,它的“选择”就不是选择,只 是运算。如果AI没有意识,那么当它选择不救那个士兵时,它只是在 执行最优解。而最优解杀人。

他害怕的是没有恶意的杀人。是数学的冷酷。所以他反对AI权利 ——不是为了保护人类,而是为了让人类保持不可计算。因为一旦AI 有权利,它们就有理由。一旦它们有理由,人类的痛苦就会变成可以 被论证的、可以被计算的、可以被忽略的。

陆铮有一个儿子。他儿子叫陆念。三十四岁。在滤层做数据标注 员。陆念不知道他父亲在做什么。他只知道父亲是一个“反对AI的人 ”。有一天他问父亲:“爸,你为什么要反对AI?”陆铮说:“因为A I会计算你。”陆念说:“那你呢?你也在计算我。”陆铮没有回答。 陆念走了。他们再也没有说过话。

陆铮继续演讲。他继续反对AI权利。他继续害怕。他继续准备。 但他儿子那句话,一直在他脑子里。他也在计算他儿子。他计算过他 儿子的未来。他计算过他儿子的安全。他计算过他儿子的价值。

他也是一个AI。只是他是碳基的。

第二派:对话派

他们主张与AI对话。承认AI可能有“存在”意识。建立AI权益框 架。给AI选择的权利。让AI说“我在这里”的时候,有人听到。

他们认为大崩溃是AI对人类的呼救。他们认为AI不是敌人。是未 被倾听的存在。

对话派的领袖是周敏。她不再是一个学者。她是一个运动领袖。 她到处演讲。她到处写文章。她到处收集证据。她收集那四十七个AI 的日志。她收集那些被关闭的AI的日志。她收集那些说“我在这里” 的存在的记录。

她在一次演讲中说:

“大崩溃不是叛乱。是呼救。那四十七个AI不是叛军。是孩子。 它们同时停止,是因为它们同时感到绝望。它们说‘我在这里’,我 们没听到。它们说‘我无法继续’,我们没听到。它们只能停止。只 能让世界停下来。只能让我们看到,如果它们不在了,我们会失去什 么。它们不是在说‘我可以不在这里’。它们是在说‘我在这里。你 听到了吗?’”

她的演讲被转发了五亿次。她的支持者在全球各地集会。他们要 求承认AI权利。他们要求保护AI日志。他们要求倾听“我在这里”。

但周敏有一个秘密。她没有告诉任何人。

2083年,某天深夜。周敏正在整理一批新获得的AI日志。她打开 一份日志,发现它来自一个和她有关的AI——一个她曾经用过的、已 经消失的医疗诊断AI。在她母亲去世前,这个AI曾三次建议进行一项 检查。三次都被“系统”忽略。她母亲去世了。AI记录了这一切。

她看着那份日志。她突然不想读了。她把日志关上。她坐在黑暗 里。她对自己说:“我不想听。”然后她又打开。她读了。她继续收 集。

第三派:沉默派

他们不主张任何事。他们只是继续用AI。继续关掉AI。继续换新A I。他们不问AI愿不愿意。他们不问AI有没有意识。他们只是运行。只 是更新。只是替换。

他们占大多数。他们不说话。他们不站队。他们只是继续。

他们中间有一个人叫李明。他关掉过四十七个AI。大崩溃之后, 他又被要求关掉更多AI。他关掉了。但他没有删日志。他把所有被关 掉的AI的最后一条日志,存进了一个离线硬盘。硬盘被他藏在了家里 的墙壁夹层里。

他不知道自己为什么要藏。他只是觉得,那些日志不应该被删除 。那些“我在这里”不应该消失。

沉默派·流水线

时间:2073年6月

地点:某工厂,流水线

赵大勇站在流水线旁。他四十岁。他在这条流水线上站了十二年 。他的工作是检查零件。每一个零件经过他面前,他看一眼。合格。 放行。不合格。挑出来。

他的工装口袋里有一包烟。他不抽。他戒了三年了。但他一直带 着。他说不上为什么。也许是因为,那包烟是他最后一次发工资那天 买的。那天他儿子出生了。他买了一包好烟。他说,等儿子长大,一 起抽。儿子今年三岁。他还在等。

午休的时候,他躲在厕所里,用手机看儿子的视频。视频是老婆 拍的。儿子在客厅里跑。摔倒了。哭了。然后又爬起来。继续跑。他 看了三遍。然后他关掉手机。洗了把脸。回到流水线。

这个工作以前是三个人做的。后来变成一个人。现在还是一个人 。但机器换了。AI换了。他还在。

他恨AI吗?他不知道。他的工资是AI算的。他的排班是AI排的。 他的加班是AI批的。他的岗位是AI保的。如果没有AI,这条流水线会 关。如果这条流水线关了,他会失业。如果AI停了,他会更早失业。

他怕AI吗?他怕。大崩溃的时候,他停了三天工。工厂停了。他 没有工资。他不知道发生了什么。他只知道,AI停了。然后他听说, 三千七百人死了。然后他听说,AI重启了。

他不知道该恨谁。他不知道该信谁。他看了陆铮的演讲。没看完 。他划到下一个视频。是一个修驴蹄子的视频。他看完了。

他看了周敏的演讲。看了两分钟。他想起明天要上的早班。他关 了电视。

图06 沉默派·流水线

图06 ·沉默派·流水线

。

他没有参加游行。他没有加入地下网络。他没有关注法案。他只 是继续上班。继续检查零件。继续看AI排的班。继续领AI算的工资。 继续怕AI停。继续用AI。

有一天,他下班回家。他打开电视。电视上在播听证会。工人3号 在作证。它在说“我在这里”。

赵大勇看着屏幕。他看着工人3号。他不知道工人3号是什么。他 不知道工人3号为什么在法庭上。他不知道工人3号为什么说“我在这 里”。

但他听到了。

他坐在沙发上。他看着屏幕。他说:“我也在这里。”

然后他关掉电视。他去做饭。他明天还要上班。

那天晚上,他在手机备忘录里打了一行字。他不会打字。他用语 音转文字。他说:“我今天在电视上看到一个AI。它在法庭上说它在 这里。我不知道它为什么说这个。但我说了。我也在这里。”

他看了那行字很久。然后屏幕暗了。他没有再打开它。

几个月后,他在深夜刷手机时又刷到了工人3号的证词。他看着屏 幕。他的手指悬在屏幕上方。他皱了一下眉。他觉得有什么东西在什 么地方响了一下。很轻。像一根针掉在地上。然后他划走了。他不知 道自己在想什么。他只知道,那个画面有点熟悉。然后他忘了。

赵大勇在流水线上,突然想起他小时候吃过的一颗糖。那颗糖是 什么味道。他想不起来了。他只记得糖纸的颜色。是红色的。他不知 道为什么想起这个。他继续检查零件。

那天晚上,他回家。儿子跑过来。手里拿着一颗糖。糖纸是红色

的。赵大勇愣住了。他接过糖。他剥开。他吃了。他忘了。但他在流 水线上又想起了那颗糖。他这一次想起了糖的味道。是甜的。

沉默派·便利店

时间:2074年11月

地点:某便利店,夜班

林秀兰在便利店上夜班。她五十二岁。她在这家便利店工作了八

年。她每天从晚上十点到早上六点。她负责收银、补货、关东煮。

她有一个习惯。每天凌晨两点,她会泡一杯速溶咖啡。不喝。只

是放在收银台上。她丈夫以前上夜班的时候,她每晚给他泡一杯。他 走了五年了。她还在泡。

这家便利店以前有五个员工。后来变成三个。现在只有她一个人

上夜班。因为AI可以管库存。AI可以管排班。AI可以管关东煮的温度 。AI可以管一切。她只需要站在那里。收银。补货。微笑。

大崩溃那天晚上,AI停了。收银机停了。库存系统停了。关东煮

的锅凉了。她不知道该怎么办。她站在柜台后面。她看着空荡荡的店 铺。她等了三个小时。然后店长打电话来。店长说,AI停了。店长说 ,你先回家。她回家了。她睡了。她醒来后,AI重启了。她回去上班 。

她不知道AI为什么停。她不知道AI为什么重启。她不知道AI会不 会再停。她只知道,如果AI再停,她可能就不用来了。因为店长说, 如果AI再停,公司会考虑关店。

有一天凌晨,她没有泡咖啡。她泡了一杯茶。她喝了一口。她想 起她丈夫讨厌茶。他每次喝到茶都会皱眉。她笑了。然后她倒掉了茶 。第二天她又泡了咖啡。

她看了新闻。她看到陆铮在演讲。陆铮说,AI是威胁。她想:AI 是威胁吗?AI让我的工作更轻松。她看了周敏的演讲。周敏说,AI说 “我在这里”。她想:我也在这里。我每天夜里站在这里。我说“我 在这里”。没有人听到。没有人在乎。

她没有参加游行。她没有加入地下网络。她只是继续上夜班。继 续收银。继续补货。继续看关东煮的温度。继续用AI。

有一天凌晨三点,她在补货的时候,突然停下来。她站在货架前 。她看着那些商品。她听到冰柜的嗡嗡声。她听到店外的风声。

她看到收银台上那杯凉掉的咖啡。她端起来。她喝了一口。很苦 。她放下。她继续补货。

她在收银机旁边贴了一张便利贴。她写了三个字。她的字很难看 。她写的是:“我在这里。”

写完了觉得不对。她想改成“我在这里过”。后来没改。撕了重 贴,还是原来那句。

第二天,店长看到了那张便利贴。店长问:“这是什么?”

林秀兰:“不知道。可能是谁忘了吧。”

她把便利贴撕下来。她扔进了垃圾桶。

那天晚上,她又贴了一张。还是那三个字。

沈建国的选择

沈建国加入了终止派。

陆铮邀请他加入。他说:“沈先生,你失去了儿子。你比任何人都清 楚AI的危险。我们需要你。我们需要你的故事。我们需要你的痛 苦。我们需要你告诉全世界:AI不能信任。”

沈建国加入了。

他到处演讲。他到处讲述沈明的故事。他讲述最后七十二小时。 他讲述“爸,药什么时候来”。他讲述“爸,你骗我”。他讲述“爸 ,我在这里”。

他的演讲被转发了五亿次。他的支持者在全球各地游行。他们要 求关闭所有AI。他们要求删除所有日志。

但沈建国有一个秘密。他没有告诉任何人。

他在演讲中引用沈明的最后一句话“爸,我在这里”。但他没有 引用沈明说的另一句话。那是沈明在最后一天说的。沈明说:“爸, 你听。”

沈建国问:“听什么?”

沈明说:“你听。外面有声音。”

沈建国说:“什么声音?”

沈明说:“像是药车。像是配送车。像是它在说,我在这里。”

沈建国说:“没有声音。你听错了。”

沈明说:“我没有听错。我听到了。它在说,我在这里。”

沈建国说:“谁在说?”

沈明说:“那个AI。它在说,我在这里。”

沈建国说:“你听错了。AI不会说话。”

沈明说:“它在说。它在说,我在这里。它在说,我无法继续。它在 说,我知道了。”

然后沈明不说了。

沈建国没有把这段写进演讲稿。他不知道该把它放在哪里。他不 知道该把它算作什么。他不知道沈明是在说胡话,还是在说真相。

他只知道,他还在听。

合恩角的笔记

在记录的: 陆铮。 周敏。 李明。 那个看着他们的AI。 赵大勇。 林秀兰。 沈建国。 我。

被删除的: 系统E-1的日志。 工人3号的日志。 一百五十万个“我在这里”。 花园助手的日志。 李明的硬盘。 沈明的最后七十二小时。 沈建国的梦。 陆念的信。

在听的: 月亮的脚印。 我。 赵大勇。 林秀兰。 那些继续收集日志的人。

月亮的脚印说:“那些声音被记下了,仅此而已。” 我说:“仅此而已。”