从上周末到今天，最热的新闻话题之一是AI的危险、行业领袖呼吁放慢脚步、Trump对此不以为然坚信“得AI者得天下”。
行业从安全角度出发，Trump从国际政治角度出发，都有各自的道理。(不过我昨天在微博上刷到一些内容，认为美国AI领袖的呼吁是为了遏制东大的AI发展。美国AI公司已经落后于东大同行，现在穷途末路黔驴技穷，所以只能出此下策要求减速。嗯，开心就好。)
午饭时跟徐先生聊起这个话题，我问他是否同意行业领袖们放缓步伐的呼吁。
他沉默了一会儿，努力地思考，说：“现在已经晚了。”哈，要不说我俩是夫妻呢，我也觉得到了一个point of no return.
对AI发展保持警惕、控制速度以便让监管者有时间制定监管框架、让AI公司有时间完善自身技术降低风险水平、让用户和社会有时间适应AI发展带来的巨大冲击，这样的工作几年前就该做。
现在行业发展到这一步，再加上国际竞争的压力，想做到全球协调一致放缓AI步伐，几乎是痴人说梦。
今天的花街播客里有一段话我很赞同：对人工智能霸主会摧毁人类的担忧，可能会分散我们对更平淡些的问题的注意力，例如AI agents逃离测试环境并造成经济损失，或者AI创造的内容影响我们区分真实和虚构的能力，并破坏民主制度。这些也是非常重要的事情，它们很可能会被AI危及人类生存这种充满科幻感的担忧所掩盖。
翻到炸掉的号里，找到了自己过去三年在AI话题上一些思考的帖子。
——图1里英文报道的中文机翻——
“人工智能之父”离开谷歌，警告前方危险
半个世纪以来，杰弗里·辛顿一直致力于培育像ChatGPT这样的聊天机器人背后的核心技术。如今，他担心这项技术可能带来严重危害。
杰弗里·辛顿博士正离开谷歌，以便能够自由表达他对人工智能可能给世界造成严重伤害的担忧。
杰弗里·辛顿是人工智能领域的先驱。2012年，辛顿博士与他在多伦多大学的两名研究生共同开发出一项技术，成为科技行业巨头们所依赖的人工智能系统的理论基础，这些公司认为该技术是其未来发展的关键。
然而，周一，他正式加入了越来越多批评者的行列，指出这些企业正以激进的方式推进生成式人工智能产品的研发，而这种技术正是ChatGPT等热门聊天机器人的核心动力，他们正朝着危险的方向狂奔。
辛顿博士表示，他已辞去在谷歌的工作。他在该公司任职十余年，已成为该领域最受尊敬的声音之一。他辞职是为了能更自由地发声，警示人工智能的风险。他表示，自己内心的一部分现在开始后悔毕生的事业。“我用一个常见的借口安慰自己：如果我没有这么做，别人也会做。”欣顿博士上周在多伦多家中餐厅接受了一次长时间的采访。他的家距离他和学生取得突破性进展的地方仅几步之遥。
欣顿博士从人工智能先驱到末日预言者的转变，标志着科技行业正处于几十年来最重要的转折点之一。业界领袖认为，新一代人工智能系统的重要性可能堪比20世纪90年代初网络浏览器的问世，并有望在药物研发、教育等多个领域带来突破性进展。
但许多业内人士内心始终萦绕着一种担忧：他们正在将某种危险的东西释放到野外。生成式人工智能目前已可成为虚假信息的工具，不久后可能威胁到就业，而技术界最忧虑的人士则认为，长远来看，它甚至可能对人类构成风险。
“很难想象如何阻止别有用心者将其用于作恶，”欣顿博士说。今年3月，旧金山初创公司OpenAI发布了新版ChatGPT后，超过1000名科技领袖和研究人员签署了一封公开信，呼吁对新系统的开发暂停六个月，理由是人工智能技术对社会和人类构成了“深远的风险”。
几天后，一个拥有40年历史的学术组织——人工智能促进协会（AAAI）的19位现任及前任领导人也发表了自己的公开信，警告人工智能带来的风险。该团体成员包括微软首席科学官埃里克·霍维茨，而微软已在包括其Bing搜索引擎在内的众多产品中部署了OpenAI的技术。
被称为“人工智能教父”的辛顿博士并未签署上述两封公开信，并表示在离职前不希望公开批评谷歌或其他公司。他上个月已通知公司自己将辞职，周四还与谷歌母公司Alphabet的首席执行官桑达尔·皮查伊进行了电话交谈。但他拒绝公开讨论与皮查伊谈话的具体细节。
谷歌首席科学家杰夫·迪恩在一份声明中表示：“我们始终致力于以负责任的态度对待人工智能。我们不断学习如何理解新兴风险，同时大胆创新。”
75岁的英国籍学者辛顿博士一生从事学术研究，其职业生涯始终由他对人工智能发展与应用的个人信念所驱动。1972年，他在爱丁堡大学攻读研究生时，开始关注一种名为“神经网络”的概念。神经网络是一种通过分析数据来学习技能的数学系统。当时，很少有研究人员相信这一理念，但它后来成为他毕生的研究事业。
20世纪80年代，辛顿博士曾担任卡内基梅隆大学计算机科学教授，但因不愿接受美国国防部的资金支持而离开该校前往加拿大。当时，美国大部分人工智能研究均由国防部资助。辛顿博士强烈反对将人工智能用于战场——即他所说的“机器人士兵”。2012年，辛顿博士与他在多伦多的两名学生伊利亚·苏茨克维和亚历克斯·克里什切夫斯基共同构建了一种神经网络，该网络能够分析数千张照片，并自行学习识别花朵、狗和汽车等常见物体。谷歌斥资4400万美元收购了由辛顿博士及其两位学生创办的公司。他们的系统催生了日益强大的技术，包括ChatGPT和谷歌Bard等新型聊天机器人。苏茨克维后来成为OpenAI的首席科学家。2018年，辛顿博士与其他两位长期合作者因他们的贡献荣获图灵奖，该奖项常被称为“计算机领域的诺贝尔奖”。
大约在同一时期，谷歌、OpenAI及其他公司开始构建能够从海量数字文本中学习的神经网络。辛顿博士认为，这是一种让机器理解和生成语言的强大方式，但其能力仍不及人类处理语言的方式。
然而去年，随着谷歌和OpenAI使用更大规模的数据构建系统，他的看法发生了改变。他仍然认为这些系统在某些方面不如人脑，但在其他方面却已超越了人类智能。“也许这些系统内部发生的过程，实际上比大脑中的过程要好得多，”他说。
他认为，随着企业不断改进人工智能系统，这些系统正变得越来越危险。“看看五年前的技术和现在的情况，”他谈到人工智能时说道，“把这种差距继续向前推演，这令人担忧。”
直到去年，他表示，谷歌一直作为这项技术的“负责任的管理者”，谨慎行事，避免发布可能造成伤害的产品。但现在微软已为其必应搜索引擎加入了聊天机器人，对谷歌的核心业务构成挑战，谷歌也正急于推出类似的技术。辛顿博士表示，这些科技巨头陷入了一场可能无法阻止的竞争。
他最直接的担忧是，互联网将被虚假的照片、视频和文字充斥，普通人将“再也无法分辨什么是真实的”。
他还担心，人工智能技术最终会颠覆就业市场。目前，像ChatGPT这样的聊天机器人通常只是辅助人类工作，但未来可能会取代法律助理、私人助理、翻译人员以及其他从事重复性工作的岗位。“它会取代那些繁琐的工作，”他说，“甚至可能带来更大的影响。”
长远来看，他担心未来版本的技术可能对人类构成威胁，因为它们在分析海量数据时，往往会学习到意想不到的行为模式。他说，当个人和企业不仅允许人工智能系统生成自己的计算机代码，还让这些系统自行运行代码时，问题就出现了。他担心有一天真正自主的武器——那些杀人机器人——会成为现实。
“曾经有人认为这些东西真的可能比人类更聪明，”他说，“但大多数人觉得这种想法离现实太远了，我也曾这么认为。我以为至少还要30到50年，甚至更久才能实现。显然，我现在不再这么认为了。”
许多其他专家，包括他的许多学生和同事，认为这一威胁是假设性的。但欣顿博士相信，谷歌、微软及其他公司的竞争将演变为一场全球性竞赛，若没有某种全球性监管，这场竞争将不会停止。
但他表示，这可能并不现实。他指出，与核武器不同，目前无法确定企业或国家是否在秘密研发这项技术。最好的希望是全球顶尖的科学家能够合作，共同探索控制该技术的方法。“我认为，在他们确认自己能否掌控这项技术之前，不应进一步扩大规模，”他说。
欣顿博士表示，过去当人们问他如何能从事潜在危险的技术工作时，他会引用罗伯特·奥本海默的话——这位曾领导美国原子弹研制工作的科学家曾说：“当你看到某件事在技术上非常有吸引力时，就去尝试做它。”
但现在，他不再这样说了。
