唐山
多伦多大学经济学家甘斯希望女儿能在弟弟上厕所时照顾他。他想出了一个“好主意”：每次他扶弟弟上厕所，女儿就会得到一块糖。女儿很快找到了窍门：继续给弟弟喂水，让他多上厕所，以获得更多的糖果……
甘斯遇到了典型的“对齐问题”：行动和目标不一致，“需要A，但奖励B”。
在人类历史上，“对齐问题”一次又一次引发麻烦。随着人工智能（以下简称AI）的出现，“人机对齐”成为了一个难题。 ——AI可以击败世界上最好的国际象棋棋手，但我们不知道它是什么。怎么做。随着人类对人工智能的依赖程度越来越高，风险真的可控吗？我们会不会陷入科幻短片《战争的最后一天》中的悲惨境地（人类灭绝了，AI还在自动战斗）？
《人机对齐》是一本不太好读的书。本书分为“预警”、“自治”和“示威”三章。它们之间的联系并不紧密，甚至同一章节中各章节之间的逻辑关系也不明显。也许这本书的目的不是解释“AI已经发展到什么程度”，而是思考它。
从这个意义上说，《人机对齐》不仅仅是一本科普书，更是一本常识书。每个人都有必要读一读。它应该成为现代常识的一个组成部分。 —— 如果你不懂这个常识，你就会被现代社会“驱逐”。
《人机对齐如何让人工智能学习人类价值观》 [美国] Brian Christian 着，唐璐译，湖南科学技术出版社出版
这不是技术问题，这是社会问题
玩家知道所有电子游戏都有“隐藏关卡”。比如玩《魂斗罗》，可以反复玩较低级别的关卡来获得积分和更换武器，这样会更容易过关；再比如老版本的《FIFA》，必须从下传球，用这个大招来控制中国队。还可以赢得世界杯……许多“隐藏的障碍”都来自于设计失误。无论程序员多么细心，都无法完全避免类似的错误。
随着人工智能的发展，错误变得越来越难以容忍。
2015 年，来自海地的网络开发者Alsine 使用Google Photos 在网上分享了自己和亲友的照片。令阿尔辛震惊的是，他们的照片被归类为“大猩猩”。谷歌的技术团队迅速做出了反应，但几个小时后，问题依然存在，谷歌不得不关闭“大猩猩”标签。三年后，当我在谷歌上搜索大猩猩时，我仍然找不到一张照片。
软件如何“学习”种族主义？事实上，技术错误绝不只是技术本身的问题。 19 世纪被拍照最多的美国人不是林肯或格兰特，而是废奴主义者弗雷德里克·道格拉斯。他发现照片中的黑人特别难看，因为胶片被校准为白人模特，形成了化学公式。拍到的黑人都长得一模一样。
解决这个问题看起来很简单，多找一些黑人模特就可以了。同理，如果添加黑人照片，谷歌软件的识别率也会更加准确。
然而结果却适得其反：IBM利用AI开发招聘软件，输入100份简历，选出了最好的5份。 33,354 人几乎都是男性。程序员关闭了性别选项，但无法更改结果。因为AI会通过关联信息自动排除女性。例如，它将把“过去一年没有工作过”的简历标记为不合格，因此所有刚生完孩子的女性都会被拒绝。类似的标签到处都是，而且无法更改。程序员们终于发现，他们面临的不是技术问题，而是社会问题。 —— 人类社会到处都有性别标签。通过这些标签，女性总是会被识别并被视为缺乏竞争力。仅靠技术无法解决问题。
无法突破的“不可能原则”
20世纪80年代，美国司法部门开始使用人工智能来确定囚犯是否有假释资格。到2000 年，已有26 个州这样做了。研究人员发现了一个漏洞：黑人初犯被评为高风险，但他们再次犯罪的可能性是白人初犯的两倍，而白人初犯被评为低风险。
这一发现引发舆论轩然大波，人们要求取消该系统的种族标签。然而他们发现，与IBM招聘系统陷入同样困境的——假释系统会通过其他标签重新筛选种族，但如果所有相关标签都被删除，AI将再次失去判断能力。
研究人员发现，所有的判断都存在一个“不可能原理”，这一点已经被数学证明：没有标签，就不可能做出判断；没有标签，就不可能做出判断；没有标签，就不可能做出判断；没有标签，就不可能做出判断；没有标签，就不可能做出判断。有了标签，就必然存在偏见。 “原则上，任何风险评分本质上都会被批评为有偏见。”
AI发展绕不开两大问题：
首先，道德不能客观化。道德选择没有固定的标准，会随着情况的变化而变化。人类往往无法回答“什么是真正重要的”，人工智能更无法回答。
其次，精确预测并不能降低风险。人类喜欢更准确的预测，从而陷入“预测陷阱”。事实上，造成结果的原因是多种多样的，无论预测多么准确，都无法影响结果。美国芝加哥市曾列入“危险持枪者”名单。据说他们死于他杀的可能性是其他人的232倍。即便如此，他们中弹的概率也只有0.7%。如何在1000人中找到这7个人？单独？折腾了1000个人，这7个人真的能得救吗？在《反对预测》中，作者哈克特写道：男性司机容易发生事故，但对男性司机的严格检查会鼓励女性司机变得更加鲁莽，事故率并没有下降。
没有答案，因为根本没有答案
人工智能模仿人脑的工作方式。通过大量的案例训练，总结“经验”，获得判断力。但这些“经验”正确吗？例如，通过人工智能诊断软件，研究人员惊讶地发现，它得出的“经验”是，肺病患者如果患有哮喘，风险较低。对胸痛有好处。
对心脏病有好处。
100岁以上有很多好处。
这些令人难以置信的“经历”可能来自于有关患者处于高风险状态并将受到特殊照顾的事实。然而，AI并不知道整个过程。它只知道他们经过特殊照顾后康复率较高，所以认为“好”。
AI的大部分“错误经历”之所以是不可知的，是因为它模仿了人类的神经系统。作为人类，我们自己并不知道自己有多少“错误经历”以及它们形成背后的原理。通过可视化技术，研究人员发现人工智能的底层充满了荒谬。
例如，在确定“什么是哑铃”时，AI会将手臂、肉色、超现实图案算作哑铃。经过反复试验，这些“经验”被否定，但它们并没有消失，而是留在了底层。人类会失去对情绪的控制，我们能隐约感觉到，这与底层的“体验”有关。那么“错把哑铃当手臂”会有长期影响吗？
AI正在渗透到生活的方方面面，包括自动驾驶、医疗、城市管理、战争……谁能保证AI的底层体验不会出错？人类从来没有真正控制过自己，造成了一场又一场的灾难。我们真的能控制人工智能吗？
本书的第二章和第三章将焦点转向人工智能的发展史，描述了研究人员的突破过程，包括从单任务到多任务的转变，用单一的人工智能在不同的游戏中获胜；从外部激励到AI自我激励；通过模仿、逆强化学习等让AI变得更强大……
然而，更强大的AI并不意味着“人机对齐”。人工智能实际上是在“执行自己有限的理解”，其目的可能不是人类的目的。
当然，对于牛津大学博斯特罗姆教授等激进进化论者来说，这些都不是问题。他计算出，未来的星际文明将会非常强大。今天每一秒的延误都相当于未来100万亿人的生命损失。未来世界每前进1%，就相当于科技加速一千万年。因此，即使人工智能存在风险，也应该全力推广。
研究员施莱格里斯说：“如果有一个神奇的按钮可以把人类变成同样为了幸福而优化的白痴，他们就会按下它……几年前，我也提倡这样做。”但。现在，他的观点发生了变化：“我认为不应该按下那个按钮。”
对此，《人机对齐》没有给出答案，因为根本没有答案。
我们甚至历史都可能是“AI”
虽然这本书用了大量的篇幅来描述人工智能发展的细节，但我更喜欢的是书中“题外话”的部分。 —— 为了强化AI，研究人员对人类智能的生成过程进行了深入研究，获得的见解令人震惊：我们每个人都可能是世界训练出来的“AI”。
人类智慧的源泉是趋利避害的本能。在多巴胺的简单奖励下，会产生复杂的行为。多巴胺不会在你做对的事情时奖励快乐，而是在你做了新奇的事情时奖励快乐。
因此，人类喜欢刺激、冒险和挑战。不断尝试，你会有更多尝试和错误的机会。通过尝试和错误，人类的智力可以增长。人类生活的世界是一门“有效课程”，就像一场大型游戏。电子游戏如此令人上瘾的原因是可以理解的，因为它们提供比现实世界的奖励更直接的奖励。
现实世界中，人是在不断进化的，决定成败的核心因素就是“奖励的稀疏性”。比如，为了让人类学会飞翔，让人们从悬崖上跳下去，并不是一个明智的做法。如果不能飞，就会摔死——。 能飞和不能飞之间有无数的联系。如果为每个环节设定奖励，人类最终将学会飞行。如果奖励太稀少，直接从不会飞到会飞，必然会失败。就像眼睛一样，需要四十、五十次进化才能完成。书中，一位学者开玩笑说，他的孩子要么学中文，要么不吃饭。孩子的母亲明智地拒绝了这个建议。
作者原本想解释的是，研究人员通过改变稀疏性来提高人工智能能力，但却给了读者一个看待世界的新视角：人类文明的本质是一个关于奖励结构的故事。顺着这个思路，我们将会推导出一个与以往历史对“思想、行动、变化”的解释完全不同的结论。推动进步的力量是多种多样的，包括个人和团体，从稀疏走向密集。发展，决定历史的关键因素是稀疏，而不是思想、技术、制度或人。
这就带来了新的认知危机：如果人是一种生物，那么什么是自由？
著名思想史学者斯金纳在书中指出，在稀疏面前，人类与老鼠无异。当记者问他：“自由意志还有一席之地吗？”斯金纳回答说：“小说仍然有一席之地。” 《人机对齐》即使只是遇到这句话也值得一读。
