1.       人工智能的限制和管理

1.1.         在前几代人工智能中，人们将社会对现实的某种理解提炼为程序代码，而当下的机器学习人工智能与之不同，它们在很大程度上是靠自己对现实进行建模

1.2.         虽然开发人员可以检验人工智能生成的结果，但人工智能并不会以人类的方式“解释”它们是如何学习的或学到了什么

1.3.         开发人员也不能要求人工智能描述它学到的东西

1.3.1.           和人类一样，一个人不可能真正知道自己学到了什么以及为什么要学

1.3.2.           我们最多只能观察人工智能完成训练后产生的结果

1.3.2.1.            人类必须进行逆向工作

1.4.         人工智能的操作有时会超越人类经验的范围，因而无法概念化或生成解释，它可能会产生一些真实但超出了（至少是当前的）人类理解边界的洞察

1.5.         在弗莱明的实验室里，一种产生青霉素的霉菌意外地在一个培养皿中繁殖，杀死了致病细菌，使弗莱明察觉到这种以前不为人知的强效化合物的存在

1.5.1.           当时人类尚无抗生素的概念，不知道青霉素是如何起作用的，这一发现开启的是整个需要为之倾注努力的领域

1.5.2.           人工智能也会产生类似的惊人见解，比如识别候选药物和赢得棋局的新战略，让人类去猜测它们的意义所在，并以谨慎的方式将这些见解整合到现有的知识体系中

1.6.         人工智能不能对其发现的东西进行反思

1.6.1.           人工智能无法做到这一点，它也无法感受到如此做的道德或哲学冲动

1.6.2.           它只是运用方法并产生一个结果，而不管这个结果从人类的角度来看是平庸还是深刻，是善还是恶

1.6.3.           人工智能不能反思，其行动的意义由人类决定

1.6.3.1.            人类必须规范和监督这项技术

1.7.         人工智能无法像人类一样考虑情境或进行反思，这使得我们尤其需要关注它带来的挑战

1.7.1.           谷歌的图像识别软件就曾因将人的图像误标为动物

1.7.2.           将动物图像误标为枪支而声名狼藉

1.7.3.           这些错误对任何人来说都是显而易见的，但人工智能却对其视而不见

1.8.         人工智能不仅没有反思的能力，而且会犯错，包括任何人都会认为是最低级的错误

1.8.1.           它总是先被投入应用，然后才被排除故障

1.9.         使用人工智能时，我们应该了解它的错误，这不是为了原谅它们，而是为了纠正它们

2.       错误识别的原因

2.1.         数据集偏差

2.1.1.           机器学习需要数据，没有数据，人工智能就无法学习优秀的建模

2.1.2.           一个关键问题是，如果不周密关注，更可能出现的是少数族裔等未被充分代表群体的数据不足问题

2.1.3.           数据的数量和覆盖范围都很重要，在大量高度相似的图像上训练人工智能会导致神经网络对以前未曾遇到的情况给出不正确的结果

2.2.         人工智能的偏见可能直接源于人类的偏见

2.2.1.           人工智能的训练数据可能包含人类行为固有的偏见

2.2.2.           开发人员也有可能错误地指定了在强化训练中使用的奖励函数

2.3.         技术上的偏见问题并不限于人工智能

2.3.1.           自新冠肺炎疫情暴发以来，脉搏血氧仪日益成为心率和血氧饱和度这两项健康指标的衡量工具，但它会高估深色皮肤个体的血氧饱和度

2.3.2.           当设计师假设浅色皮肤吸收光线的方式是“正常”时，实际上便意味着假设深色皮肤吸收光线的方式是“不正常”的

2.3.3.           脉搏血氧仪可不是由人工智能来运行的，但是，它仍然没有对某一特定人群给予足够的关注

2.4.         僵化

2.4.1.           它包含了人类察觉不到但人工智能可以察觉的微妙特征，而人工智能也因此可能被这些特征迷惑

2.4.2.           人工智能审计与合规机制的稳健性很差

2.4.3.           在现实世界中，意料之外的失败可能比意料之中的更有害，或至少更富挑战性，因为对于未曾预见到的事情，我们的社会也无从化解

3.       人工智能的脆弱性

3.1.         人工智能的脆弱性体现的是其所学内容的肤浅性

3.2.         基于监督学习或强化学习而建立的输入和输出之间的关联，与真正的人类理解迥然不同，因为后者有许多概念化和经验的东西

3.3.         这种脆弱性也反映了人工智能缺乏自我意识

3.3.1.           人工智能是没有知觉的，它不知道自己不知道什么

3.3.2.           对人类来说显而易见的错误，它却无法识别和规避

3.4.         人工智能无法自行检查明显的错误，这凸显了开发测试的重要性

3.4.1.           此类测试让人类能够识别人工智能的能力极限、评估人工智能建议的行动方案，并预测人工智能何时可能失败

3.5.         由于在可预见的未来，人工智能仍将由机器学习驱动，因此人类仍将无法察知人工智能正在学习什么，以及它如何知道自己学到了什么

3.5.1.           人类的学习往往同样不透明

3.5.2.           事实上是所有的人，经常根据直觉行事，因此无法阐明他们学到了什么，又是如何学到的

3.6.         它们的目标函数仍会定义它们

3.6.1.           它们可能会像AlphaZero下棋一样编写代码：表现出色，严格遵守规则，但并无反思或意志体现

3.7.         设置人工智能可能行动参数的代码

3.7.1.           代码参数之外的行为超出了人工智能的认知

3.7.2.           如果程序员没有设置相应的能力，或者明确地禁止动作，人工智能就无法实施这些行为

3.8.         人工智能受其目标函数的约束，该目标函数定义并指派了人工智能需要优化的内容

3.9.         人工智能只能处理被设计用于识别和分析的输入

3.9.1.           如果没有人类以辅助程序的形式进行干预，翻译人工智能就无法评估图像

3.9.2.           数据对它来说会显得毫无意义

4.       测试

4.1.         为人工智能制定专业认证、合规监控和监督计划，以及执行这些计划所需的监察专业知识，将是一项至关重要的社会规划

4.1.1.           只有在人工智能的创造者通过测试过程证明其可靠性之后，社会才能允许使用它

4.2.         在工业领域，不同行业产品的使用前测试遵循一个谱系

4.3.         应用程序开发商往往急于将程序推向市场，然后实时纠正缺陷

4.3.1.           航空公司的做法正好相反：哪怕只有一个乘客，在他踏上飞机之前，都要对他们的喷气式飞机进行严格的测试

4.4.         活动的固有风险性

4.4.1.           随着人工智能使用场景的激增，固有风险、监管监督、市场力量也会形成与工业领域雷同的测试谱系，驾驶汽车的人工智能受到的监管自然要比为娱乐和连接网络平台赋能的人工智能严格得多

4.5.         机器学习中学习阶段和推断结果阶段的划分，使得这样的测试机制可以发挥作用

4.6.         固定性并不意味着人工智能在新环境中不会出问题，而只意味着进行预先测试是可以做到的

4.7.         审核数据集提供了另一种途径的质量控制检查

4.7.1.           通过确保人脸识别人工智能在不同的数据集上训练，或者确保聊天机器人在去除仇恨言论的数据集上训练，开发人员可以进一步降低人工智能在运行时出问题的风险

5.       人工智能往何处去

5.1.         凭借机器学习算法的进步，加上不断增长的数据和算力，人工智能的应用取得了迅猛进展，并吸引了大量创意和投资资金

5.2.         对人工智能，尤其是机器学习的研究、开发和商业化的爆炸式增长是全球性的，但主要集中在美国和中国

5.3.         机器学习赋能的人工智能需要大量的训练数据

5.3.1.           训练数据需要大量的计算基础设施，这使得再训练人工智能的成本高得令人望而却步，即使这样做有利可图

5.4.         尽管我们在机器学习方面取得了重大进步，但需要综合多种任务的复杂活动对人工智能来说仍然难度极高

5.4.1.           人工智能可以在路况较为规整的环境中表现良好，比如有入口限制的高速公路和行人或自行车很少的郊区街道

5.4.2.           人类司机经常会感到百无聊赖，心“有”旁骛，而人工智能不会

5.4.3.           也许在不久的将来，人工智能司机可能在长途行车中比人类司机更安全

5.5.         语言翻译人工智能曾停滞不前长达几十年，然后才通过技术和计算能力的融合，实现了惊人的发展

5.5.1.           短短数年之间，人类就开发出了具有大致相当于双语人士翻译能力的人工智能

5.6.         现有的人工智能应用程序将变得更紧凑、更有效、更廉价，因此也会被更频繁地使用

5.7.         生成式转换器在人工智能中拥有最大的神经网络

5.7.1.           GPT-3有大约10^11个此类权重

5.7.2.           中国的人工智能专家公布了一种生成语言模型，其权重是GPT-3的10倍，但这仍然比人类大脑突触的估计数量少10^4个数量级

5.8.         数量规模并不能直接转化为智力

5.8.1.           事实上，一个神经网络能够维持的能力水平是未知的

5.8.2.           一些灵长类动物的大脑尺寸与人类相似，甚至比人类更大，但它们没有表现出任何接近人类的智力水平

5.8.3.           该领域的发展将很有可能产生人工智能“专家”，即一种能够在特定领域（如先进科学领域）显著超越人类表现的程序

6.       通用人工智能之梦

6.1.         对这一概念的理解通常是：能够完成人类所能够完成的任何智力任务的人工智能

6.2.         它与如今的“狭义”人工智能不同，后者是为了完成特定任务而开发的

6.3.         尽管实践限制可能会将通用人工智能的专业知识范围限定在一些离散的领域，但这也无可厚非，就像能力最全面的人也讲究术业有专攻一样

6.4.         对于真正的通用人工智能是否能实现，以及它可能具备哪些特征，科学家和哲学家尚存在分歧

6.5.         通过结合传统人工智能，对它们进行范围受限和深入的训练，并逐步将它们聚集起来，以形成更广泛的专业基础

6.5.1.           对资金最雄厚、水平最高超的研究人员来说也绝非易事

6.5.2.           开发这样的人工智能需要巨大的算力，而且以目前的技术来看，成本高达数十亿美元，所以很少有组织或机构能负担得起

6.6.         机器学习的算法、训练数据和目标是由开发和训练人工智能的人来决定的，因此它们反映了这些人的价值观、动机、目标和判断

6.6.1.           即使日后机器学习技术变得更加复杂，这些局限性也将持续存在

6.7.         人工智能编码员将完成人类开发人员勾勒的程序概要

6.8.         人工智能作家将完成由人类营销人员构思的广告

6.9.         自动翻译可能会带来语言和文化的整合，并产生可能引发文化冲突和混乱的巨大影响

6.9.1.           外交官们一直小心翼翼地处理跨文化接触，以避免意外冒犯，人们的文化敏感度往往也随着语言训练的深入而提高

6.9.2.           即时翻译却消除了这些缓冲区。来自不同社会的群体接触时，可能会无意中发现自己冒犯了别人，抑或被别人冒犯

6.9.3.           依赖自动翻译的人，是否会不再那么努力地了解其他文化和国家，同时强化他们通过自己的文化视角看待世界的自然倾向？