ai风险预警

企业对机器学习寄予厚望。 然而，作为AI（人工智能）核心的机器学习也开始使许多企业法律和安全专业人员感到不安。

围绕AI的最大担忧之一是，复杂的基于ML的模型通常充当“ 黑匣子” 。 这意味着这些模型（尤其是由人工神经网络组成的“ 深度学习 ”模型）可能是如此复杂和神秘，以至于它们掩盖了它们实际如何推动自动推理的过程。 同样令人担忧的是，基于ML的应用程序可能会无意中混淆了对其自动决策可能产生的任何偏见和其他不利后果的责任。

[ 也在InfoWorld上：人工智能，机器学习和深度学习：您需要知道的一切 ]

为了减轻这些风险，人们开始要求对机器学习在实践中以及在构建，训练和部署模型的整个工作流程中如何操作具有更高的透明度。 算法透明性的创新框架 （也称为可解释性，可解释性或问责制）正在被工作数据科学家所采用。 在这些框架中，主要的是LIME ， Shapley ， DeepLIFT ， Skater ， AI Explainability 360 ， 假设分析工具 ， 激活地图集 ， InterpretML和Rulex可解释AI 。

所有这些工具和技术可帮助数据科学家生成“事后解释”，以了解在各种情况下哪些特定数据输入驱动了哪些特定算法推断。 但是， 如此处所述 ，最近的研究表明，这些框架可能会遭到黑客攻击，从而降低了对其生成的解释的信任，并使企业面临以下风险：

• 算法欺骗可能会潜入公共记录。 不道德的各方可能会破坏这些框架所产生的叙述性解释，可能是为了歪曲或掩盖正在描述的机器学习模型中的任何偏见。 换句话说， 可以诱骗诸如LIME和Shapley之类的“基于扰动”的方法来为算法行为生成明确的偏向性的“无害”事后解释。
• 技术漏洞可能会无意中披露。 公开有关机器学习算法的信息可能会使它们更容易受到对抗性攻击 。 全面了解机器学习模型的运行方式可能会使它们遭受攻击，这些攻击旨在欺骗他们如何从实时运行数据中进行推断，或者一开始就通过将伪造的数据注入其训练工作流程中而使它们中毒。
• 可以鼓励盗窃知识产权。 整个机器学习算法和训练数据集可以仅基于它们的解释以及它们的API和其他功能而被盗。 机器学习模型如何运行的透明解释可以使未经授权的第三方完全忠实地重建基础模型。 类似地，透明性可能使部分或全部重建训练数据集成为可能，这是一种被称为“模型倒置”的攻击。
• 侵犯隐私的行为可能猖.。 机器学习的透明性可能使未经授权的第三方可以确定某个人的数据记录是否在模型的训练数据集中。 这种对抗策略称为“成员身份推断攻击”，可能使黑客能够解锁相当数量的隐私敏感数据。

为了减轻算法透明性的技术风险，企业数据专业人员应探索以下策略 ：

• 控制对模型输出的访问，并监视滥用权限的时间，从而在透明的机器学习模型出现全面威胁之前检测到其攻击。
• 在用于训练透明机器学习模型的数据中添加受控量的随机噪声（也称为“扰动”），从而使对抗性黑客更难以使用事后解释或模型操作来获取对原始原始数据本身的洞察力。
• 在原始数据和最终的透明机器学习模型之间插入中间层，例如通过训练本身受源数据不同段训练的“学生”或“联合”模型中的最终模型。 这使得未经授权的第三方更难从针对最终模型生成的事后解释中恢复完整的培训数据。

除了这些技术性风险外，充分披露其机器学习模型的构建和培训方式的企业可能会面临更多的诉讼和监管审查。 在不牺牲机器学习透明度的情况下，减轻这些更广泛的业务风险将需要一种数据科学开发实践，在这种实践下，将自动生成事后算法解释。

同样重要的是，企业将需要持续监视这些解释中的异常情况，例如证据表明它们或他们所描述的模型被黑客入侵。 这是一个至关重要的问题，因为如果构建和训练机器学习模型的企业不能保证模型官方文档的透明性，则对整个AI大厦的信任将下降。

翻译自: https://www.infoworld.com/article/3512060/mitigating-the-risks-of-the-ai-black-box.html

ai风险预警