浅谈人工智能风险和治理

　　摘要：随着人工智能技术的不断进步和成熟，近年来在各个行业得到爆发式增长。而与此同时人工智能的应用也带来各种挑战和风险。本文首先介绍了人工智能的定义，在此基础上介绍了人工智能的安全、隐私保护以及伦理等方面的风险，以及业界为应对这些风险所做出的努力。最后本文对未来人工智能治理的趋势做出展望。
　　关键词：人工智能；风险；安全；隐私；治理
　　一、AI的定义
　　在谈论人工智能治理之前，我们首先来看看什么是人工智能。人工智能的定义仍然一直存在争议，例如，纯大数据技术属于人工智能吗？与机器学习有关的都是AI吗，例如传统统计学领域的某些分类算法？Kaplan和Haenlein将人工智能定义为系统正确诠释外部数据，从此类数据中学习并利用这些学习通過灵活的适应来实现特定目标和任务的能力。该定义较为严格，排除了机器学习和大数据。Gartner将AI定义为一种应用高级分析和基于逻辑的技术（包括机器学习）来解释事件，支持和自动执行决策并采取行动的学科。这是一般公众的理解。从对人工智能风险管控和治理的角度来看，本文将采用公众所理解的定义，因为这样才能保证尽量全面地覆盖风险，避免遗漏。
　　从这个比较宽泛的定义上来看，人工智能技术在近年来得到了爆发式发展。海量数据的可用、云计算普及带来的计算成本降低和计算能力提升、开源代码和打包算法的流行、计算框架和平台的出现、政府的大力支持等都使得人工智能的研究和推广变得没有那么困难。人工智能作为第四次工业革命的重要推动力已成为普遍共识。自2016年开始，各国陆续推出AI战略，侧重点各有不同，比如中国和美国是为了保持其领先地位，而英国在企业界和学术界都未能一骑绝尘的情况下致力于在AI伦理方面领先。
　　二、AI带来的挑战和风险
　　AI快速发展的同时也带来了巨大的挑战和风险。近年来与AI相关的大事件不胜枚举，不断引发社会各界对AI自身的能力和对社会带来的影响的持续关注和讨论。2016年，TeslaModelS在美国和中国境内曾发生过自动驾驶致死事故和数起交通事故；2017年沙特阿拉伯授予香港汉森机器人公司生产的机器人索菲亚公民身份，使其成为史上首个获得公民身份的机器人，李开复称这是对人类最大的羞辱和误导；2017年AlphaGo击败柯洁；2018年委内瑞拉总统在公开活动中收到无人机炸弹袭击，这是全球首例利用人工智能产品进行的恐怖活动；2018年，Uber无人驾驶测试车撞死行人事故震惊世界；2019年，波音737MAX系统控制高于人工干预导致空难，机上157人全部遇难；2019年7月24日，美国联邦贸易委员会（FTC）与Facebook达成50亿美元的和解令，因其欺骗了用户对个人隐私保护的能力；今年10月份，伊利诺伊州市民抗议Facebook使用人脸识别技术采集他们上传的照片，此案涉及到700万用户，Facebook可能会面临为每个用户赔偿1000～5000美元的罚款，总金额最高将达到350亿美元。
　　此外，AI对人类自主权带来的影响也成为争论焦点，如Google搜索引擎中的自动完成功能中，算法会通过用户初次输入的关键词根据其搜索模式等标准给出填充建议，而该建议对用户的实时影响往往重塑了用户最初想搜索对象的感知，而真正搜索的内容并不是用户的原始意图。监控用户习惯的IoT应用的定向算法，如通过对用户的生物反应（瞳孔放大、体温变化、情绪反应）进行解读，并在用户无意识的情况下进行定向广告营销，这事告知还是重塑用户呢（informorreformhumanbeing）？抖音和今日头条的算法根据用户的习惯只推送个人感兴趣的内容。Facebook的微瞄准广告中，算法根据用户信息预测用户是否支持特朗普，然后只推送同样结论的文章和观点。在自动驾驶领域，对其撞人的安全问题的思考可以追溯到哲学界出名的电车难题，麻省理工大学为此开发和部署了道德机器平台，向全世界超过二百多个国家的民众进行调研。
　　AI的应用将大幅提升数据收集、分析以及建立数据的能力，这使制造伪情报也变得更加便利，使伪造音视频媒体的质量迅速提升，同时成本迅速下降。谷歌Lyrebird开发目的是用于帮助那些发声困难的人打造出自己更真实声音，但骗子会通过骚扰电话录音来提取你的声音在Lyrebird上进行生成，从而完成电话诈骗。谷歌Deplex代替人类自动接打电话达到以假乱真的程度。
　　AI系统和应用还会带来新的网络攻击，例如通过实施干扰技术，计算机在进行深度学习时容易被欺骗，攻击者对计算机生成模式进行篡改或利用数据欺诈手段远程控制无人汽车，让汽车偏航甚至逼停汽车造成事故等。目前国内人工智能产品和应用的研发主要是基于国际通用的人工智能学习框架和组件，国内安全研究团队在近年屡次发现TensoFlow、Caffee等软件框架及其依赖库的安全漏洞，给网络安全带来了新的威胁。一方面来看，目前主流的AI技术基本框架相对有限，大部分组织不具备自行开发AI技术基本框架的能力，只能选择使用现有的公开AI框架进行二次开发。另一方面，组织采用某种特定的框架、花费大量的成本生成模型并进行训练而产生的产品或服务，恶意模仿或蓄意破坏的成本却并不高，组织如何有效保护自己的产品或服务，也是AI时代组织面临的难题。
　　从AI本身来看，AI系统可能受到闪避攻击对抗样本的威胁，导致AI系统判断失准。伯克利的团队针对路标能在物理世界做定向的对抗攻击方法，在行驶过程中使视觉系统将一个停车路牌误识别为限速45路牌。再比如刷脸支付如果在面部识别环节出错，直接会影响到个人财产安全甚至引发盗窃。其次，数据完整性和隐秘性对AI系统而言至关重要。有研究发现，通过加入8的恶意数据，攻击者能够使模型对超过50的患者的用药量建议时，出现超过75的变化量。最后，AI系统也会面临着传统软、硬件安全威胁。清华大学团队设计的基于动量的攻防方法可以显著提升黑盒攻击的成功率，如在扰动大小为16时将攻击Inceptionv3的成功率从72。1提升至87。9。
　　这些都事件都引起了广泛的讨论，AI在人类社会到底应该扮演什么样的角色，以及在法律上应该赋予其什么样的角色？AI是否会取代大量工作而颠覆劳动市场？人类过于依赖AI带来的各种智能和便利，增强用户的单一兴趣，加重了观点偏见，制造信息茧房和回音壁，人类如何保障不丧失自主权？如何保障AI不会被用于恶意目的？AI面临的新的安全和隐私风险能否解决？
　　三、业界治理举措
　　历史告诉我们，法律制约永远落后于技术的发展，目前已有的法律框架有部分要求可以对人工智能进行管制，如2018年5月25日生效的全球最严苛最全面的欧盟《通用数据保护条例》（GDPR）中对自动化决策的要求，该条例引发布鲁塞尔效应，非欧盟企业和国家也开始以GDPR为基准进行隐私保护相关建设，如美国、日本、中国、巴西等。然而这显然是不够的。为应对层出不穷的AI事件，各国政府、权威机构、领先企业等纷纷针对AI的伦理问题展开讨论。
　　2016年，联合国在特定常规武器公约会议上确定对致命自主武器系统进行有意义的人类控制原则并建立了专门的研究机构，研究机器人和人工治理的问题。国际电气和电子工程师协会于2016年发布第一版供公众讨论的《人工智能设计的伦理标准》，2018年发布第二版，2019年3月发布首个正式版EAD。2018年12月，欧盟委员会的人工智能高级别专家组正式向社会发布了一份可信赖的人工智能道德准则草案，该草案被视为是欧洲制造可信赖人工智能的討论起点。新加坡发布AI治理框架，并在世界经济论坛上获得大奖。根据曾毅教授的总结，截至目前，业界已经发布了超过五十个AI原则，包括OECD、G20、北京共识、加拿大蒙特利尔宣言、微软、谷歌、百度、腾讯等。在学术界，斯坦福大学的以人为本的人工智能中心致力于提供一个跨学科平台等，该平台得到了企业界的资助，Facebook资助德国慕尼黑工业大学建立AI伦理研究中心。
　　2015年至2019年，英国交通局等对自动驾驶上路测试的安全问题进行测试并给出指南。2017年，德国联邦运输部长亚历山大多布林特议院提供了道路交通法案，其中包含自动驾驶汽车的安全问题。2019年4月10日，纽约市通过美国首个算法问责法案的提案。今年，英国政府委托其数据伦理和创新中心对在线瞄准（onlinetargeting）和算法偏见（algorithmicbias）两个领域收集民众建议并提出建议。
　　2019年5月14日，旧金山成为美国第一个禁止执法部门使用面部识别技术的城市，此后，萨默维尔市和奥克兰也实施了类似的限制。2019年10月，美国加州州长签署法令，禁止会对大选造成影响的deepfake视频。该法令规定，如果散布的信息使公众对政治人物的言论、行动产生错误或有害的印象，这种散布行为将属于犯罪行为。而在中国，今年9月份风靡朋友圈的ZAO号称仅需一张照片，出演天下好戏。这个主打和明星换脸的App，在其正式上线的次日就爆红网络。然而刚开始刷屏不久，ZAO又因为用户协议成为大众争议和质疑的焦点，虽然严格意义上并未违反法律，但仍被工信部约谈，责令其进行整改。2019年9月4日，英国第一法庭裁决英国警方可以使用面部识别技术。我们可以看出在应对AI风险时，组织不应仅考虑合规，即管制的下线，而应考虑其上限，虽然法律框架还未成熟，但软法制足以约束风险较大的AI应用。在自动驾驶、人脸识别、算法问责方面很可能率先形成法律。
　　结束语：
　　人工智能已经触及到人类生活的各个方面，而其面临的风险也日趋严峻。为了使人类能最大限度地享受AI裨益，业内已对其风险进行治理形成初步共识。技术发展的历史告诉我们，法律永远滞后于技术的发展。目前业内已经出现了比较通用的人工智能治理框架或指南，而在特定的隐私和安全高风险的人工智能领域，如自动驾驶、人脸识别等领域已经有立法趋势，预计在接下来的几年内会陆续出台。全球的人工智能生态愈发交织也会使得各个国家更容易在管控方面互相影响并达成共识。人工智能将不可避免地影响我们的生活，因此不论是人工智能方案提供者、应用部署者还是使用者都应当对人工智能的风险给予关注，并对其管控进行思考，共同推动人工智能的良性发展。
　　参考文献：
　　〔1〕IEEEStandardsAssociation。EthicallyAlignedDesign，2018。
　　〔2〕SingaporePersonalDataProtectionCommission。APROPOSEDMODELARTIFICIALINTELLIGENCEGOVERNANCEFRAMEWORK，2019。
　　〔3〕EuropeanCommission。EthicsguidelinesfortrustworthyAI，2019。
　　作者简介：王建霞（1986），女，山西省运城市人，汉族，硕士研究生。研究方向：大数据分析。