【独家译文】欧盟发布最严人工智能监管法律框架，人脸识别、自动驾驶等严格受限-技术圈

北京呼风唤雨文化传媒有限公司

欧盟21日就监管人工智能的使用公布了《关于“欧洲议会和理事会条例：制定人工智能的统一规则（人工智能法案）并修订某些联盟立法”的提案》。该提案规定了企业和政府应如何使用人工智能技术，长达108页的内容使其成为迄今为止在该方面涉及范围最广泛的条例之一。

该提案将对人工智能在一系列活动中的使用进行限制，包括限制警方在公共场合使用人脸识别软件、禁止诸如自动驾驶汽车、招聘决策、银行贷款、大学生招生决策和考试评分等类别的人工智能系统。这些领域因其可能对人们的安全或基本权利造成威胁，而被欧盟视为“高风险”领域。当然，出于国家安全和其他目的的应用可能会有一些豁免权。根据该提案要求，欧盟将有可能对违规最严重的公司处以相当于其全球年销售额6%的罚款。

据了解，该提案在成为正式法律之前，必须同时得到代表欧盟27个国家政府的欧洲理事会和直接选举产生的欧洲议会的批准，整个过程可能需要数年时间。

以下是《卫星与网络》独家翻译的该提案的”解释性备忘录“内容。

关于“欧洲议会和理事会条例：

制定人工智能的统一规则（人工智能法案）

并修订某些联盟立法”的提案

译者 | 牛斯克

解释性备忘录

提案的背景

➤

1.1.提出建议的理由和目的

这份文件是对“关于制定关于人工智能的统一规则的条例（人工智能法案）的提案”的解释性备忘录。人工智能(AI)是一个快速发展的技术，可以在各个行业和社会活动中带来广泛的经济和社会利益。通过改进预测、优化运营和资源分配以及提供个性化服务，人工智能的使用可以改善社会和环境，并为公司和欧洲经济提供关键的竞争优势。在影响较大的部门，包括气候变化、环境和卫生、公共部门、金融、物流、内政和农业，尤其需要采取这种行动。然而，AI的为社会经济利益提供动力的元素和技术，同时也会给个人或社会带来新的风险或负面影响。鉴于技术变革的速度和可能面临的挑战，欧盟致力于采取一种平衡利弊的办法，维护欧盟的技术领导地位，确保欧洲人能够受益于根据欧盟的价值观、基本权利和原则开发和运作的新技术，符合欧盟的利益。

这一提议兑现了冯德莱恩总统的政治承诺，她在为2019-2024年委员会制定的政治指导方针“争取更多的联盟”1中宣布，委员会将就人工智能对人类和伦理的影响提出一项协调一致的欧洲方法。在这一宣布之后,委员会于2020年2月19日发表了《人工智能白皮书——一条通往卓越和信任的欧洲路径》2。就如何平衡，促进人工智能发展的同时平衡相关的风险，白皮书设定了了政策。该提案旨在通过提出可信任AI的法律框架，实现第二个目标，以发展出可信任的人工智能生态系统。

该提案基于欧盟的价值观和基本权利，旨在促进人们拥抱AI解决方案的信心，同时鼓励企业开发出这些解决方案。AI应该是人类的工具，是社会向善的力量，最终目的是增加人类福祉。因此，欧盟市场内的人工智能应用和规则应当以人为中心，以便人们能够相信，该技术是安全的和符合法律的，是尊重基本权利的。白皮书发表后，委员会发起了一次涉及广泛的利益相关方的磋商，大量利益相关方对此非常感兴趣，他们基本上支持监管干预，以应对日益广泛使用人工智能带来的关切和挑战。

该提案还回应了欧洲议会(EP)和欧洲理事会的明确要求，欧洲议会和欧洲理事会多次表示呼吁采取立法行动，以确保人工智能系统（“AI System”）在欧盟市场内部运作良好，在联盟层面充分平衡人工智能的好处和风险。它支持联盟成为发展安全、可信赖和合乎道德的人工智能3的全球领导者的目标，并确保符合欧洲议会要求的保护道德原则4。

2017年，欧洲理事会呼吁“应对新兴趋势带来的紧急事态”，其中包括“人工智能的问题……如何确保高水平的数据保护、数字权利和道德标准”5。在其2019年关于欧洲人工智能开发和使用协调计划的结论6中，理事会进一步强调了确保欧洲公民权利得到充分尊重的重要性，并呼吁审查现有相关立法，使其适合人工智能带来的新机遇和新挑战。欧洲理事会还呼吁明确确定应被视为高风险的人工智能应用7。

2020年10月21日的最新“结论”，还呼吁解决某些人工智能系统的不透明、复杂性、偏见、一定程度的不可预测性和部分自主行为,以确保其符合基本权利,并促进法律规则的执行8。

欧洲议会也在人工智能领域开展了大量工作。2020年10月，通过了多项与人工智能有关的决议，包括关于伦理9、责任10和版权11的决议。2021年，又通过了关于刑事事项12和教育、文化和视听部门13中的人工智能的决议。欧洲议会“关于人工智能、机器人技术和相关技术的伦理方面框架的决议”特别建议委员会进行立法，确保利用人工智能的机会和利益的同时，伦理原则也得到充分的保护。该决议包括一份关于开发、部署和使用人工智能、机器人技术和相关技术的伦理原则法规的立法提案文本。根据冯德莱恩总统在其关于欧洲议会根据《欧洲联盟条约》第225条通过的决议的政治指导方针中所作的政治承诺，该提案考虑了欧洲议会的上述决议，充分尊重了相称性、辅助性和更好的立法原则。

在这一政治背景下，委员会提出了关于人工智能的拟议监管框架，其具体目标如下：

· 确保在欧盟市场上投放和使用的人工智能系统是安全的，并尊重关于基本权利和欧盟价值观的现行法律；

· 确保法律的确定性，以促进AI领域的投资和创新；

· 加强人工智能系统现行法律的治理和有效执行，保证基本权利和安全符合法律；

· 为合法、安全、可信的AI应用发展单一市场提供便利，防止市场碎片化。

为了实现这些目标，本提案提出了一种平衡和相称的人工智能横向监管方法，该方法仅限于最低限度的必要要求，以解决与人工智能有关的风险和问题，而不过度限制或阻碍技术发展，或不成比例地增加将人工智能应用投放市场的成本。该提案确立了一个强有力和灵活的法律框架。一方面，它在其根本的监管选择上是全面的和适用未来发展的，包括AI系统应该遵守的基本原则要求；另一方面，它建立了一个相称的监管制度，其中心思想是界定一个明确的，基于风险的监管办法，不对交易造成不必要的限制。根据这种办法，法律干预必须是在1）有正当理由引起关切的，2）或在不久的将来可以合理地预期到这种关切，具体情况进行的。同时，法律框架还包括灵活的机制，使其能够随着技术的发展和新情况的出现而动态调整。

该提案为联盟中人工智能系统的开发、投放市场和使用制定了统一的规则，遵循了基于风险的相称的方法。它提出了一个单一的，适用未来的AI定义。禁止某些特别有害的人工智能做法，因为这违反了工会的价值观。同时对为执法目的使用远程生物特征识别系统提出了具体的限制和保障措施。该提案制定了一个坚实的风险评估的方法，以定义对人的健康、安全或基本权利，构成重大风险的“高风险”人工智能系统。这些AI系统将必须遵守一套横向强制性的，可信AI的要求，并遵循合格评定程序，然后才能将这些系统投放到联盟市场。这些系统的提供者和使用者也负有可预测的、相称的和明确的义务，以确保人工智能系统在整个生命周期中，遵守保护基本权利和安全的现有法律。对于某些特定的人工智能系统，只提出了最低限度的透明度义务，特别是在使用聊天机器人(chatbots)或“深伪技术”（deep fakes)时。

本提案建议的规则，将基于现有架构，通过成员国一级的治理系统和欧盟一级的合作机制，通过建立欧洲人工智能委员会，来具体执行。提案还提出了支持创新的额外措施，特别是通过人工智能监管沙箱(regulatory sandbox)和其他措施来减轻监管负担，并支持中小企业和初创企业。

➤

1.2.与现有政策规定的一致性

该提案的横向性质要求现有的，或在不久的将来将使用高风险人工智能系统的部门，与现有联盟立法完全一致。

提案还要求确保与《欧盟基本权利宪章》中关于数据保护、消费者保护、反歧视和性别平等的现行欧盟二级立法保持一致。该提案并不妨碍《一般数据保护条例》（欧盟第2016/679号条例）和《执法指令》（欧盟第2016/680号指令）,并以一套适用于某些高风险人工智能系统的设计、开发和使用的统一规则,以及对远程生物识别系统的某些用途的限制,补充完整了《一般数据保护条例》（欧盟第2016/679号条例）和《执法指令》（欧盟第2016/680号指令）。此外，该提案补充了现有联盟的反歧视条例，要求最大限度地降低算法歧视的风险，特别是在用于开发人工智能系统的数据集的设计和质量方面；提案补充了在整个人工智能系统生命周期中进行测试、风险管理、文件记录和人类监督的义务。该提案不妨碍联盟竞争法的适用。

至于属于产品安全组成部分的高风险人工智能系统，这项建议会纳入现行的行业安全法例内，以确保一致性、避免重复及尽量减少额外负担。特别是与新立法框架所涵盖的产品（例如机械、医疗器械、玩具）有关的高风险人工智能系统，本建议书所述的人工智能系统要求其作为相关立法框架下现行合格评定程序的一部分加以检查。关于要求的相互作用，虽然本提案的要求旨在涵盖人工智能系统特有的安全风险，但NLF立法的目的是确保最终产品的整体安全，因此可能包含关于人工智能系统安全集成到最终产品的具体要求。与本提案同日通过的《机械条例》提案充分反映了这一做法。至于与有关旧方法法例所涵盖的产品（例如航空、汽车）有关的高风险人工智能系统，本建议将不会直接适用。然而，在根据这些法案通过相关的实施或授权立法时，必须考虑到本提案中对高风险人工智能系统提出的事前基本要求。

关于受监管的信贷机构提供或使用的人工智能系统，应指定负责监督欧盟金融服务立法的当局为监督本提案要求的主管当局，以确保在人工智能系统在某种程度上与信贷机构的内部治理系统有关的暗含监管的情况下，协调一致地执行本提案和欧盟金融服务立法规定的义务。为进一步加强一致性，本提案规定的合格评定程序和供应商的一些程序义务已纳入关于信贷机构活动准入和审慎监管的第2013/36/EU号指令14规定的程序。

这一提案也符合联盟关于服务的适用立法，包括关于由第2000/31/EC15号电子商务指令和委员会最近关于《数字服务法》(DSA)16的建议所管制的中介服务的立法。

对于属于欧洲联盟大型IT系统运行管理机构（eu-LISA）管理的自由、安全和正义领域的大型IT系统组成部分的AI系统，该提案将不适用于自本法规适用之日起一年内已投放市场或投入服务的那些AI系统，除非那些法律行为的替换或修改导致有关AI系统的设计或预期用途发生重大变化。

➤

1.3.与联盟其他政策的一致性

该提案是一系列更广泛的综合措施的一部分，这些措施旨在解决人工智能的开发和使用所带来的问题，人工智能白皮书对此进行了审查。因此，提案确保了与委员会其他正在进行或计划进行的，也旨在解决这些问题的举措的一致性和互补性。这些举措包括修订分部门的产品立法（例如《机械指令》、《一般产品安全指令》)，和解决与包括人工智能系统在内的新技术有关的赔偿责任问题的举措。这些举措将以本提案为基础并加以补充，以使法律更加清晰，并促进欧洲人工智能信任生态系统的发展。

该提案还与欧盟委员会的总体数字战略相一致，有助于促进为人民工作的技术，这是“塑造欧洲的数字未来”17中宣布的政策方向和目标的三大支柱之一。它制定了一个连贯、有效和相称的框架，以确保人工智能的发展尊重人民的权利并赢得他们的信任，使欧洲适应数字时代，并将未来十年转变为数字十年18。

此外，促进人工智能驱动的创新与《数据治理法案》19、《开放数据指令》20和欧盟数据战略21下的其他举措密切相关，这些举措将为数据的重复利用、共享和汇集建立可信的机制和服务，这对于开发高质量的数据驱动人工智能模型至关重要。

该提案还显著加强了联盟的作用，帮助形成全球规范和标准，促进符合联盟价值观和利益的可信赖的人工智能。它为欧盟提供了一个强有力的基础，使其能够与包括第三国在内的外部伙伴进一步接触，并在国际论坛上就与AI有关的问题进行接触。

法律基础、辅助性和相称性

➤

2.1.法律依据

该提案的法律依据首先是《欧洲联盟运作条约》第114条，该条规定采取措施确保内部市场的建立和运作。

该提案构成了欧盟数字单一市场战略的核心部分。这项建议的主要目标是确保内部市场的正常运作，特别是在开发、投放联盟市场和使用利用人工智能技术或作为独立人工智能系统提供的产品和服务方面制定协调一致的规则。一些成员国已经在考虑制定国家规则，以确保人工智能是安全的，并且按照基本权利义务开发和使用人工智能。这将可能导致两个主要问题：（1）内部市场在关键要素方面的不一致，特别是关于人工智能产品和服务的要求、其营销、其使用、责任和公共当局的监督方面；（2）人工智能系统的提供者和使用者在现有规则和新规则将如何适用于联盟中的这些系统方面的法律确定性大大降低。鉴于产品和服务的跨境广泛流通，这两个问题可以通过欧盟协调立法得到最好的解决。

事实上，该建议界定了适用于某些人工智能系统在投放市场前的设计和开发的共同强制性要求，这些系统将通过统一的技术标准进一步运作。该提案还通过协调实施事后控制的方式，解决了人工智能系统投放市场后的情况。

此外，考虑到本提案载有关于在处理个人数据方面保护个人的某些具体规则，特别是关于为执法目的在公共无障碍空间使用人工智能系统进行“实时”远程生物鉴别的限制，就这些具体规则而言，本条例的依据是《欧洲联盟条约》第16条。

➤

2.2.辅助性（用于非排他性权限）

人工智能往往依赖于大量和多种多样的数据集，并可能嵌入到内部市场自由流通的任何产品或服务中。因此，仅靠成员国无法有效实现本建议的目标。此外，将正在出现分歧的国家规则简单拼凑在一起，将阻碍与人工智能系统相关的产品和服务，在整个欧盟的无缝流通；无法确保不同成员国的基本权利和联盟价值观的安全和保护。解决这些问题的，成员国家层面的办法，只会造成更多的法律不确定性和障碍，并会减缓人工智能的市场发展。

在联盟层面则可以更好地实现这一建议的目标，以避免单一市场下有分歧成员国的分裂，及其导致的嵌入人工智能的商品和服务无法自由流通。一个坚实的、欧洲的、可信赖的AI监管框架，也将确保公平竞争环境，保护所有人，同时加强欧洲在AI方面的竞争力和产业基础。只有在联盟层面采取共同行动，才能保护联盟的数字主权，并利用其工具和监管权力塑造全球规则和标准。

➤

2.3.相称性

该提案建立在现有法律框架的基础上，对实现其目标是相称和必要的，因为它采用了基于风险评估的方法，只有在人工智能系统可能对基本权利和安全构成高度风险时才施加监管负担。对于其他非高风险的人工智能系统，只规定了非常有限的透明度义务，例如，在与人类交互时提供提示信息来标示人工智能系统的使用，从而起到警示作用。对于高风险的人工智能系统，高质量的数据、文件和可追溯性、透明度、人的监督、准确性和鲁棒性的要求，对于减轻人工智能对基本权利和安全构成的风险是绝对必要的，而其他现有法律框架没有涵盖这些风险。统一的标准、支持性指导和合规工具将帮助供应商和用户遵守建议书所规定的要求，并将其成本降至最低。为达到合规要求所增加的成本，与所达致的目标，以及运营商可预期从中获得的经济及声誉利益，应成比例。

➤

2.4.法律工具的选择

成立新的法规是实施统一新规则的最好方式，这些新规则包括人工智能的定义、禁止某些有害的人工智能支持的做法，以及对某些人工智能系统进行分类。根据《欧洲联盟条约》第288条的规定，直接适用一项法规将减少法律分散，并促进为合法、安全和可信赖的人工智能系统发展一个单一市场。为此，它将特别对被归类为高风险的人工智能系统以及这些系统的提供者和使用者的义务提出一套统一的核心要求，改善对基本权利的保护，并为经营者和消费者提供法律确定性。

同时，该条例的规定并不具有过多的规定性，为成员国在不损害该倡议目标的要素方面采取不同级别的行动留有余地，特别是市场监督系统的内部组织和制定促进创新的措施。

事后评估, 利益相关方协商和影响评估

➤

3.1.利益相关方协商

这一建议是与所有主要利益相关方广泛协商的结果，其中适用了委员会与有关各方协商的一般原则和最低标准。

在发布《人工智能白皮书》的同时，在线公众咨询于2020年2月19日启动，并持续到2020年6月14日。是次谘询的目的，是收集市民对白皮书的意见。它的对象是公共和私营部门所有感兴趣的利益相关方，包括政府、地方当局、商业和非商业组织、社会伙伴、专家、学者和公民。在分析了收到的所有答复后，委员会在其网站22上公布了结果摘要和个别答复。

公众咨询共收到1215份反馈，其中352份来自公司或商业组织/协会，406份来自个人（92%来自欧盟），152份代表学术/研究机构，73名来自公共当局。160名答复者代表了民间社会的声音（其中9个消费者组织、129个非政府组织和22个工会），72名答复者以“其他”的身份发言。在352名工商代表中，222名是公司和企业代表，其中41.5%是微型和中小型企业。其余的是商业协会。总体而言，84%的工商界回复来自欧盟-27。根据问题的不同，有81至598个答复者使用自由文本选项插入评论意见。通过欧盟调查网站提交了450多份立场文件，其中有的除了问卷答复（400多份），有的作为单独的材料提交（50多份）。

总体而言，利益相关方普遍同意需要采取行动。大多数利益相关方都认为存在立法空白或需要新的立法。然而，几个利益相关方警告委员会要避免重复、义务冲突和监管过度。许多评论强调了技术中立和相称的监管框架的重要性。

利益相关方大多要求对人工智能下一个狭隘、明确和精确的定义。利益相关方还强调,除澄清AI一词外,还必须界定“风险”、“高风险”、“低风险”、“远程生物特征识别”和“危害”。

大多数答复者明确赞成基于风险的方法。使用基于风险的框架被认为是一个比全面监管所有人工智能系统更好的选择。风险和威胁的类型应以逐个部门和逐个案例的方法为基础。在计算风险时还应考虑到对权利和安全的影响。

监管沙箱对于促进人工智能非常有用，并且受到某些利益相关者的欢迎，特别是商业协会。

在对强制执行模式发表意见的人中，超过50%的人，特别是来自商业协会的人，赞成对高风险人工智能系统采取事前风险自我评估和事后强制执行相结合的方法。

➤

3.2.专业知识的收集和使用

该提案建立在两年的分析工作，和利益相关方密切参与的基础上，包括学术界、企业、社会伙伴、非政府组织、会员国和公民。筹备工作于2018年启动，成立了人工智能高级别专家组（高级别专家组），由52名知名专家组成，具有包容性和广泛性，负责就委员会人工智能战略的实施向委员会提供咨询。2019年4月，委员会支持专家组关于值得信赖的AI24的道德准则中提出的关键要求，该准则已经就利益相关方提交的500多份材料进行了修订。这些关键要求反映了一种广泛和共同的方法，欧洲及其他地区的许多私营和公共组织制定的大量道德守则和原则证明了这一点，即人工智能的开发和使用应以某些基本的价值导向原则为指导。值得信赖的人工智能评估清单(ALTAI)25使这些要求在350多个组织的试点过程中付诸实施。

此外，新成立的人工智能联盟26作为一个平台，供大约4000名利益相关方就人工智能的技术和社会影响进行辩论，最终举行了每年一度的人工智能大会。

关于AI的白皮书进一步发展了这一包容性方法，吸引了1250多个利益相关方的评论，包括450多份其他立场文件。因此，委员会发表了一份初期影响评估报告，这份报告又吸引了130多条评论意见27。还组织了其他利益相关方讲习班和活动，其结果影响了评估中的分析和本提议中所作的政策选择28。还采购了一份外部研究报告，为评估提供资料。

➤

3.2.影响评估

根据其“更好的监管”政策，委员会对这项提案进行了影响评估，并由委员会的监管审查委员会审查。2020年12月16日与监管审查委员会举行了一次会议，会议后得到了否定意见。在对影响评估进行重大修订以处理评论意见并重新提交影响评估之后，监管审查委员会于2021年3月21日发表了肯定意见。

委员会审查了不同的政策选择，以实现该提案的总目标，即通过为在联盟中开发和使用值得信赖的人工智能创造条件，确保单一市场的适当运作。

评估了监管干预程度不同的四种政策选择：

· 方案1：建立自愿标签计划的欧盟立法文书；

· 方案2：分部门“一事一办”办法；

· 方案3：采用基于风险的、相称性的横向欧盟立法文书；

· 方案3+：采用相称风险方法的欧盟横向立法文书+非高风险人工智能系统行为守则；

· 方案4：欧盟横向立法选项：对所有人工智能系统的要求，无论它们构成的风险如何。

根据委员会的既定方法，每一项政策选择都要对照经济和社会影响进行评估，特别注重对基本权利的影响。首选方案是方案3+，这是一个仅针对高风险人工智能系统的监管框架，所有非高风险人工智能系统的提供商都有可能遵循一项行为守则。这些要求将涉及数据、文档和可追溯性、信息提供和透明度、人力监督、健壮性和准确性，并且对于高风险人工智能系统是强制性的。为其他AI系统引入行为准则的公司会自愿遵守。

➤

3.3.基本权利

人工智能的使用具有其具体特点（如不透明、复杂性、对数据的依赖、自主行为）会对《欧盟基本权利宪章》(《宪章》)所载的一些基本权利产优选的方案适合以最有效的方式达志本提案的目标。通过要求人工智能开发人员和用户采取一套有限但有效的行动。首选方案限制了侵犯基本权利和人民安全的风险，并促进了有效的监督和执行，只针对那些有可能发生这种侵犯的高风险的系统提出要求。因此，该选项将遵守成本保持在最低限度，从而避免了由于较高的价格和遵守成本而不必要增加成本。为了解决中小企业可能面临的不利条件，这一办法包括若干条款，以支持它们遵守规定并降低其成本，包括建立监管沙箱和在确定与合格评定有关的费用时考虑中小企业利益的义务。

优先方案将增加人们对人工智能的信任，公司将获得法律确定性，成员国将没有理由采取可能分裂单一市场的单边行动。欧盟将继续发展快速增长的AI生态系统，包括嵌入AI技术或单机AI系统的创新服务和产品，从而提高数字自主性。

开发或使用对公民的安全或基本权利构成高风险的人工智能应用程序的企业或公共当局必须遵守特定的要求和义务。遵守这些要求将意味着到2025年，人工智能系统的合规成本在6000欧元至7000欧元区间，而高风险的项目需要17万欧元。对于AI用户来说，每年花在确保人工监督上的时间也是有成本的，这取决于具体案例。这些费用估计约为5000欧元至8000欧元每年。对高风险人工智能供应商而言，核查费用可能还需要额外的3000欧元至7500欧元。开发或使用任何未被归类为高风险的人工智能应用程序的企业或公共当局将只承担最低限度的信息义务。然而，他们可以选择加入其他人的行列，共同采用一种行为准则，以遵循适当的要求，并确保他们的人工智能系统是值得信赖的。在这种情况下，成本最多与高风险人工智能系统一样高，但很可能更低。

支持本提案的影响评估的附件3详细解释了政策选择对不同类别的利害关系方（经济经营者/企业；合格评定机构、标准化机构和其他公共机构；个人/公民；研究人员）的影响。

➤

3.4.管理的适宜性和简化

该提案规定了适用于高风险人工智能系统提供者和使用者的义务。对于开发此类系统并将其投放到联盟市场的提供商来说，它将创造法律确定性，并确保不出现任何阻碍AI相关服务和产品跨境提供的障碍。对于使用AI的公司来说，它将促进其与客户之间的信任。对于国家公共行政当局而言，它将促进公众对使用人工智能的信任，并加强执行机制（通过引入欧洲协调机制，提供适当的能力，并促进对人工智能系统的审计，同时对文件、可追溯性和透明度提出新的要求）。而且，该框架将设想支持创新的具体措施，包括监管沙箱和支持小规模用户和高风险AI系统提供商遵守新规则的具体措施。

该提案针对加强欧洲在AI方面的竞争力和产业基础，在确保与现有欧盟立法完全一致的基础上，带来进一步的清晰和简化的新规则。

生不利影响。这一提案力求确保对这些基本权利的高度保护，并旨在通过明确界定的基于风险的办法解决各种风险来源。该提案对可信的AI提出了一套要求，并要求所有价值链参与者承担相应的义务，因此将加强和促进对《宪章》所保护的权利的保护：人的尊严权（第1条）、尊重隐私和保护个人数据（第7和第8条）、反歧视（第21条）和男女平等（第23条）。其目的是防止对言论自由权（第11条）和集会自由权（第12条）的侵害，产生寒蝉效应，确保有效补救权和公平审判权、辩护权和无罪推定权（第47条和第48条）以及良好管理的一般原则得到保护。

此外，该提案适用于某些领域，将对一些特殊群体的权利产生积极影响，如工人享有公平和公正工作条件的权利（第31条）、高水平的消费者保护权利（第28条）、儿童权利（第24条）和残疾人融入社会的权利（第26条）。享有高度环境保护和改善环境质量的权利（第37条）也是相关的，包括与人民的健康和安全有关的权利。事前测试、风险管理和人的监督的义务还将通过最大限度地减少，在教育和培训、就业、重要服务、执法和司法等关键领域，作出错误或有偏见的人工智能辅助决定的风险，促进对基本权利的尊重。如果仍然发生侵犯基本权利的情况，将通过确保人工智能系统的透明度和可追踪性，加上强有力的事后控制，使受影响的人能够得到有效的补救。

该提案对经营自由（第16条）和艺术和科学自由（第13条）施加了一些限制，以确保在开发和使用高风险人工智能技术时遵守公共利益的压倒一切的理由，如健康、安全、消费者保护和保护其他基本权利（“负责任的创新”）。这些限制是相称的，仅限于预防和减轻严重安全风险和可能侵犯基本权利的最低限度。

增加的透明度义务也不会对保护知识产权的权利产生不成比例的影响（第17条第2款），因为这些义务将仅限于个人行使有效补救权所需的最低限度的必要信息，以及根据监督和执法当局的任务规定向其提供必要的透明度。任何信息披露都将遵守该领域的相关立法,包括关于保护未披露的专门知识和商业信息（商业秘密）免遭非法获取、使用和披露的第2016/943号指令。当公共当局和被通知的机构需要获得机密信息或源代码以审查实质性义务的遵守情况时，它们被置于具有约束力的保密义务之下。

预算问题

会员国将必须指定监督机构，负责执行立法。它们的监督职能可建立在现有安排的基础上，例如关于合格评定机构或市场监督的现有机构，但需要足够的技术知识以及人力和财政资源。根据每个会员国现有的结构，每个会员国可有1至25名专职同等人员。

有关所涉费用的详细概览在与本提案相关的“财务报表”中提供。

其他要素

➤

5.1.执行计划及监测、评价和报告安排

提供一个强有力的监测和评价机制对于确保该提案有效实现其具体目标至关重要。委员会将负责监测该建议的效果。它将建立一个系统，用于在欧盟范围内的公共数据库中登记独立的高风险人工智能应用程序。这一登记还将使主管当局、用户和其他有关人士能够核实高风险人工智能系统是否符合提案规定的要求，并对那些对基本权利构成高风险的人工智能系统行使更强的监督。为了向该数据库提供信息，人工智能供应商将有义务提供关于其系统和对这些系统进行的合格评定的有意义的信息。

此外，人工智能提供商一旦意识到构成违反基本权利义务的严重事件或故障，以及人工智能系统从市场上召回或撤出，将有义务立即通知国家主管当局。然后，国家主管当局将对事件/或故障进行调查，收集所有必要信息，并定期将其连同足够的数据转交委员会。委员会将对人工智能的整体市场进行全面分析，以补充有关这些事件的信息。

委员会将发表一份报告，评估和审查提案的AI框架，日期涵盖自该框架开始适用之日起五年后。

➤

5.2.提案具体条款详解

5.2.1.范围和定义（标题一）

第一章界定了监管的主题和新规则的适用范围，包括人工智能系统的上市、投入服务和使用。它还列出了整个文书所使用的定义。法律框架对AI系统的定义旨在尽可能做到技术中立和未来适用性，同时考虑到与AI相关的快速技术和市场发展。为了提供必要的法律确定性，第一章补充了补充一，其中载有委员会根据新技术发展调整的开发人工智能的方法和技术的详细清单。还明确界定了人工智能价值链上的关键参与者，如涵盖公共和私人运营商的人工智能系统的提供商和用户，以确保公平的竞争环境。

5.2.2.禁止的人工智能做法（第二篇）

第二章确定了一个被禁止的AI清单。该条例采用了基于风险的方法，对人工智能的使用进行了区分：（一）不可接受的风险；（二）高风险；（三）低风险或最小风险。第二章禁止的做法清单包括所有那些被认为违反联盟价值观（例如侵犯基本权利）的AI系统的使用是不可接受的。这些禁令涵盖了通过潜意识技术操纵他人的做法，和对儿童或残疾人等特定弱势群体的脆弱性，以便在实质上扭曲他们的行为，从而可能对他们或他人造成心理或身体伤害的做法。现有的数据保护、消费者保护和数字服务立法可以涵盖人工智能系统可能促成的影响成年人的，其他操纵或剥削做法。这些立法保证自然人适当知情并有自由选择,不受可能影响其行为的特征分析或其他做法的影响。该提案还禁止公共当局为一般目的进行基于AI的社交评分。最后，还禁止为执法目的在公共无障碍空间使用“实时”远程生物识别系统，除非适用某些有限的例外情况。

5.2.3.高风险人工智能系统（第三篇）

第三章载有对自然人的健康和安全或基本权利造成高度危险的人工智能系统的具体规则。按照基于风险的方法，这些高风险人工智能系统是允许进入欧洲市场的，但必须符合某些强制性要求并进行事前合格性评估。将人工智能系统归类为高风险系统，是根据人工智能系统的预期用途，并符合现行产品安全法例。因此，被归类为高风险，不仅取决于人工智能系统所执行的功能，还取决于该系统的具体用途和使用方式。

第三篇第1章设定了分类规则，并确定了高风险AI系统的两个主要类别：

· 拟用作须接受第三方事前合格评定的产品的安全部件的人工智能系统；

· 附件三明确列出的主要涉及基本权利的其他独立人工智能系统。

附件III中的高风险人工智能系统列表包含了数量有限的人工智能系统，其风险已经或可能在不久的将来出现。为确保该规例可因应人工智能的新用途和应用而作出调整，委员会可采用一套准则和风险评估方法，扩大在某些预定范围内使用的高风险人工智能系统的名单。

第2章阐述了高风险人工智能系统在数据和数据管理、文档和记录保存、透明度和向用户提供信息、人力监督、健壮性、准确性和安全性方面的法律要求。建议的最低要求对许多勤勉的经营者来说已经是最先进的，是两年筹备工作的结果，源自顾问组29提出的道德准则，并由350多个组织试行30。它们也与其他国际建议和原则基本一致，这确保了拟议的AI框架与欧盟的国际贸易伙伴通过的框架兼容。实现符合这些要求的精确技术解决方案可由标准或其他技术规范提供，或由AI系统提供商酌情根据一般工程或科学知识以其他方式开发。

这种灵活性特别重要，因为它允许AI系统提供商满足提案的要求，同时也顾及到这一领域的最新技术和科技进步。

第3章对高风险人工智能系统的提供商规定了一套明确的横向义务。用户和AI价值链上的其他参与者（如进口商、分销商、授权代表）也承担了相应的义务。

第4章设定了第三方独立机构参与合格评定程序的框架，而第5章则详细解释了每类高风险AI系统应遵循的合格评定程序。合格评定办法旨在最大限度地减轻经济经营者和第三方机构的负担，这些机构的能力需要随着时间的推移逐步提高。拟用作受新立法框架规管的产品（例如机械、玩具、医疗器械等）的安全部件的人工智能系统，将受其作为组成部分的产品的相同的，事前和事后遵守和执行机制的约束。关键的区别是，事前和事后机制将确保不仅遵守分部门立法规定的要求，而且遵守本条例规定的要求。

至于附件三所述的独立的高风险人工智能系统，将建立一个新的遵守和执行系统。这遵循了新的立法框架的模式，通过供应商的内部控制检查来实施立法。远程生物特征识别系统除外，该系统将接受第三方的合格性评估。通过内部检查进行全面的事前合格评估，再加上强有力的事后执行，对于这些系统来说，可能是一个有效和合理的解决办法。因为监管干预处于早期阶段，而且人工智能部门非常具有创新性，监管方面的专门知识现在才开始积累。通过内部检查对“独立的”高风险人工智能系统进行评估，将需要充分、有效和适当记录的事前遵守法规的所有要求，并遵守稳健的质量和风险管理系统以及上市后的监控。

供应商完成相关合格评定后，应在欧盟数据库中登记这些独立的高风险人工智能系统，该数据库将由欧盟委员会管理，以增加公众透明度和监督，并加强主管当局的事后监督。相比之下，为了与现行产品安全法例保持一致，作为产品安全组成部分的人工智能系统的符合性评估，将遵循相关部门产品安全法例已确立的具有第三方符合性评估程序的制度。如果对AI系统进行了重大修改（尤其是超出了供应商在其技术文件中预先确定并在进行事前合格评定时检查的内容），则需要对符合性进行新的事前重新评估。

5.2.4.某些人工智能系统的透明度义务（第四章）

第四章涉及某些人工智能系统，以考虑到它们所构成的操纵的具体风险。透明度义务将适用于以下系统：(i)与人类交互，(ii)用于检测情绪或基于生物特征数据确定与（社交）类别的关联，或(iii)生成或操纵内容（“深伪技术”）。当人们与人工智能系统交互或他们的情绪或特征通过自动化手段被识别时，人们必须被告知这种情况。如果AI系统被用于生成或操作与真实内容相当相似的图像、音频或视频内容，则应当有义务披露该内容是通过自动化手段生成的，但出于合法目的的除外（如执法、言论自由）。这使人们能够作出知情的选择，或在事先得知时避免这种情况出现。

5.2.5.支持创新的措施（第五章）

第五章有助于实现以下目标：建立一个有利于创新、面向未来并能抵御破坏的法律框架。为此目的，它鼓励国家主管当局设立监管沙箱，并制定治理、监督和责任方面的基本框架。AI监管沙箱建立受控环境，在与主管部门商定的测试计划基础上，对创新技术进行有限时间的测试。第五章还载有减轻中小企业和初创企业监管负担的措施。

5.2.6.治理和执行（第六、七和七章）

第六章建立了联盟和国家层面的治理体系。在联盟一级，该提案设立了一个欧洲人工智能委员会（“委员会”），由成员国和欧盟委员会的代表组成。委员会将促进国家监管当局与委员会的有效合作，并向委员会提供咨询意见和专门知识，从而促进顺利、有效和协调地执行本条例。它还将在会员国之间收集和分享最佳做法。

在国家一级，成员国必须指定一个或多个国家主管机关，其中包括国家监督机关，以监督条例的适用和实施。欧洲数据保护监督员将在属于本条例范围内的联盟机构、机构和团体的监督方面担任主管当局。

第七章旨在为委员会和国家当局的监测工作提供便利，办法是建立一个全欧盟范围的数据库，用于主要涉及基本权利的独立的高风险人工智能系统。该资料库将由欧盟委员会负责运作，并由人工智能系统的供应商提供数据。这些供应商在将其系统投放市场或以其他方式投入服务前，须先登记其系统。

第八章规定了人工智能系统供应商在上市后监测、报告和调查人工智能相关事件和故障方面的监测和报告义务。市场监督当局还将控制市场，并调查已投放市场的所有高风险人工智能系统遵守义务和要求的情况。市场监管当局将拥有关于市场监管的(EU)2019/1020号法规所规定的所有权力。事后执法应确保一旦人工智能系统投放市场，公共当局有权力和资源进行干预，以防人工智能系统产生意外风险，授权采取迅速行动。他们亦会监察营办商遵守规例所规定的有关责任。该提案没有要求在会员国一级自动设立任何其他机构或当局。因此，成员国可利用现有主管部门的资源和专门知识，这些主管部门可被赋予监测和执行《条例》条款的权力。

所有这些都不影响成员国在事后履行基本权利义务方面的现有制度和权力分配。在其任务需要时，现有的监督和执行当局也将有权要求和查阅根据本法规保存的任何文件，并在需要时要求市场监督当局通过技术手段组织对高风险人工智能系统的测试。

5.2.7.行为守则（第九章）

第九章为制定行为守则建立了一个框架，目的是鼓励非高风险人工智能系统的提供者自愿适用高风险人工智能系统的强制性要求（如第三章所述）。非高风险AI系统的提供商可自行创建并实施行为准则。这些守则还可包括与环境可持续性发展、残疾人无障碍、利益相关方参与人工智能系统的设计和开发以及开发团队的多样性等相关的自愿承诺。

5.2.8.最后条款（第十、十一和十二章）

第十章强调所有缔约方都有义务尊重信息和数据的保密性，并规定了在执行条例期间交流所获信息的规则。第十章还包括通过对违反规定的行为进行有效、相称和劝阻性的处罚，确保有效执行条例的措施。

第十一章规定了行使授权和执行权力的规则。该提案授权委员会酌情通过执行法令，以确保规章的统一适用，或授权法令，以更新或补充附件一至七中的清单。

第十二章规定，委员会有义务定期评估是否需要更新附件三，并编写关于评价和审查《规章》的定期报告。它还规定了最后条款，包括在条例开始适用之日有区别的过渡时期，以便利有关各方顺利实施。

1、https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf

2、欧盟委员会，《人工智能白皮书——一条通往卓越和信任的欧洲路径》，COM(2020)65最终版，2020年。

3、欧洲理事会,欧洲理事会特别会议（2020年10月1日和2日）-结论,EUCO 13/20,2020,第#页。

4、欧洲议会2020年10月20日关于人工智能、机器人和相关技术伦理方面框架的决议，其中载有向委员会提出的建议，2020/2012(INL)。

5、欧洲理事会，欧洲理事会会议（2017年10月19日）——结论EUCO 14/17,2017,第1页。8.

6、欧洲联盟理事会，人工智能b）关于人工智能协调计划的结论——通过6177/19，2019年。

7、欧洲理事会，欧洲理事会特别会议（2020年10月1日和2日）——结论 EUCO 13/20,2020。

8、欧洲联盟理事会，主席结论——人工智能和数字变革背景下的基本权利宪章，11481/20，2020年。

9、欧洲议会2020年10月20日关于人工智能、机器人技术和相关技术伦理方面框架的决议,2020/2012(INL)。

10、2020年10月20日欧洲议会关于人工智能民事责任制度的决议，2020/2014(INL)。

11、欧洲议会2020年10月20日关于发展人工智能技术的知识产权的决议,2020/2015(INI)。

12、欧洲议会报告草稿,《刑法中的人工智能及其由警察和司法当局在刑事事项中的使用》,2020/2016（INI）。

13、欧洲议会报告草稿，教育、文化和视听部门的人工智能，2020年/2017年(INI)。在这方面,欧盟委员会通过了《2021-2027年数字教育行动计划：为数字时代重设教育和培训》,该计划预见在教育委员会通讯COM(2020)624 Final中制定人工智能和数据使用方面的道德准则。

14、2013年6月26日欧洲议会和理事会关于信贷机构活动准入和信贷机构和投资公司审慎监管的第2013/36/EU号指令，修正了第2002/87/EC号指令，并废除了与欧洲经济区相关的第2006/48/EC号指令和第2006/49/EC号指令案文，OJ L 176,27.6.2013,p.338-436。

15、欧洲议会和理事会2000年6月8日关于内部市场中信息社会服务、特别是电子商务的某些法律方面的第2000/31/EC号指令（“电子商务指令”），OJ L 178,17.7.2000,第1-16页。

16、见欧洲议会和理事会关于数字服务单一市场条例的提案(《数字服务法》)和修正第2000/31/EC COM/2020/825号最后指令。

17、委员会来文，塑造欧洲的数字未来，COM/2020/67 Final。

18、2030年数字罗盘：数字十年的欧洲之路。

19、欧洲数据治理条例提案（数据治理法）COM/2020/767。

20、欧洲议会和理事会2019年6月20日关于开放数据和公共部门信息再利用的(EU)2019/1024号指令，PE/28/2019/Rev/1,OJ L 172,26.6.2019,p.56-83。

21、委员会通信，欧洲数据通信战略/2020/66 final。

22、这里见所有咨询结果。

23、European Commission, Building Trust in Human-Centric Artificial Intelligence, COM(2019) 168.

24、HLEG, Ethics Guidelines for Trustworthy AI, 2019.

25、HLEG, Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment, 2020.

26、https://ec.europa.eu/digital-single-market/en/euro-ai-alliance