欧盟《AI法案》简析

在主体适用范围上，考虑到AI技术的快速发展和相关市场的迅速扩张，欧盟立法机关对于“AI系统”进行了较为广泛的定义，在尽可能遵循“技术中立”[3]和“面向未来”[4]原则的基础上，通过列举的方式，对AI开发的路径和技术进行了明确。与此同时，AI价值链的关键参与者，无论是公共主体还是私人操作者，都平等地根据各自的参与方式，被定义为（技术）提供者、（技术）使用者、授权代表等，保证了AI市场的公平竞争环境[5]。在地域适用范围上，《AI法案》适用于欧盟境内或第三国向欧盟市场提供AI系统服务的提供者、欧盟境内AI系统的使用者、以及输出内容在欧盟境内被使用的第三国AI系统的提供者和使用者[6]。

与欧盟《通用数据保护条例》（“GDPR”）保持一致，《AI法案》也提出了“以风险为路径”[7]的构想。正如GDPR将个人数据按照敏感程度分为普通个人数据和特殊分类数据（又称“敏感数据”）施以不同程度的保护义务并进行不同强度的监管，《AI法案》根据AI系统可能对人的基本权利产生威胁的等级将其划分为三类：(1)不可接受的风险；(2)高风险；(3)低风险&最小风险。这一想法也在2021年6月21日欧洲数据保护委员会（EDPB）和欧洲数据保护专员公署（EDPS）针对该法案发表的联合意见中获得了肯定。以下是对于此种划分下，不同类别系统相关规定的介绍：

指AI系统对于人的安全、生命和基本权利有明显的威胁。具有不可接受的风险的AI系统或应用程序应当被禁止。这种情形包括AI系统或应用程序对人行为的操控，以及对人自由意志的规避，具体包括以下几个方面：

• 通过超出人感知范围的潜意识技术扭曲人的行为，导致或很可能导致被操控人或其他人心理或身体的损害；

• 通过暴露特定人群的年龄、身体或心理残疾等弱点，从而扭曲人的行为，导致或很可能导致被操控人或其他人心理或身体的损害；

• 在一段特定时间，公共权力机构或代表公共权力机构使用AI系统通过人的社会行为，获知或预判他们的人格特质。就人的信用，对自然人进行评估或分类从而进行评分；

• 执法部门在公共访问区域进行实时远程生物识别。

在6月21日EDPB和EDPS的联合意见中，考虑到在公共场所对个人进行远程生物识别所带来的极高风险，EDPB和EDPS呼吁全面禁止在公共访问区域使用人工智能自动识别个人特征，例如，在任何情况下识别人脸、步态、指纹、DNA、声音、击键和其他生物识别或行为信号。同样，联合意见建议禁止人工智能系统违反《基本权利宪章》第21条使用生物识别将个人依据种族、性别、政治取向或性取向及其他可能造成歧视的因素分为不同的群组。此外，EDPB和EDPS认为，使用人工智能来推断个人的情绪是非常不可取的，并应被禁止，除非是非常特殊的情况，例如基于某些健康目的，对病人情绪进行识别。并且，使用人工智能进行任何类型的社会评分应当被禁止。

主要指AI系统被用于产品安全性组件（比如机器、无线电设备、机动车等）并且该组件需要进行第三方遵从测试的情形。除此之外，《AI法案》还以列举的方式，列出了以下可能影响基本权利，进而被视为高风险的所谓“独立AI系统”：

• 对自然人进行“实时”和“事后”远程生物识别;

• 关键基础设施的管理和运作安全;

• 教育和职业培训(进入机构或学生评估);

• 招聘或者其他人力资源决策;

• 评价个人的信誉;

• 评估一个人获得公共援助福利和服务的资格;

• 以可能干扰基本权利的方式执法;

• 处理和审查庇护和签证申请以及边境管制;

• 协助法官研究和解释事实和法律，并将法律适用于事实[8]。

高风险AI系统面临着法案设置的诸多强制性要求。只有当这些合规性要求被满足并预先经过有关部门评估合格，这类AI系统才能够真正进入市场并投入使用。这些强制性要求包括：

• 建立充分的风险管理系统；

• 使用高质量训练、验证和测试的数据集；

• 准备反映AI系统的所有必要信息和目的的技术性文件以评估系统的合规性；

• 开发日志记录能力，以便自动记录，确保系统运作的可追踪性;

• 应向用户提供关于AI系统操作的适当透明度和清楚的信息；

• 确保人类对于AI系统在使用时的有效监管；

• 达到高水平的准确度、稳健性和网络安全性[9]。

经提供者评估后被视为符合高风险性AI系统强制性规定范围内的AI系统，应附有“CE”合规标志。对于“独立AI系统”，授权代表还须在欧盟建立的专用数据库中予以注册[10]。除了提供者承担的上述义务外，《AI法案》亦规定，高风险AI系统的进口商、分销商和使用者有责任确保这些产品在投放市场前符合监管要求，并确保产品的安全使用。

对于所谓的“非高风险”AI系统，即低风险和最小风险的AI系统，《AI法案》遵循比例性原则，通过为此类AI系统设定对用户及相关人群的透明度义务进行较为有限的规制，这种AI系统包括聊天机器人或deep fake换脸等。这类AI系统当与人类互动时，仅需提供信息，使人类意识到自己是在与机器而非自然人对话，并无需承担额外的法律义务。

违反《AI法案》的惩罚力度甚至可能高于被称为“史上最严格数据保护立法”的GDPR。对于违反禁止性要求以及AI系统训练、验证和测试数据集质量要求的情形，企业可能面临着高达3000万欧元或全球年营业额6%的处罚；对于其他违反《AI法案》设置的要求和义务的情形，企业可能面临着2000万欧元或全球年营业额4%的处罚；在负有信息提供义务的情形下，对于提供错误、残缺或误导性信息给相对方或国家主管机关的企业，罚金为1000万欧元或2%的全球年营业额。

我们认为，与GDPR相同，这部欧盟《AI法案》的提案以保护人的基本权利为出发点，以AI系统对公民基本权利的威胁程度对系统进行划分，对不同等级的AI系统提出了不同的合规要求，并施以不同强度的监管。若将来顺利出台，势必会成为欧盟人权法律体系的又一重要法案。我们可以看到，《AI法案》的关注重点与GDPR高度相似，例如人的年龄、种族、身体状况等可能造成人在社会中遭受歧视的因素，都被视作划分AI系统风险的依据。但从另一方面来看，《AI法案》对于某些AI系统和技术的监管可能相对严格，比如完全禁止某些AI技术的使用，有可能在全球各国紧锣密鼓进行AI战略部署、大力支持AI产业布局的大背景下，一定程度上阻滞欧洲AI技术的落地和AI产业的发展，从而对欧盟经济社会的发展产生一定的负面影响。但《AI法案》以“安全”和“非歧视”为原则，对AI进行风险分级的立法手法，也许会给世界其他各国AI立法提供启发。《AI法案》目前尚仍处于欧盟委员会的提案阶段，但EDPB和EDPS在6月21日的联合意见中已对该法案表现出了较为肯定的态度。尽管如此，根据欧盟立法程序，《AI法案》还需经过欧洲议会和欧盟理事会审议并修改，到最后颁布生效还需要两至三年的时间。这部法案未来走向如何，我们也将持续跟进。