隐私与人工智能：Schufa 算法受到欧盟法院谴责

fabiha01

2023年12月，欧洲联盟法院（CJEU）就Schufa案作出C-634/21号判决。这一具有里程碑意义的裁决将塑造未来基于人工智能的业务的 GDPR 友好型方法。在人工智能成为欧洲机构议程焦点的关键时刻，随着著名的《欧洲人工智能条例》（《人工智能法案》）的通过，欧盟法院的论点提供了重要的 GDPR 解释，这将影响所有基于人工智能的个人数据处理活动。

原因如下。

案件
在收到大量公民对Schufa Holding 活动的投诉后，德国威斯巴登行政法院将此案提交给欧洲法院，以澄清该公司在信用评分活动方面是否遵守 GDPR。其中一起投诉特别涉及一位公民，他因 Schufa 算法给出的负分而被信贷机构拒绝发放信贷。

Schufa Holding 是德国市场上一家颇具影响力的公司，提供信用评分服务，通过复杂的算法为银行和金融机构提供预测个人偿还债务能力的“分数”。

为了了解 Schufa 负面评级（以及因此拒绝信贷）背后的原因，该个人要求 Schufa 提供公司持有的用于计算分数的个人数据（GDPR 第 15 条保障的权利）。

为了回应该个人的请求，Schufa 决定不提供任何有关如何确定分数的重要信息，而是躲在“商业秘密”的帷幕后面。因此，争端不断升级，一直诉诸欧洲法院。

对该判决的深入分析也可在本文中找到。

“全自动处理”与人工智能之间的联系
一种根据各种参数为公民分配分数的算法，影响他们获得贷款或信贷的能力——这是 Schufa 创建的业务的基础。此类活动完全符合 GDPR 第 22 条规定的“自动化个人决策”的定义，即个人数据处理产生“仅基于自动化处理（包括分析）的决策，该决策对个人产生法律效力或类似地对个人产生重大影响”。

这个算法和AI有什么关系？确实，不是所有的算法都是AI，但所有的AI都是从算法开始的！一种能够分析数据并据此做出决策的算法，奥地利商业传真列表 使用机器学习技术处理信息并自动生成评估或决策，无需人工直接干预。

我们在此描述中指出了人工智能定义的两个基本因素，即：自主“学习”和“思考”的能力，以及自主生成特定的“输出”的能力——在我们的例子中，即分配给公民的分数。

这一概念也与《人工智能法案》最新公开批准文本（布鲁塞尔，2024 年 1 月 26 日）中包含的人工智能的全新官方定义相一致：

“‘人工智能系统’是一种基于机器的系统，旨在以不同程度的自主性运行，部署后可能表现出适应性，并且为了明确或隐含的目标，可以根据收到的输入推断如何生成输出，例如可以影响物理或虚拟环境的预测、内容、建议或决策”

判决的主要结论
该判决在很多方面都极其有趣，并提供了许多有用的 GDPR 解释。该判决中概述的“决策”概念被证明尤为重要：根据法院的说法，GDPR第22条无疑适用于这些算法，将自动化“决策”的概念扩展到包括基于已经描述的过程生成的输出。

尽管银行对是否发放贷款做出了最终决定，但法院承认 Schufa 的评分活动具有决策价值。事实上，个人的评分对于最终的决策具有高度的决定性价值，确保评分与决策本身具有同等重要性。

对欧盟企业的影响
使用算法或自动决策流程的企业应该注意这一判断的潜在影响，并在每次此类流程在数据主体的最终决策中发挥决定性作用时，采取积极措施遵守 GDPR（并且在不久的将来遵守 AI 法案） 。

因此，出于多种原因，在实施 AI 解决方案时遵守 GDPR 至关重要。

1. 数据准确性
根据算法处理的不完整或不正确的数据，可能会给出负分。在这种情况下，算法给出的评分将依赖于不准确的信息，从而产生错误的输出，就 Schufa 的情况而言，这会对公民的个人生活产生重大影响。企业必须努力降低数据不准确的风险，包括通过彻底审查、更新和纠正培训数据。

2. 偏差检测与纠正
不仅有错误，还有偏见。众所周知，人工智能系统本质上存在做出受偏见（人工智能术语中为“幻觉”）影响的决策的风险。虽然在像人工智能这样的复杂系统中实现 100% 的准确率可能具有挑战性，但必须考虑信息的统计准确性而不是绝对准确性的概念。然而，同样重要的是尽可能地减轻发生偏见的风险和可能性。