国际 | 新加坡金管局审查金融机构AI使用（下）

金融机构越来越多地使用人工智能和数据分析（Artificial Intelligence and Data Analytics，简称AIDA）来提高运营效率、降低风险，并改善业务流程。然而，伴随着AIDA的广泛使用，可能会产生新的风险或放大原有风险。

新加坡金融监管局（Monetary Authority of Singapore，简称MAS）对所选定金融机构使用人工智能/机器学习(AI/ML)的情况进行了专题审查，并于2022年6月30日发布审查报告。报告重点介绍了相关金融机构为满足FEAT原则中的公平性目标而实施的政策和治理框架，以及这些机构在AI/ML实际使用中对公平性的治理效果。报告列出了MAS的建议、良好做法和从审查中观察到的例证。MAS表示，金融部门的创新应以良好治理和风险管理为基础，并以可持续战略为驱动。

本解读分为（上）、（下）两篇，本文为（下）篇，主要介绍了FEAT原则下对AIDA模型公平性的评估，以及有关模型开发和独立审查等方面的其他事项。

已建立AIDA模型重要性评估框架的金融机构往往基于此框架来指导其对模型的公平性评估流程。例如，一些金融机构具有一个二元框架，对高重要性模型进行完整的公平性评估，而对低重要性模型则不进行评估。根据重要性对模型进行分级的目的是促进资源配置更加合理，确保风险较高、更具重要性的模型能够获得更多的资源和关注。公平性评估流程的制定可能涉及对评估流程和相关治理需求的改变。具体而言，金融机构制定的评估要求包括但不仅限于：

• 要求对高风险、高重要性模型进行更广泛的分析和更深入的回应，对低风险模型的部分或全部评估问题进行总结和简洁回应；

• 对重要模型的性能和FEAT指标进行更频繁和更深入的监测与评估。

就制定治理需求而言，金融机构可以实施更严格的审查和批准流程。例如，要求更多数量和更高级别的部门在部署模型时进行签名批准；要求对模型实际效果与预设性能或FEAT指标阈值之间的偏差进行更大程度的改进和干预；针对更具重要性的模型，通过第三方审计进行独立验证。另外，大多数金融机构都制定了检核表或记分卡，以促进对其模型的公平性评估。这些检核表和记分卡通常包括所审查模型的业务问题和公平性问题，对模型数据的偏差检验，以及计算公平性指标来确定不同群体或个人是否处于弱势，使模型表现能够符合预期。

在AIDA模型中，在不同应用场景下需要输入有关个体和群体的不同信息。其中，受保护属性是指那些通常在模型中被禁止使用的的个人属性，以限制针对个人和群体的歧视，但这些属性在一些情况下仍然可以合法使用。通常来说，受保护属性包括性别、种族和年龄。一些受保护属性的代理属性也可能带来类似的风险，例如在一些国家邮政编码是种族的代表，因为不同种族群体可能聚集在某些社区，而多年的驾驶经验可以是司机年龄的代表。根据公平性原则的F2原则，应当合理地使用受保护属性及其代理来作为AIDA驱动模型的输入信息。

金融机构使用受保护属性及其代理属性的原因包括：人们普遍接受在一些用例中使用这些属性（例如，汽车使用年限作为汽车保险定价模型的输入变量），以及有时使用这些属性具有必要性（例如，为了向客户提供合适的产品需要人口统计数据）。但是，在进行公平性评估时，金融机构需要将受保护的属性及其代理属性与其他特性区分开来，在使用过程中考虑到不同的业务目标和对公平性的追求，并提供合理的使用理由以获得批准。

在将AIDA模型投入使用之前，金融机构便已对模型的性能和公平性进行了大量测试。但是随着时间推移，模型和数据可能会不断变化，导致模型的实际性能和公平性会下降，出现许多意想不到的问题。而模型性能和公平性的下降可以通过后续监测而得以发现，因此根据原则F3和F4，定期监测和审查对于满足公平性原则十分关键。

另外，为了满足FEAT原则的F1，金融机构需要定期监测和识别AIDA模型，了解模型是否可能会使某些个人和群体处于劣势，并确定随之而来的各种影响。有些金融机构通过将AIDA模型的输出结果与评估人员的人工决策进行比较，来评估模型的公平性，这度量了模型决策与人类决策之间的符合程度，但没有度量出模型决策在不同个体和群体之间是否公平。与之相对，金融公平指数对公平性的衡量，主要取决于评估模型决策对不同个体和群体造成的损失和利好之间的差别，例如比较AIDA模型在不同性别、不同年龄以及其他受保护属性差异下的决策结果差异。这种评估公平性的方法更为符合现有研究结果。

金融机构应该将FEAT原则引入模型开发的整个生命周期之中，并制定计划将现有模型纳入FEAT评估。对于新模型，在模型开发阶段和投入使用之前就纳入FEAT原则。对于拥有大量已投入使用的现有模型的金融机构来说，制定计划对模型进行重要性和FEAT评估同样十分重要。

AIDA模型的开发、验证和独立审查之间的需要职责分离。具体而言，AIDA模型开发者和AIDA模型验证者之间应该保持独立，后者需要对模型公平性评估进行独立审查。金融机构通常有部门或委员会来监督其AIDA模型，验证其性能和公平性，并批准其部署使用。然而，一些金融机构仅在业务部门内部对模型进行验证和审查，这意味着没有第二道防线来执行独立的评估。当AIDA模型的使用变得越来越普遍时，金融机构有责任建立合理的机构和流程以保证对模型的独立审查。

最后，考虑到AIDA模型是一个新领域，一些金融机构可能没有足够的人力资源、技术资源和经验来对其AIDA模型进行评估和验证。如果金融机构打算扩大AIDA的使用，就应该制定计划，为更好地遵循FEAT原则而建立所需的资源和技术。

金融机构使用AIDA模型必须同时保证对模型具有良好的风险管理以及可持续战略。FEAT原则的制定是为了帮助金融机构以负责任的方式部署AIDA模型。目前，MAS正在持续关注金融机构在使用AIDA模型过程中对FEAT原则的遵循情况，同时包括金融机构、金融科技公司和MAS在内的各利益相关方将积极参与这一过程。MAS将继续与业界合作，通过有效实施FEAT原则来促进金融机构对AIDA模型合理负责的使用。

*本文版权归“未央网”所有，未经授权禁止转载。如需开通白名单请在评论留言，转载时在文首注明来源及作者。