计算机能做出公平的决定吗？这个研究结果很意外

今天，机器学习能帮助决定我们的贷款资格、得到的工作，甚至谁会坐牢。但当涉及到这些可能改变人生的决定时，计算机能做出公平的判断吗?德国研究人员发现，在人类监督下，人们认为计算机的决定可以像人类决定一样公平。9月29日，相关文章刊登于细胞出版社（Cell Press）旗下期刊Patterns上。

“关于机器学习公平性的很多讨论都集中在技术解决方案上，例如，如何修复不公平的算法，以及如何使系统公平。”德国曼海姆大学计算社会科学家、论文合著者Ruben Bach说，“但我们的问题是，人们认为什么是公平的？这不仅仅涉及开发算法，还需要被社会接受，并符合现实世界的规范信念。”

自动决策，即仅由计算机做出结论，擅长借助分析大型数据集来检测模式。与人类相比，计算机通常被认为是客观和中立的，人类的偏见会影响判断。然而，当计算机系统从反映人类世界歧视模式的数据中学习时，偏见可能会“潜入”计算机系统。理解计算机和人类决策的公平性对于建立一个更公平的社会至关重要。

为了解人们对自动化决策的公平感，研究人员在德国调查了3930位参与者。研究人员给他们提供了与银行、工作、监狱和失业系统相关的假设场景。在这些场景中，他们进一步比较了不同的情况，包括决策导致积极结果还是消极结果、用于评估的数据来自哪里，以及谁做出最终决策——人类、计算机，还是两者都做。

“不出所料，我们发现完全自动化的决策并不受欢迎。”曼海姆大学计算社会科学家、共同第一作者Christoph Kern说，“但有趣的是，当在自动化决策中有人类监督时，人们认为其公平性与以人为本的决策相似。”结果显示，当有人类参与时，人们会认为这个决定更公平。

当决定涉及刑事司法系统或就业前景时，人们更担心决定的公平性。可能是考虑到损失的负担更大，参与者认为能做出积极结果的决定比消极结果的更公平。与仅依赖相关数据的系统相比，那些利用来自互联网的额外不相关数据的系统被认为不太公平，这证实了数据透明度和隐私的重要性。总的来说，研究结果表明语境很重要。

研究人员表示，当涉及公平问题时，需要仔细设计自动决策系统。

虽然，调查中的假设情况可能无法完全转化为现实，但该团队已经在集思广益，以更好地理解公平。他们计划进一步研究不同的人是如何定义公平的。他们还想通过类似的调查来询问更多关于正义、社区资源分配的公平性等问题。

“在某种程度上，我们希望业内人士可以把这些结果作为精神食粮，作为他们在开发和部署自动化决策系统之前应该检查的东西。”Bach说，“我们还需要确保人们理解数据是如何处理的，以及如何根据数据做出决策。”

阅读论文原文：https://www.cell.com/patterns/fulltext/S2666-3899(22)00209-4

了解更多最新研究，请关注Cell Press细胞出版社官方微信“CellPress细胞科学”