检测偏见的方法

2015 年 10 月

很多人可能会对此感到惊讶，但在某些情况下，即使对申请者群体一无所知，也可以检测出选拔过程中的偏见。这令人兴奋，因为除其他外，这意味着第三方可以使用这种技术来检测偏见，无论那些进行选择的人是否愿意。

只要满足以下条件，您就可以使用此技术：(a) 您至少拥有所选申请人的随机样本，(b) 衡量了他们的后续表现，以及 (c) 您正在比较的申请人群体的能力分布大致相等。

它是如何运作的？想想偏见意味着什么。选拔过程对 x 类型的申请人有偏见意味着他们更难通过。这意味着 x 类型的申请人必须比非 x 类型的申请人更优秀才能被选中。

[ 1 ]

这意味着通过选拔程序的 x 类申请人将比其他成功申请人表现更好。如果衡量所有成功申请人的表现，你就会知道他们是否成功。

当然，你用来衡量绩效的测试必须是有效的。特别是它不能因你试图衡量的偏见而失效。但有些领域可以衡量绩效，在这些领域检测偏见很简单。想知道选拔过程是否对某些类型的申请人有偏见吗？检查他们是否胜过其他申请人。这不仅仅是检测偏见的启发式方法。这就是偏见的含义。

例如，许多人怀疑风险投资公司对女性创始人存在偏见。这一点很容易发现：在他们的投资组合公司中，有女性创始人的初创公司是否比没有女性创始人的初创公司表现更好？几个月前，一家风险投资公司（几乎肯定是无意的）发表了一项研究，显示了这种偏见。First Round Capital 发现，在其投资组合公司中，有女性创始人的初创公司比没有女性创始人的初创公司表现好63%。

[ 2 ]

我之所以一开始就说这种技术会让很多人感到惊讶，是因为我们很少看到这种类型的分析。我相信 First Round 进行这种分析也会让他们感到惊讶。我怀疑那里的任何人都没有意识到，通过将样本限制在自己的投资组合中，他们进行的研究不是关于初创企业趋势的研究，而是关于他们自己在选择公司时的偏见的研究。

我预测，未来这种技术将得到更广泛的应用。开展此类研究所需的信息越来越丰富。申请者的数据通常受到筛选机构的严密保护，但如今，被选中者的数据通常对任何愿意收集这些数据的人都是公开的。

笔记

[ 1 ] 如果选拔过程对不同类型的应聘者要求不同的东西，那么这种方法就无法奏效——比如，雇主雇佣男性是基于能力，雇佣女性是基于外表。

[ 2 ] 正如保罗·布赫海特 (Paul Buchheit) 指出的那样，First Round 将其最成功的投资 Uber 排除在研究范围之外。虽然在某些类型的研究中排除异常值是合理的，但初创公司投资回报研究（其重点在于找出异常值）并不是其中之一。

感谢Sam Altman、Jessica Livingston 和 Geoff Ralston 阅读本文草稿。