检测偏见的一种方法

October 2015

这可能会让很多人感到惊讶，但在某些情况下，即使不知道申请者池的任何信息，也可以检测出选择过程中的偏见。这令人兴奋，因为这意味着第三方可以使用这种技术来检测偏见，无论进行选择的人是否愿意。

您可以随时使用此技术，只要 (a) 您至少拥有被选中申请者的随机样本，(b) 他们的后续表现得到衡量，以及 (c) 您正在比较的申请者群体具有大致相同的能力分布。

它是如何工作的？想想偏见意味着什么。选择过程对类型 x 的申请者有偏见意味着他们更难通过。这意味着类型 x 的申请者必须比非类型 x 的申请者更优秀才能被选中。

[ 1 ]

这意味着通过选择过程的类型 x 的申请者将胜过其他成功的申请者。如果所有成功申请者的表现都得到衡量，您就会知道他们是否做到了。

当然，您用来衡量表现的测试必须是有效的。特别是，它不能被您试图衡量的偏见所失效。但有一些领域可以衡量表现，在这些领域检测偏见很简单。想知道选择过程是否对某种类型的申请者有偏见吗？检查他们是否胜过其他人。这不仅仅是检测偏见的一种启发式方法。这就是偏见的意思。

例如，许多人怀疑风险投资公司对女性创始人有偏见。这很容易检测：在他们的投资组合公司中，女性创始人创办的初创公司是否比没有女性创始人的初创公司表现更好？几个月前，一家风险投资公司（几乎可以肯定是不经意地）发布了一项显示这种偏见的调查。First Round Capital 发现，在其投资组合公司中，女性创始人创办的初创公司 表现优于 没有女性创始人的初创公司 63%。

[ 2 ]

我一开始就说这种技术会让很多人感到惊讶的原因是，我们很少看到这种类型的分析。我相信 First Round 会对他们进行了一项这样的分析感到惊讶。我怀疑那里的人是否意识到，通过将他们的样本限制在他们自己的投资组合中，他们进行的不是对初创公司趋势的研究，而是对他们在选择公司时的偏见的研究。

我预测未来我们会看到这种技术被更多地使用。进行此类研究所需的信息越来越容易获得。关于谁申请某些事物的资料通常由进行选择的组织严格保密，但如今，关于谁被选中的资料通常对任何愿意收集资料的人公开。

注释

[ 1 ] 如果选择过程对不同类型的申请者寻找不同的东西，这种技术将不起作用——例如，如果雇主根据能力雇用男性，而根据外表雇用女性。

[ 2 ] 正如 Paul Buchheit 指出的那样，First Round 将其最成功的投资 Uber 排除在研究之外。虽然从某些类型的研究中排除异常值是有道理的，但对初创公司投资回报的研究（这完全是关于击中异常值）并非其中之一。

感谢 Sam Altman、Jessica Livingston 和 Geoff Ralston 阅读了本文的草稿。