检测偏见的方法

2015年10月

这对很多人来说可能是个惊喜，但在某些情况下，可以在不知道申请者池的情况下检测选择过程中的偏见。这令人兴奋，因为这意味着第三方可以使用这种技术来检测偏见，无论选择者是否希望他们这样做。

只要满足以下条件，就可以使用这种技术：(a) 你至少有一个随机样本的被选申请者，(b) 他们后续的表现被测量，以及 (c) 你比较的申请者组在能力分布上大致相等。

它是如何工作的？想想偏见意味着什么。对于某种类型的申请者来说，选择过程对他们的偏见意味着他们更难通过。这意味着类型 x 的申请者必须比非类型 x 的申请者表现得更好才能被选中。

[ 1 ]

这意味着通过选择过程的类型 x 的申请者将优于其他成功的申请者。如果所有成功申请者的表现都被测量，你就会知道他们是否表现得更好。

当然，你用来测量表现的测试必须是有效的。特别是，它不能被你试图测量的偏见所使无效。但是在某些领域，表现是可以被测量的，在这些领域，检测偏见是简单明了的。想知道选择过程是否对某种类型的申请者有偏见吗？检查他们是否优于其他人。这不仅仅是检测偏见的启发式方法。这就是偏见的含义。

例如，许多人怀疑风险投资公司对女性创始人存在偏见。这很容易检测：在他们的投资组合公司中，女性创始人的初创企业是否优于没有女性创始人的初创企业？几个月前，一家风险投资公司（几乎可以肯定是无意的）发布了一项显示这种偏见的研究。First Round Capital发现，在其投资组合公司中，女性创始人的初创企业 表现优于 没有女性创始人的初创企业，差距为63%。

[ 2 ]

我一开始说这种技术会让很多人感到惊讶的原因是，我们很少看到这种类型的分析。我相信First Round会对他们进行了一项这样的研究感到惊讶。我怀疑那里的人意识到，通过将样本限制在他们自己的投资组合中，他们实际上是在进行一项关于他们选择公司时自身偏见的研究，而不是关于初创企业趋势的研究。

我预测我们将在未来看到更多使用这种技术的情况。进行此类研究所需的信息越来越容易获得。关于谁申请某些东西的数据通常被选择它们的组织严格保密，但如今，关于谁被选中的数据通常对任何愿意花时间进行汇总的人公开可用。

备注

[ 1 ] 如果选择过程对不同类型的申请者寻找不同的东西，这种技术就不起作用——例如，如果雇主根据能力雇佣男性，但根据外貌雇佣女性。

[ 2 ] 正如保罗·布赫特指出的，First Round在研究中排除了他们最成功的投资Uber。虽然在某些类型的研究中排除异常值是有道理的，但初创企业投资的回报研究，正是关于击中异常值的研究，并不属于此类。

感谢 Sam Altman、Jessica Livingston 和 Geoff Ralston 阅读本文草稿。