检测偏见的一种方法

2015年10月

这对很多人来说都是一个惊喜,但在某些情况下,即使不知道申请人池的任何情况,也可以检测到选拔过程中的偏见。这很令人兴奋,因为这意味着第三方可以使用这种技术来检测偏见,不管那些进行选拔的人是否希望他们这样做。

只要满足以下条件,你就可以使用这种技术:(a)你至少有被选中的申请人的随机样本,(b)他们后来的表现得到了衡量,以及(c)你要比较的申请人群体在能力分布上大致相等。

它是如何工作的呢?想想什么是偏见。对于某类申请人来说,选拔过程存在偏见,意味着他们要更出色才能通过。这意味着被选中的某类申请人的表现会优于其他成功申请人。如果测量所有成功申请人的表现,你就会知道是否存在这种情况。

当然,用来衡量表现的测试必须是有效的。特别是它不能被你试图测量的偏见所无效化。但在某些领域,表现是可以衡量的,在这些领域检测偏见是很简单的。想知道选拔过程是否对某类申请人存在偏见?检查他们是否表现优于其他人。这不仅仅是一种检测偏见的启发式方法,这就是偏见的定义。

例如,许多人怀疑风险投资公司对女性创始人存在偏见。这很容易检测出来:在他们的投资组合公司中,有女性创始人的初创公司是否表现优于没有女性创始人的初创公司?几个月前,一家风险投资公司(几乎可以肯定是无意中)发布了一项研究,显示存在这种类型的偏见。First Round Capital发现,在他们的投资组合公司中,有女性创始人的初创公司比没有女性创始人的初创公司表现优秀63%。

我之所以一开始说这种技术会让很多人感到惊讶,是因为我们很少看到这种类型的分析。我相信First Round也会感到惊讶。我怀疑他们那里的任何人都没有意识到,通过将样本限制在自己的投资组合中,他们正在进行一项不是关于创业趋势,而是关于自己选择公司时偏见的研究。

我预测我们将来会看到这种技术被更多地使用。进行这种研究所需的信息越来越容易获得。谁申请某些东西的数据通常被选择的组织严格保密,但现在被选中的人的数据通常对任何愿意花时间汇总的人公开。

注释

[ 1 ] 如果选拔过程对不同类型的申请人寻求不同的东西 - 例如,如果一个雇主根据男性的能力来雇佣男性,但根据女性的外表来雇佣女性 - 这种技术就不会奏效。

[ 2 ] 正如Paul Buchheit指出的,First Round将他们最成功的投资Uber从这项研究中排除了。虽然从某些类型的研究中排除异常值是有意义的,但对于创业投资收益的研究来说,这些异常值正是重点所在。

感谢 Sam Altman、Jessica Livingston和Geoff Ralston阅读了这篇文稿的初稿。