バイアスを検出する方法

2015年10月

これは多くの人にとって驚きかもしれませんが、場合によっては応募者プールについて何も知らなくても、選考プロセスにおけるバイアスを検出することが可能です。これは興味深いことで、他のことの中でも、第三者が選考を行う人々が望むかどうかにかかわらず、この技術を使ってバイアスを検出できることを意味します。

この技術は、(a) 選ばれた応募者の少なくともランダムサンプルがある場合、(b) その後のパフォーマンスが測定される場合、(c) 比較している応募者のグループが能力の分布がほぼ等しい場合に使用できます。

これはどのように機能するのでしょうか？ バイアスがあるとはどういうことかを考えてみてください。選考プロセスがタイプxの応募者に対してバイアスがあるということは、彼らが通過するのが難しいということです。つまり、タイプxの応募者は、タイプxでない応募者よりも選ばれるために優れている必要があります。

[ 1 ]

つまり、選考プロセスを通過したタイプxの応募者は、他の成功した応募者よりも優れたパフォーマンスを発揮することになります。そして、すべての成功した応募者のパフォーマンスが測定されれば、彼らがそうであるかどうかがわかります。

もちろん、パフォーマンスを測定するために使用するテストは有効でなければなりません。特に、測定しようとしているバイアスによって無効にされてはなりません。しかし、パフォーマンスが測定できる領域もあり、そこでのバイアスの検出は簡単です。選考プロセスが特定のタイプの応募者に対してバイアスがあったかどうかを知りたいですか？ 彼らが他の応募者よりも優れているかどうかを確認してください。これはバイアスを検出するための単なるヒューリスティックではありません。これがバイアスの意味です。

例えば、多くの人がベンチャーキャピタル企業が女性創業者に対してバイアスがあると疑っています。これは簡単に検出できます：彼らのポートフォリオ企業の中で、女性創業者のいるスタートアップは、いないスタートアップよりも優れたパフォーマンスを発揮していますか？ 数ヶ月前、あるVC企業が（ほぼ確実に意図せずに）このタイプのバイアスを示す研究を発表しました。ファーストラウンドキャピタルは、ポートフォリオ企業の中で、女性創業者のいるスタートアップが 優れていた ことを63%発見しました。

[ 2 ]

私がこの技術が多くの人に驚きをもたらすだろうと言った理由は、私たちがこの種の分析を非常に稀にしか見ないからです。ファーストラウンドが彼らがそのような研究を行ったことに驚くことは間違いありません。彼らのサンプルを自分たちのポートフォリオに制限することで、スタートアップのトレンドではなく、企業を選択する際の自分たちのバイアスに関する研究を行っていることに気づいた人はいないでしょう。

私は、今後この技術がもっと使われるようになると予測しています。そのような研究を行うために必要な情報はますます入手可能になっています。誰が何に応募するかに関するデータは、通常、選考を行う組織によって厳重に管理されていますが、最近では、誰が選ばれるかに関するデータは、集計する手間をかける人にはしばしば公開されています。

ノート

[ 1 ] この技術は、選考プロセスが異なるタイプの応募者から異なるものを求めている場合には機能しません—例えば、雇用主が男性を能力に基づいて雇い、女性を外見に基づいて雇う場合です。

[ 2 ] ポール・ブッカイトが指摘するように、ファーストラウンドは研究から最も成功した投資であるウーバーを除外しました。そして、いくつかのタイプの研究から外れ値を除外することは理にかなっていますが、外れ値を狙うスタートアップ投資のリターンに関する研究はその一つではありません。

感謝 サム・アルトマン、ジェシカ・リビングストン、ジェフ・ラルストンに草稿を読んでもらったことに感謝します。