バイアスを検出する方法

2015年10月

多くの人にとって驚くことでしょうが、応募者プールについて何も知らなくても、選抜プロセスにバイアスが存在するかどうかを検出することができる場合があります。これは、第三者がバイアスを検出できることを意味するので、選抜を行う側がそれを望むかどうかに関わらず、この手法を使うことができるということを意味しています。

この手法を使うには、(a)選抜された応募者のランダムサンプルがあり、(b)その後の業績が測定されており、(c)比較する応募者グループの能力分布がほぼ等しいことが必要です。

これはどのように機能するのでしょうか? バイアスとは何を意味するかを考えてみましょう。ある選抜プロセスがタイプxの応募者に対してバイアスがあるということは、彼らにとってそこを通過するのが難しいということを意味します。つまり、タイプxの応募者は、他のタイプの応募者よりも優れている必要があるということです。

[ 1 ]

つまり、タイプxの応募者の中で選抜された人は、他の成功した応募者よりも優れた業績を上げるはずです。そして、すべての成功した応募者の業績が測定されていれば、そうであるかどうかがわかります。

もちろん、業績を測定するテストは妥当なものでなければなりません。特に、測定しようとしているバイアスによって無効にされてはいけません。しかし、業績を測定できる分野があり、そこではバイアスの検出は簡単です。ある種の応募者に対してバイアスがあるかどうかを知りたいなら、彼らが他の人よりも優れた業績を上げているかどうかを確認すればよいのです。これは単なるバイアス検出のヒューリスティックではなく、バイアスの定義そのものなのです。

例えば、多くの人がベンチャーキャピタル企業は女性起業家に対してバイアスがあると疑っています。これは簡単に検出できます。ポートフォリオ企業の中で、女性起業家が率いる企業は他の企業よりも優れた業績を上げているでしょうか? 数か月前、ある1つのベンチャーキャピタル企業(おそらく意図せずに)がこのタイプのバイアスを示す研究結果を公表しました。First Round Capitalは、ポートフォリオ企業の中で、女性起業家が率いる企業は他の企業よりも63%優れた業績を上げていることを発見しました。

[ 2 ]

私がこの手法が多くの人を驚かせると述べた理由は、このような分析がほとんど見られないからです。First Roundがこの分析を行ったことに、おそらく彼ら自身も気づいていないでしょう。自社のポートフォリオに限定したサンプルを使うことで、彼らは企業選抜の傾向ではなく、自社のバイアスについての研究を行っていたことに。

私は、この手法がより多く使われるようになると予想しています。このような研究を行うために必要な情報は、ますます入手可能になっています。誰が応募したかについてのデータは、選抜を行う組織によって厳重に管理されていることが多いですが、誰が選抜されたかについてのデータは、それを集計する手間を取れば、誰でも入手できるようになっています。

注記

[ 1 ] 選抜プロセスが、異なるタイプの応募者に対して異なるものを求めている場合、この手法は機能しません。例えば、雇用主が男性に対しては能力を基準に、女性に対しては外見を基準に採用する場合などです。

[ 2 ] Paul Buchheitが指摘しているように、First Roundは最も成功した投資先であるUberを、この研究から除外しています。一部の研究では外れ値を除外するのが適切ですが、スタートアップ投資の収益に関する研究では、外れ値こそが重要なのです。

Sam Altman、Jessica Livingston、Geoff Raltonの各氏に、この原稿の草稿を読んでいただいたことに感謝します。