UNE FAÇON DE DÉTECTER LES BIAIS

October 2015

Cela surprendra beaucoup de gens, mais dans certains cas, il est possible de détecter un biais dans un processus de sélection sans rien savoir sur le groupe de candidats. Ce qui est excitant, car entre autres choses, cela signifie que des tiers peuvent utiliser cette technique pour détecter des biais, que ceux qui effectuent la sélection le souhaitent ou non.

Vous pouvez utiliser cette technique chaque fois que (a) vous avez au moins un échantillon aléatoire des candidats qui ont été sélectionnés, (b) leur performance ultérieure est mesurée, et (c) les groupes de candidats que vous comparez ont une distribution de capacité à peu près égale.

Comment cela fonctionne-t-il ? Pensez à ce que signifie être biaisé. Ce que cela signifie pour un processus de sélection d'être biaisé contre des candidats de type x, c'est qu'il est plus difficile pour eux de réussir. Ce qui signifie que les candidats de type x doivent être meilleurs pour être sélectionnés que les candidats qui ne sont pas de type x.

[ 1 ]

Ce qui signifie que les candidats de type x qui réussissent à passer le processus de sélection surpasseront les autres candidats retenus. Et si la performance de tous les candidats retenus est mesurée, vous saurez s'ils le font.

Bien sûr, le test que vous utilisez pour mesurer la performance doit être valide. Et en particulier, il ne doit pas être invalidé par le biais que vous essayez de mesurer. Mais il existe certains domaines où la performance peut être mesurée, et dans ceux-ci, détecter un biais est simple. Vous voulez savoir si le processus de sélection était biaisé contre un certain type de candidat ? Vérifiez s'ils surpassent les autres. Ce n'est pas juste une heuristique pour détecter un biais. C'est ce que signifie le biais.

Par exemple, beaucoup soupçonnent que les sociétés de capital-risque sont biaisées contre les fondatrices féminines. Cela serait facile à détecter : parmi leurs entreprises en portefeuille, est-ce que les startups avec des fondatrices féminines surpassent celles sans ? Il y a quelques mois, une société de capital-risque (presque certainement sans le vouloir) a publié une étude montrant un biais de ce type. First Round Capital a constaté qu'au sein de ses entreprises en portefeuille, les startups avec des fondatrices féminines surpassaient celles sans de 63 %.

[ 2 ]

La raison pour laquelle j'ai commencé par dire que cette technique surprendrait beaucoup de gens est que nous voyons si rarement des analyses de ce type. Je suis sûr que cela surprendra First Round qu'ils en aient réalisé une. Je doute que quiconque là-bas ait réalisé qu'en limitant leur échantillon à leur propre portefeuille, ils produisaient une étude non pas des tendances des startups mais de leurs propres biais lors de la sélection des entreprises.

Je prédis que nous verrons cette technique utilisée davantage à l'avenir. Les informations nécessaires pour mener de telles études sont de plus en plus disponibles. Les données sur qui postule à des choses sont généralement étroitement gardées par les organisations qui les sélectionnent, mais de nos jours, les données sur qui est sélectionné sont souvent disponibles publiquement pour quiconque prend la peine de les agréger.

Notes

[ 1 ] Cette technique ne fonctionnerait pas si le processus de sélection recherchait des choses différentes selon les types de candidats—par exemple, si un employeur engageait des hommes en fonction de leur capacité mais des femmes en fonction de leur apparence.

[ 2 ] Comme le souligne Paul Buchheit, First Round a exclu son investissement le plus réussi, Uber, de l'étude. Et bien qu'il soit logique d'exclure les valeurs aberrantes de certains types d'études, les études sur les rendements des investissements dans les startups, qui consistent à frapper des valeurs aberrantes, ne sont pas l'une d'elles.

Merci à Sam Altman, Jessica Livingston et Geoff Ralston d'avoir lu des brouillons de ceci.