UNE FAÇON DE DÉTECTER LES BIAIS

Octobre 2015

Cela surprendra beaucoup de gens, mais dans certains cas, il est possible de détecter un biais dans un processus de sélection sans rien savoir sur le groupe de candidats. Ce qui est excitant car, entre autres, cela signifie que des tiers peuvent utiliser cette technique pour détecter les biais, que ceux qui font la sélection le veuillent ou non.

Vous pouvez utiliser cette technique chaque fois que (a) vous avez au moins un échantillon aléatoire des candidats qui ont été sélectionnés, (b) leurs performances ultérieures sont mesurées, et (c) les groupes de candidats que vous comparez ont une distribution de capacité à peu près égale.

Comment cela fonctionne-t-il ? Pensez à ce que signifie être biaisé. Ce que signifie qu'un processus de sélection soit biaisé contre les candidats de type x, c'est qu'il est plus difficile pour eux de passer. Ce qui signifie que les candidats de type x doivent être meilleurs pour être sélectionnés que les candidats qui ne sont pas de type x.

[ 1 ]

Ce qui signifie que les candidats de type x qui réussissent le processus de sélection surperformeront les autres candidats qui ont réussi. Et si la performance de tous les candidats qui ont réussi est mesurée, vous saurez s'ils le font.

Bien sûr, le test que vous utilisez pour mesurer la performance doit être valide. Et en particulier, il ne doit pas être invalidé par le biais que vous essayez de mesurer. Mais il existe des domaines où la performance peut être mesurée, et dans ceux-ci, la détection des biais est simple. Vous voulez savoir si le processus de sélection était biaisé contre un certain type de candidat ? Vérifiez s'ils surperforment les autres. Ce n'est pas seulement une heuristique pour détecter les biais. C'est ce que signifie le biais.

Par exemple, beaucoup soupçonnent que les sociétés de capital-risque sont biaisées contre les fondatrices. Cela serait facile à détecter : parmi leurs sociétés en portefeuille, les startups avec des fondatrices surperforment-elles celles sans ? Il y a quelques mois, une société de capital-risque (presque certainement involontairement) a publié une étude montrant un biais de ce type. First Round Capital a constaté que parmi ses sociétés en portefeuille, les startups avec des fondatrices surperformaient celles sans de 63 %.

[ 2 ]

La raison pour laquelle j'ai commencé par dire que cette technique surprendrait beaucoup de gens, c'est que nous voyons si rarement des analyses de ce type. Je suis sûr que cela surprendra First Round qu'ils en aient réalisé une. Je doute que quiconque là-bas ait réalisé qu'en limitant leur échantillon à leur propre portefeuille, ils produisaient une étude non pas sur les tendances des startups, mais sur leurs propres biais lors de la sélection des entreprises.

Je prédis que nous verrons cette technique utilisée davantage à l'avenir. Les informations nécessaires pour mener de telles études sont de plus en plus disponibles. Les données sur qui postule à des choses sont généralement gardées secrètes par les organisations qui les sélectionnent, mais de nos jours, les données sur qui est sélectionné sont souvent accessibles au public à tous ceux qui prennent la peine de les agréger.

Notes

[ 1 ] Cette technique ne fonctionnerait pas si le processus de sélection recherchait des choses différentes chez différents types de candidats - par exemple, si un employeur embauchait des hommes en fonction de leurs capacités mais des femmes en fonction de leur apparence.

[ 2 ] Comme le souligne Paul Buchheit, First Round a exclu son investissement le plus réussi, Uber, de l'étude. Et s'il est logique d'exclure les valeurs aberrantes de certains types d'études, les études sur les rendements des investissements dans les startups, qui sont entièrement basées sur les valeurs aberrantes, n'en font pas partie.

Merci à Sam Altman, Jessica Livingston et Geoff Ralston pour la lecture des brouillons de ce document.