UNE FAÇON DE DÉTECTER LES PRÉJUGÉS

Octobre 2015

Cela surprendra beaucoup de gens, mais dans certains cas, il est possible de détecter des biais dans un processus de sélection sans rien savoir du bassin de candidats. C'est passionnant, car cela signifie, entre autres, que des tiers peuvent utiliser cette technique pour détecter des biais, que ceux qui effectuent la sélection le souhaitent ou non.

Vous pouvez utiliser cette technique chaque fois que (a) vous disposez d'au moins un échantillon aléatoire des candidats sélectionnés, (b) que leurs performances ultérieures sont mesurées et (c) que les groupes de candidats que vous comparez ont une répartition de capacités à peu près égale.

Comment cela fonctionne-t-il ? Pensez à ce que signifie être partial. Si un processus de sélection est biaisé à l'encontre des candidats de type x, cela signifie qu'il leur est plus difficile de réussir. Cela signifie que les candidats de type x doivent être meilleurs pour être sélectionnés que les candidats qui ne sont pas de type x.

[ 1 ]

Cela signifie que les candidats de type X qui réussissent le processus de sélection auront de meilleurs résultats que les autres candidats retenus. Et si les performances de tous les candidats retenus sont mesurées, vous saurez s'ils y parviennent.

Bien entendu, le test que vous utilisez pour mesurer les performances doit être valide. Et en particulier, il ne doit pas être invalidé par le biais que vous essayez de mesurer. Mais il existe certains domaines dans lesquels les performances peuvent être mesurées, et dans ces domaines, la détection des biais est simple. Vous voulez savoir si le processus de sélection a été biaisé à l'encontre d'un certain type de candidat ? Vérifiez s'il a obtenu de meilleurs résultats que les autres. Il ne s'agit pas simplement d'une heuristique pour détecter les biais. C'est ce que signifie le biais.

Par exemple, beaucoup soupçonnent que les sociétés de capital-risque ont un parti pris contre les femmes fondatrices. Cela serait facile à détecter : parmi leurs sociétés en portefeuille, les startups dont les fondateurs sont des femmes surpassent-elles celles qui n’en ont pas ? Il y a quelques mois, une société de capital-risque a publié (presque sans doute involontairement) une étude montrant un biais de ce type. First Round Capital a constaté que parmi les sociétés de son portefeuille, les startups dont les fondateurs sont des femmes surpassaient celles qui n’en avaient pas de 63 %.

[ 2 ]

La raison pour laquelle j'ai commencé en disant que cette technique surprendrait beaucoup de gens est que nous voyons très rarement des analyses de ce type. Je suis sûr que First Round sera surpris d'apprendre qu'ils en ont effectué une. Je doute que quiconque chez eux ait réalisé qu'en limitant leur échantillon à leur propre portefeuille, ils produisaient une étude non pas sur les tendances des startups mais sur leurs propres préjugés lors de la sélection des entreprises.

Je prédis que cette technique sera de plus en plus utilisée à l'avenir. Les informations nécessaires pour mener de telles études sont de plus en plus disponibles. Les données sur les candidats sont généralement bien gardées par les organisations qui les sélectionnent, mais aujourd'hui, les données sur les candidats sélectionnés sont souvent accessibles au public à quiconque prend la peine de les regrouper.

Remarques

[ 1 ] Cette technique ne fonctionnerait pas si le processus de sélection recherchait des éléments différents chez différents types de candidats, par exemple si un employeur embauchait des hommes en fonction de leurs capacités, mais des femmes en fonction de leur apparence.

[ 2 ] Comme le souligne Paul Buchheit, First Round a exclu de l’étude son investissement le plus réussi, Uber. Et s’il est logique d’exclure les valeurs aberrantes de certains types d’études, les études sur les rendements des investissements dans les startups, qui consistent essentiellement à repérer les valeurs aberrantes, n’en font pas partie.

Merci à Sam Altman, Jessica Livingston et Geoff Ralston pour avoir lu les brouillons de cet article.