UNA MANERA DE DETECTAR EL SESGO

October 2015

Esto sorprenderá a mucha gente, pero en algunos casos es posible detectar el sesgo en un proceso de selección sin saber nada sobre el grupo de solicitantes. Lo cual es emocionante porque, entre otras cosas, significa que terceros pueden usar esta técnica para detectar el sesgo, independientemente de si los que realizan la selección quieren que lo hagan o no.

Puede usar esta técnica siempre que (a) tenga al menos una muestra aleatoria de los solicitantes seleccionados, (b) se mida su desempeño posterior y (c) los grupos de solicitantes que está comparando tengan una distribución de habilidad aproximadamente igual.

¿Cómo funciona? Piense en lo que significa estar sesgado. Lo que significa que un proceso de selección esté sesgado en contra de los solicitantes del tipo x es que es más difícil para ellos pasar. Lo que significa que los solicitantes del tipo x tienen que ser mejores para ser seleccionados que los solicitantes que no son del tipo x.

[ 1 ]

Lo que significa que los solicitantes del tipo x que sí pasan el proceso de selección se desempeñarán mejor que otros solicitantes exitosos. Y si se mide el desempeño de todos los solicitantes exitosos, sabrá si lo hacen.

Por supuesto, la prueba que use para medir el desempeño debe ser válida. Y en particular, no debe invalidarse por el sesgo que está tratando de medir. Pero hay algunos dominios donde se puede medir el desempeño, y en esos casos, detectar el sesgo es sencillo. ¿Quiere saber si el proceso de selección estaba sesgado contra algún tipo de solicitante? Compruebe si se desempeñan mejor que los demás. Esto no es solo una heurística para detectar el sesgo. Es lo que significa el sesgo.

Por ejemplo, muchos sospechan que las empresas de capital de riesgo tienen un sesgo contra las fundadoras mujeres. Esto sería fácil de detectar: entre sus empresas de cartera, ¿las startups con fundadoras mujeres se desempeñan mejor que las que no las tienen? Hace un par de meses, una firma de capital de riesgo (casi con toda seguridad sin intención) publicó un estudio que mostraba un sesgo de este tipo. First Round Capital descubrió que entre sus empresas de cartera, las startups con fundadoras mujeres se desempeñaron mejor que las que no las tenían en un 63%.

[ 2 ]

La razón por la que comencé diciendo que esta técnica sorprendería a mucha gente es que rara vez vemos análisis de este tipo. Estoy seguro de que sorprenderá a First Round que hayan realizado uno. Dudo que alguien allí se haya dado cuenta de que al limitar su muestra a su propia cartera, estaban produciendo un estudio no de las tendencias de las startups, sino de sus propios sesgos al seleccionar empresas.

Predigo que veremos que se use más esta técnica en el futuro. La información necesaria para realizar estos estudios está cada vez más disponible. Los datos sobre quién solicita cosas suelen estar muy custodiados por las organizaciones que los seleccionan, pero hoy en día los datos sobre quién es seleccionado a menudo están disponibles públicamente para cualquiera que se tome la molestia de agruparlos.

Notas

[ 1 ] Esta técnica no funcionaría si el proceso de selección buscara cosas diferentes de diferentes tipos de solicitantes, por ejemplo, si un empleador contratara a hombres por su habilidad, pero a mujeres por su apariencia.

[ 2 ] Como señala Paul Buchheit, First Round excluyó su inversión más exitosa, Uber, del estudio. Y si bien tiene sentido excluir los valores atípicos de algunos tipos de estudios, los estudios de los rendimientos de las inversiones en startups, que se trata de alcanzar valores atípicos, no son uno de ellos.

Gracias a Sam Altman, Jessica Livingston y Geoff Ralston por leer borradores de este texto.