UNA FORMA DE DETECTAR SESGO

October 2015

Esto sorprenderá a muchas personas, pero en algunos casos es posible detectar sesgo en un proceso de selección sin saber nada sobre el grupo de solicitantes. Lo cual es emocionante porque, entre otras cosas, significa que terceros pueden usar esta técnica para detectar sesgo, quieran o no quienes están haciendo la selección.

Puedes usar esta técnica siempre que (a) tengas al menos una muestra aleatoria de los solicitantes que fueron seleccionados, (b) su rendimiento posterior sea medido, y (c) los grupos de solicitantes que estás comparando tengan una distribución de habilidades aproximadamente igual.

¿Cómo funciona? Piensa en lo que significa estar sesgado. Lo que significa que un proceso de selección esté sesgado en contra de los solicitantes del tipo x es que es más difícil para ellos salir adelante. Lo que significa que los solicitantes del tipo x tienen que ser mejores para ser seleccionados que los solicitantes que no son del tipo x.

[ 1 ]

Lo que significa que los solicitantes del tipo x que logran pasar por el proceso de selección superarán a otros solicitantes exitosos. Y si se mide el rendimiento de todos los solicitantes exitosos, sabrás si lo hacen.

Por supuesto, la prueba que uses para medir el rendimiento debe ser válida. Y en particular, no debe ser invalidada por el sesgo que estás tratando de medir. Pero hay algunos dominios donde el rendimiento puede ser medido, y en esos casos detectar sesgo es sencillo. ¿Quieres saber si el proceso de selección estuvo sesgado en contra de algún tipo de solicitante? Verifica si superan a los demás. Esto no es solo una heurística para detectar sesgo. Es lo que significa el sesgo.

Por ejemplo, muchos sospechan que las firmas de capital de riesgo están sesgadas en contra de las fundadoras mujeres. Esto sería fácil de detectar: entre sus empresas en cartera, ¿las startups con fundadoras mujeres superan a las que no las tienen? Hace un par de meses, una firma de capital de riesgo (casi con certeza de manera no intencionada) publicó un estudio que mostraba sesgo de este tipo. First Round Capital encontró que entre sus empresas en cartera, las startups con fundadoras mujeres superaron a las que no las tenían por un 63%.

[ 2 ]

La razón por la que comencé diciendo que esta técnica sorprendería a muchas personas es que rara vez vemos análisis de este tipo. Estoy seguro de que sorprenderá a First Round que realizaron uno. Dudo que alguien allí se diera cuenta de que al limitar su muestra a su propia cartera, estaban produciendo un estudio no de tendencias de startups, sino de sus propios sesgos al seleccionar empresas.

Predigo que veremos esta técnica utilizada más en el futuro. La información necesaria para llevar a cabo tales estudios está cada vez más disponible. Los datos sobre quién solicita cosas suelen estar muy protegidos por las organizaciones que los seleccionan, pero hoy en día los datos sobre quién es seleccionado a menudo están disponibles públicamente para cualquiera que se tome la molestia de agregarlos.

Notas

[ 1 ] Esta técnica no funcionaría si el proceso de selección buscara cosas diferentes de diferentes tipos de solicitantes; por ejemplo, si un empleador contratara hombres en función de su capacidad pero a mujeres en función de su apariencia.

[ 2 ] Como señala Paul Buchheit, First Round excluyó su inversión más exitosa, Uber, del estudio. Y aunque tiene sentido excluir valores atípicos de algunos tipos de estudios, los estudios de retornos de la inversión en startups, que se centran en encontrar valores atípicos, no son uno de ellos.

Gracias a Sam Altman, Jessica Livingston y Geoff Ralston por leer borradores de esto.