UNA FORMA DE DETECTAR EL SESGO

October 2015

Esto será una sorpresa para mucha gente, pero en algunos casos es posible detectar el sesgo en un proceso de selección sin saber nada sobre el grupo de solicitantes. Lo cual es emocionante porque, entre otras cosas, significa que terceros pueden usar esta técnica para detectar el sesgo, ya sea que los que hacen la selección lo quieran o no.

Puedes usar esta técnica siempre que (a) tengas al menos una muestra aleatoria de los solicitantes que fueron seleccionados, (b) se mida su desempeño posterior, y (c) los grupos de solicitantes que estás comparando tengan una distribución de capacidad aproximadamente igual.

¿Cómo funciona? Piensa en lo que significa ser sesgado. Lo que significa que un proceso de selección esté sesgado contra los solicitantes de tipo x es que es más difícil para ellos pasar. Lo que significa que los solicitantes de tipo x tienen que ser mejores para ser seleccionados que los solicitantes que no son de tipo x.

[ 1 ]

Lo que significa que los solicitantes de tipo x que sí pasan el proceso de selección superarán a otros solicitantes exitosos. Y si se mide el desempeño de todos los solicitantes exitosos, sabrás si lo hacen.

Por supuesto, la prueba que uses para medir el desempeño debe ser válida. Y en particular, no debe ser invalidada por el sesgo que estás tratando de medir. Pero hay algunos dominios donde se puede medir el desempeño, y en esos detectar el sesgo es sencillo. ¿Quieres saber si el proceso de selección estaba sesgado contra algún tipo de solicitante? Comprueba si superan a los demás. Esto no es solo una heurística para detectar el sesgo. Es lo que significa el sesgo.

Por ejemplo, muchos sospechan que las empresas de capital riesgo están sesgadas contra las fundadoras. Esto sería fácil de detectar: entre sus empresas de cartera, ¿las startups con fundadoras superan a las que no las tienen? Hace un par de meses, una empresa de capital riesgo (casi con toda seguridad sin intención) publicó un estudio que mostraba un sesgo de este tipo. First Round Capital descubrió que entre sus empresas de cartera, las startups con fundadoras superaron a las que no las tenían en un 63%.

[ 2 ]

La razón por la que empecé diciendo que esta técnica sería una sorpresa para mucha gente es que rara vez vemos análisis de este tipo. Estoy seguro de que será una sorpresa para First Round que hayan realizado uno. Dudo que alguien allí se haya dado cuenta de que al limitar su muestra a su propia cartera, estaban produciendo un estudio no de las tendencias de las startups, sino de sus propios sesgos al seleccionar empresas.

Predigo que veremos esta técnica utilizada más en el futuro. La información necesaria para realizar estos estudios está cada vez más disponible. Los datos sobre quién solicita cosas suelen estar estrechamente guardados por las organizaciones que los seleccionan, pero hoy en día los datos sobre quién es seleccionado a menudo están disponibles públicamente para cualquiera que se tome la molestia de agregarlos.

Notas

[ 1 ] Esta técnica no funcionaría si el proceso de selección buscara cosas diferentes de diferentes tipos de solicitantes, por ejemplo, si un empleador contratara hombres en función de su capacidad, pero mujeres en función de su apariencia.

[ 2 ] Como señala Paul Buchheit, First Round excluyó su inversión más exitosa, Uber, del estudio. Y si bien tiene sentido excluir los valores atípicos de algunos tipos de estudios, los estudios de los rendimientos de la inversión en startups, que se basan en alcanzar valores atípicos, no son uno de ellos.

Gracias a Sam Altman, Jessica Livingston y Geoff Ralston por leer los borradores de esto.