UMA MANEIRA DE DETECTAR VIÉS

Outubro de 2015

Isso vai surpreender muitas pessoas, mas em alguns casos é possível detectar viés em um processo de seleção sem saber nada sobre o grupo de candidatos. O que é empolgante porque, entre outras coisas, significa que terceiros podem usar essa técnica para detectar viés, quer aqueles que estão fazendo a seleção queiram ou não.

Você pode usar essa técnica sempre que (a) tiver pelo menos uma amostra aleatória dos candidatos que foram selecionados, (b) seu desempenho subsequente for medido, e (c) os grupos de candidatos que você está comparando tiverem uma distribuição de habilidades aproximadamente igual.

Como isso funciona? Pense sobre o que significa ser tendencioso. O que significa que um processo de seleção é tendencioso contra candidatos do tipo x é que é mais difícil para eles serem selecionados. O que significa que candidatos do tipo x precisam ser melhores para serem selecionados do que candidatos que não são do tipo x.

[ 1 ]

O que significa que candidatos do tipo x que conseguem passar pelo processo de seleção superarão outros candidatos bem-sucedidos. E se o desempenho de todos os candidatos bem-sucedidos for medido, você saberá se eles superam.

Claro, o teste que você usa para medir o desempenho deve ser válido. E, em particular, não deve ser invalidado pelo viés que você está tentando medir. Mas existem alguns domínios onde o desempenho pode ser medido, e nesses casos detectar viés é simples. Quer saber se o processo de seleção foi tendencioso contra algum tipo de candidato? Verifique se eles superam os outros. Isso não é apenas uma heurística para detectar viés. É o que viés significa.

Por exemplo, muitos suspeitam que as empresas de capital de risco são tendenciosas contra fundadoras mulheres. Isso seria fácil de detectar: entre suas empresas de portfólio, as startups com fundadoras mulheres superam aquelas sem? Há alguns meses, uma empresa de capital de risco (quase certamente sem querer) publicou um estudo mostrando viés desse tipo. A First Round Capital descobriu que, entre suas empresas de portfólio, as startups com fundadoras mulheres superaram aquelas sem por 63%.

[ 2 ]

A razão pela qual comecei dizendo que essa técnica surpreenderia muitas pessoas é que raramente vemos análises desse tipo. Tenho certeza de que será uma surpresa para a First Round que eles realizaram uma. Duvido que alguém lá tenha percebido que, ao limitar sua amostra ao seu próprio portfólio, estavam produzindo um estudo não sobre tendências de startups, mas sobre seus próprios vieses ao selecionar empresas.

Prevejo que veremos essa técnica sendo usada mais no futuro. As informações necessárias para conduzir tais estudos estão cada vez mais disponíveis. Dados sobre quem se candidata a coisas geralmente são cuidadosamente guardados pelas organizações que os selecionam, mas hoje em dia dados sobre quem é selecionado estão frequentemente disponíveis publicamente para qualquer um que se dê ao trabalho de agregá-los.

Notas

[ 1 ] Essa técnica não funcionaria se o processo de seleção buscasse coisas diferentes de diferentes tipos de candidatos—por exemplo, se um empregador contratasse homens com base em sua habilidade, mas mulheres com base em sua aparência.

[ 2 ] Como Paul Buchheit aponta, a First Round excluiu seu investimento mais bem-sucedido, Uber, do estudo. E embora faça sentido excluir outliers de alguns tipos de estudos, estudos de retornos de investimento em startups, que são todos sobre atingir outliers, não são um deles.

Agradecimentos a Sam Altman, Jessica Livingston e Geoff Ralston por lerem rascunhos disso.