UM MODO DE DETECTAR VIÉS

Outubro de 2015

Isso vai surpreender muita gente, mas em alguns casos é possível detectar viés em um processo de seleção sem saber nada sobre o pool de candidatos. O que é emocionante porque, entre outras coisas, significa que terceiros podem usar essa técnica para detectar viés, quer aqueles que estão fazendo a seleção queiram ou não.

Você pode usar essa técnica sempre que (a) você tiver pelo menos uma amostra aleatória dos candidatos selecionados, (b) o desempenho subsequente deles for medido e (c) os grupos de candidatos que você está comparando tiverem distribuição de habilidade aproximadamente igual.

Como isso funciona? Pense no que significa ser tendencioso. O que significa para um processo de seleção ser tendencioso contra candidatos do tipo x é que é mais difícil para eles passarem. O que significa que os candidatos do tipo x precisam ser melhores para serem selecionados do que os candidatos que não são do tipo x.

[ 1 ]

O que significa que os candidatos do tipo x que conseguem passar pelo processo de seleção terão um desempenho melhor do que outros candidatos bem-sucedidos. E se o desempenho de todos os candidatos bem-sucedidos for medido, você saberá se eles o fazem.

Claro, o teste que você usa para medir o desempenho deve ser válido. E, em particular, não deve ser invalidado pelo viés que você está tentando medir. Mas existem alguns domínios onde o desempenho pode ser medido e, nesses casos, detectar o viés é simples. Quer saber se o processo de seleção foi tendencioso contra algum tipo de candidato? Verifique se eles superam os outros. Isso não é apenas uma heurística para detectar viés. É o que significa viés.

Por exemplo, muitos suspeitam que as empresas de capital de risco têm viés contra fundadoras do sexo feminino. Isso seria fácil de detectar: entre suas empresas do portfólio, as startups com fundadoras do sexo feminino têm um desempenho melhor do que aquelas sem? Há alguns meses, uma empresa de capital de risco (quase certamente sem intenção) publicou um estudo mostrando esse tipo de viés. A First Round Capital descobriu que, entre suas empresas do portfólio, as startups com fundadoras do sexo feminino superaram aquelas sem em 63%.

[ 2 ]

A razão pela qual comecei dizendo que essa técnica surpreenderia muitas pessoas é que raramente vemos análises desse tipo. Tenho certeza de que isso surpreenderá a First Round que eles realizaram uma. Duvido que alguém lá tenha percebido que, ao limitar sua amostra a seu próprio portfólio, eles estavam produzindo um estudo não sobre tendências de startups, mas sobre seus próprios vieses ao selecionar empresas.

Eu prevejo que veremos essa técnica sendo usada mais no futuro. As informações necessárias para realizar tais estudos estão cada vez mais disponíveis. Dados sobre quem se candidata a coisas geralmente são cuidadosamente guardados pelas organizações que os selecionam, mas atualmente os dados sobre quem é selecionado estão muitas vezes publicamente disponíveis para qualquer um que se dê ao trabalho de agregá-los.

Notas

[ 1 ] Essa técnica não funcionaria se o processo de seleção procurasse coisas diferentes de diferentes tipos de candidatos - por exemplo, se um empregador contratasse homens com base em sua habilidade, mas mulheres com base em sua aparência.

[ 2 ] Como Paul Buchheit aponta, a First Round excluiu seu investimento mais bem-sucedido, a Uber, do estudo. E, embora faça sentido excluir outliers de alguns tipos de estudos, estudos sobre retornos de investimento em startups, que é tudo sobre atingir outliers, não são um deles.

Agradecimentos a Sam Altman, Jessica Livingston e Geoff Ralston por lerem rascunhos deste texto.