UMA MANEIRA DE DETECTAR PRECONCEITOS
OriginalOutubro de 2015
Isso pode ser uma surpresa para muitas pessoas, mas em alguns casos é possível detectar viés em um processo de seleção sem saber nada sobre o grupo de candidatos. O que é empolgante porque, entre outras coisas, significa que terceiros podem usar essa técnica para detectar viés, quer aqueles que estão fazendo a seleção queiram ou não.
Você pode usar essa técnica sempre que (a) tiver pelo menos uma amostra aleatória dos candidatos selecionados, (b) seu desempenho subsequente for medido e (c) os grupos de candidatos que você está comparando tiverem distribuição de habilidade aproximadamente igual.
Como funciona? Pense no que significa ser tendencioso. O que significa para um processo de seleção ser tendencioso contra candidatos do tipo x é que é mais difícil para eles passarem. O que significa que candidatos do tipo x têm que ser melhores para serem selecionados do que candidatos que não são do tipo x.
[ 1 ]
O que significa que os candidatos do tipo x que passarem pelo processo de seleção terão melhor desempenho do que outros candidatos bem-sucedidos. E se o desempenho de todos os candidatos bem-sucedidos for medido, você saberá se eles passarem.
Claro, o teste que você usa para medir o desempenho deve ser válido. E, em particular, não deve ser invalidado pelo viés que você está tentando medir. Mas há alguns domínios onde o desempenho pode ser medido, e nesses, detectar o viés é simples. Quer saber se o processo de seleção foi tendencioso contra algum tipo de candidato? Verifique se eles superam os outros. Isso não é apenas uma heurística para detectar viés. É o que viés significa.
Por exemplo, muitos suspeitam que as empresas de capital de risco são tendenciosas contra fundadoras mulheres. Isso seria fácil de detectar: entre as empresas de seu portfólio, as startups com fundadoras mulheres superam aquelas sem? Alguns meses atrás, uma empresa de capital de risco (quase certamente não intencionalmente) publicou um estudo mostrando viés desse tipo. A First Round Capital descobriu que, entre as empresas de seu portfólio, as startups com fundadoras mulheres superavam aquelas sem em 63%.
[ 2 ]
A razão pela qual comecei dizendo que essa técnica seria uma surpresa para muitas pessoas é que raramente vemos análises desse tipo. Tenho certeza de que será uma surpresa para a First Round que eles tenham feito uma. Duvido que alguém ali tenha percebido que, ao limitar sua amostra ao seu próprio portfólio, eles estavam produzindo um estudo não de tendências de startups, mas de seus próprios preconceitos ao selecionar empresas.
Prevejo que veremos essa técnica mais usada no futuro. As informações necessárias para conduzir tais estudos estão cada vez mais disponíveis. Dados sobre quem se candidata a coisas geralmente são bem guardados pelas organizações que os selecionam, mas hoje em dia dados sobre quem é selecionado geralmente estão disponíveis publicamente para qualquer um que se dê ao trabalho de agregá-los.
Notas
[ 1 ] Esta técnica não funcionaria se o processo de seleção procurasse coisas diferentes em diferentes tipos de candidatos — por exemplo, se um empregador contratasse homens com base na sua capacidade, mas mulheres com base na sua aparência.
[ 2 ] Como Paul Buchheit aponta, a First Round excluiu seu investimento mais bem-sucedido, a Uber, do estudo. E embora faça sentido excluir outliers de alguns tipos de estudos, estudos de retornos de investimentos em startups, que são todos sobre atingir outliers, não são um deles.
Obrigado a Sam Altman, Jessica Livingston e Geoff Ralston pela leitura dos rascunhos.