UMA MANEIRA DE DETECTAR VIÉS

October 2015

Isso será uma surpresa para muitas pessoas, mas em alguns casos é possível detectar viés em um processo de seleção sem saber nada sobre o grupo de candidatos. O que é emocionante porque, entre outras coisas, significa que terceiros podem usar essa técnica para detectar viés, quer aqueles que fazem a seleção queiram ou não.

Você pode usar essa técnica sempre que (a) tiver pelo menos uma amostra aleatória dos candidatos que foram selecionados, (b) seu desempenho subsequente for medido e (c) os grupos de candidatos que você está comparando tiverem uma distribuição de capacidade aproximadamente igual.

Como funciona? Pense no que significa ser tendencioso. O que significa que um processo de seleção é tendencioso contra candidatos do tipo x é que é mais difícil para eles passar. O que significa que os candidatos do tipo x precisam ser melhores para serem selecionados do que os candidatos que não são do tipo x.

[ 1 ]

O que significa que os candidatos do tipo x que passam pelo processo de seleção superarão outros candidatos bem-sucedidos. E se o desempenho de todos os candidatos bem-sucedidos for medido, você saberá se eles o fazem.

Claro, o teste que você usa para medir o desempenho deve ser válido. E, em particular, ele não deve ser invalidado pelo viés que você está tentando medir. Mas existem alguns domínios onde o desempenho pode ser medido, e nesses detectar viés é direto. Quer saber se o processo de seleção foi tendencioso contra algum tipo de candidato? Verifique se eles superam os outros. Isso não é apenas uma heurística para detectar viés. É o que o viés significa.

Por exemplo, muitos suspeitam que as empresas de capital de risco são tendenciosas contra fundadoras do sexo feminino. Isso seria fácil de detectar: entre suas empresas de portfólio, as startups com fundadoras do sexo feminino superam as que não têm? Há alguns meses, uma empresa de capital de risco (quase certamente sem intenção) publicou um estudo mostrando viés desse tipo. A First Round Capital descobriu que, entre suas empresas de portfólio, as startups com fundadoras do sexo feminino superaram as que não tinham em 63%.

[ 2 ]

A razão pela qual comecei dizendo que essa técnica seria uma surpresa para muitas pessoas é que raramente vemos análises desse tipo. Tenho certeza de que será uma surpresa para a First Round que eles realizaram uma. Duvido que alguém lá percebeu que, ao limitar sua amostra ao seu próprio portfólio, eles estavam produzindo um estudo não de tendências de startups, mas de seus próprios vieses ao selecionar empresas.

Prevejo que veremos essa técnica usada mais no futuro. As informações necessárias para conduzir tais estudos estão cada vez mais disponíveis. Os dados sobre quem se candidata a coisas geralmente são mantidos em segredo pelas organizações que os selecionam, mas hoje em dia os dados sobre quem é selecionado geralmente estão disponíveis publicamente para qualquer pessoa que se dê ao trabalho de agregá-los.

Notas

[ 1 ] Essa técnica não funcionaria se o processo de seleção procurasse coisas diferentes de diferentes tipos de candidatos - por exemplo, se um empregador contratasse homens com base em sua capacidade, mas mulheres com base em sua aparência.

[ 2 ] Como Paul Buchheit aponta, a First Round excluiu seu investimento mais bem-sucedido, Uber, do estudo. E embora faça sentido excluir outliers de alguns tipos de estudos, estudos de retornos de investimentos em startups, que são todos sobre atingir outliers, não são um deles.

Obrigado a Sam Altman, Jessica Livingston e Geoff Ralston por lerem rascunhos disso.