A LIÇÃO PARA DESAPRENDER

Dezembro de 2019

A coisa mais danosa que você aprendeu na escola não foi algo que aprendeu em nenhuma aula específica. Foi aprender a tirar boas notas.

Quando eu estava na faculdade, um estudante de pós-graduação em filosofia particularmente sério me disse uma vez que ele nunca se importou com a nota que tirava em uma aula, apenas com o que aprendia nela. Isso ficou na minha mente porque foi a única vez que ouvi alguém dizer algo assim.

Para mim, como para a maioria dos alunos, a medida do que eu estava aprendendo dominava completamente a aprendizagem real na faculdade. Eu era bastante sério; eu estava genuinamente interessado na maioria das aulas que fiz, e eu trabalhava duro. E ainda assim eu trabalhava muito mais quando estava estudando para um teste.

Na teoria, os testes são apenas o que seus nomes implicam: testes do que você aprendeu na aula. Na teoria, você não deveria ter que se preparar para um teste em uma aula mais do que você tem que se preparar para um exame de sangue. Na teoria, você aprende ao fazer a aula, ao ir às aulas e fazer a leitura e/ou os trabalhos de casa, e o teste que vem depois apenas mede o quão bem você aprendeu.

Na prática, como quase todos que estão lendo isso saberão, as coisas são tão diferentes que ouvir essa explicação de como as aulas e os testes devem funcionar é como ouvir a etimologia de uma palavra cujo significado mudou completamente. Na prática, a frase "estudar para um teste" era quase redundante, porque era quando se estudava de verdade. A diferença entre alunos diligentes e preguiçosos era que os primeiros estudavam muito para os testes e os últimos não. Ninguém ficava acordado a noite toda duas semanas depois do início do semestre.

Embora eu fosse um aluno diligente, quase todo o trabalho que eu fazia na escola era direcionado para tirar uma boa nota em algo.

Para muitas pessoas, pareceria estranho que a frase anterior tenha um "embora" nela. Não estou apenas afirmando uma tautologia? Não é isso que um aluno diligente é, um aluno que tira notas altas? É assim que a confusão entre aprendizagem e notas se infiltrou profundamente em nossa cultura.

É tão ruim se a aprendizagem for confundida com notas? Sim, é ruim. E não foi até décadas depois da faculdade, quando eu estava dirigindo a Y Combinator, que eu percebi o quão ruim é.

Eu sabia, é claro, quando eu era estudante que estudar para um teste é longe de ser idêntico à aprendizagem real. No mínimo, você não retém o conhecimento que você enfiou na cabeça na noite anterior a um exame. Mas o problema é pior do que isso. O problema real é que a maioria dos testes não chega perto de medir o que deveriam.

Se os testes realmente fossem testes de aprendizagem, as coisas não seriam tão ruins. Tirar boas notas e aprender convergiriam, apenas um pouco tarde. O problema é que quase todos os testes dados aos alunos são terrivelmente hackeaveis. A maioria das pessoas que tiraram boas notas sabe disso, e sabe tão bem que deixaram de questionar. Você verá quando perceber o quão ingênuo parece agir de outra forma.

Suponha que você está fazendo uma aula sobre história medieval e o exame final está chegando. O exame final é para ser um teste do seu conhecimento de história medieval, certo? Então, se você tiver um par de dias entre agora e o exame, certamente a melhor maneira de passar o tempo, se você quiser se sair bem no exame, é ler os melhores livros que você puder encontrar sobre história medieval. Então você saberá muito sobre isso, e se sairá bem no exame.

Não, não, não, os alunos experientes estão dizendo a si mesmos. Se você apenas ler bons livros sobre história medieval, a maioria das coisas que você aprendeu não estaria no teste. Não são bons livros que você quer ler, mas as notas de aula e a leitura atribuída nesta aula. E até mesmo a maioria disso você pode ignorar, porque você só precisa se preocupar com o tipo de coisa que pode aparecer como uma questão de teste. Você está procurando pedaços de informação bem definidos. Se um das leituras atribuídas tem uma digressão interessante sobre algum ponto sutil, você pode ignorar isso com segurança, porque não é o tipo de coisa que pode ser transformada em uma questão de teste. Mas se o professor lhe disser que houve três causas subjacentes do Cisma de 1378, ou três consequências principais da Peste Negra, você melhor saber. E se elas foram de fato as causas ou consequências é irrelevante. Para os fins desta aula elas são.

Em uma universidade, muitas vezes há cópias de exames antigos circulando, e isso restringe ainda mais o que você tem que aprender. Além de aprender que tipo de perguntas esse professor faz, você muitas vezes obterá questões reais do exame. Muitos professores os reutilizam. Depois de ensinar uma aula por 10 anos, seria difícil não fazê-lo, pelo menos inadvertidamente.

Em algumas aulas, seu professor terá tido algum tipo de política machado para moer, e se for esse o caso, você também terá que moer. A necessidade disso varia. Em aulas de matemática ou ciências duras ou engenharia raramente é necessário, mas na outra ponta do espectro existem aulas em que você não conseguiria uma boa nota sem isso.

Tirar uma boa nota em uma aula sobre x é tão diferente de aprender muito sobre x que você tem que escolher um ou outro, e você não pode culpar os alunos se eles escolherem notas. Todos os julgam por suas notas - programas de pós-graduação, empregadores, bolsas de estudo, até seus próprios pais.

Eu gostava de aprender, e realmente gostei de alguns dos trabalhos e programas que escrevi na faculdade. Mas eu já, depois de entregar um trabalho em alguma aula, sentei e escrevi outro só por diversão? Claro que não. Eu tinha coisas para entregar em outras aulas. Se alguma vez chegasse a uma escolha entre aprender ou notas, eu escolhia notas. Eu não tinha vindo para a faculdade para me sair mal.

Qualquer um que se preocupe em tirar boas notas tem que jogar esse jogo, ou será superado por aqueles que o fazem. E em universidades de elite, isso significa quase todos, já que alguém que não se importava com tirar boas notas provavelmente não estaria lá em primeiro lugar. O resultado é que os alunos competem para maximizar a diferença entre aprender e tirar boas notas.

Por que os testes são tão ruins? Mais precisamente, por que eles são tão hackeaveis? Qualquer programador experiente poderia responder a isso. Quão hackeavel é um software cujo autor não deu nenhuma atenção para evitar que ele fosse hackeado? Normalmente é tão poroso quanto um coador.

Hackeavel é o padrão para qualquer teste imposto por uma autoridade. O motivo pelo qual os testes que você recebe são tão consistentemente ruins - tão consistentemente longe de medir o que deveriam medir - é simplesmente que as pessoas que os criam não se esforçaram muito para evitar que fossem hackeados.

Mas você não pode culpar os professores se seus testes forem hackeaveis. O trabalho deles é ensinar, não criar testes inquebráveis. O problema real são as notas, ou mais precisamente, que as notas foram sobrecarregadas. Se as notas fossem apenas uma forma dos professores dizerem aos alunos o que eles estavam fazendo certo e errado, como um treinador dando conselhos a um atleta, os alunos não seriam tentados a hackear os testes. Mas infelizmente depois de certa idade, as notas se tornam mais do que conselhos. Depois de certa idade, sempre que você está sendo ensinado, você também está sendo julgado.

Eu usei testes universitários como exemplo, mas esses são na verdade os menos hackeaveis. Todos os testes que a maioria dos alunos faz durante toda a vida são pelo menos tão ruins, incluindo, de forma mais espetacular, o teste que os coloca na faculdade. Se entrar na faculdade fosse apenas uma questão de ter a qualidade da mente medida pelos oficiais de admissão da mesma forma que os cientistas medem a massa de um objeto, poderíamos dizer aos adolescentes "aprenda muito" e deixar por isso mesmo. Você pode dizer o quão ruins são as admissões na faculdade, como um teste, por quão diferente do ensino médio isso soa. Na prática, a natureza estranhamente específica das coisas que as crianças ambiciosas têm que fazer no ensino médio é diretamente proporcional à hackeabilidade das admissões na faculdade. As aulas que você não se importa que sejam principalmente de memorização, as aleatórias "atividades extracurriculares" em que você tem que participar para mostrar que você é "bem-arredondado", os testes padronizados tão artificiais quanto o xadrez, a "redação" que você tem que escrever que presumivelmente é para atingir algum alvo muito específico, mas você não sabe qual.

Além de ser ruim no que faz com as crianças, esse teste também é ruim no sentido de ser muito hackeavel. Tão hackeavel que indústrias inteiras cresceram para hackea-lo. Este é o propósito explícito das empresas de preparação para testes e conselheiros de admissão, mas também é uma parte significativa da função das escolas particulares.

Por que esse teste em particular é tão hackeavel? Acho que por causa do que está medindo. Embora a história popular seja que a maneira de entrar em uma boa faculdade é ser realmente inteligente, os oficiais de admissão em faculdades de elite nem são, nem afirmam ser, procurando apenas por isso. O que eles estão procurando? Eles estão procurando pessoas que não são simplesmente inteligentes, mas admiráveis em algum sentido mais geral. E como essa admirabilidade mais geral é medida? Os oficiais de admissão sentem isso. Em outras palavras, eles aceitam quem eles gostam.

Então, o que as admissões na faculdade são um teste de é se você se encaixa no gosto de algum grupo de pessoas. Bem, é claro que um teste como esse vai ser hackeavel. E porque é muito hackeavel e há (pensado para ser) muito em jogo, é hackeado como nada mais. É por isso que distorce sua vida tanto por tanto tempo.

Não é de admirar que os alunos do ensino médio muitas vezes se sintam alienados. A forma de suas vidas é completamente artificial.

Mas perder seu tempo não é a pior coisa que o sistema educacional faz com você. A pior coisa que ele faz é treiná-lo para que a maneira de vencer é hackear testes ruins. Este é um problema muito mais sutil que eu não reconheci até ver isso acontecendo com outras pessoas.

Quando comecei a aconselhar fundadores de startups na Y Combinator, especialmente os mais jovens, fiquei intrigado com a forma como eles sempre pareciam tornar as coisas muito complicadas. Como, eles perguntariam, você levanta dinheiro? Qual é o truque para fazer os investidores de capital de risco quererem investir em você? A melhor maneira de fazer os VCs quererem investir em você, eu explicaria, é realmente ser um bom investimento. Mesmo que você pudesse enganar os VCs a investir em uma startup ruim, você também estaria se enganando. Você está investindo tempo na mesma empresa que está pedindo a eles para investir dinheiro. Se não for um bom investimento, por que você está fazendo isso?

Ah, eles diriam, e então depois de uma pausa para digerir essa revelação, eles perguntariam: O que torna uma startup um bom investimento?

Então eu explicaria que o que torna uma startup promissora, não apenas aos olhos dos investidores, mas na verdade, é crescimento. Idealmente em receita, mas na falta disso em uso. O que eles precisavam fazer era conseguir muitos usuários.

Como se consegue muitos usuários? Eles tinham todos os tipos de ideias sobre isso. Eles precisavam fazer um grande lançamento que os fizesse "expostos". Eles precisavam de pessoas influentes para falar sobre eles. Eles até sabiam que precisavam lançar em uma terça-feira, porque é quando se consegue mais atenção.

Não, eu explicaria, essa não é a maneira de conseguir muitos usuários. A maneira como você consegue muitos usuários é tornar o produto realmente ótimo. Então as pessoas não apenas o usarão, mas o recomendarão aos seus amigos, então seu crescimento será exponencial assim que você começar.

Neste ponto, eu disse aos fundadores algo que você pensaria que seria completamente óbvio: que eles deveriam fazer uma boa empresa fazendo um bom produto. E ainda assim, sua reação seria algo como a reação que muitos físicos devem ter tido quando ouviram pela primeira vez sobre a teoria da relatividade: uma mistura de espanto com seu aparente gênio, combinado com a suspeita de que algo tão estranho não poderia estar certo. Ok, eles diriam, obedientemente. E você poderia nos apresentar a tal e tal pessoa influente? E lembre-se, queremos lançar na terça-feira.

Às vezes, os fundadores levavam anos para entender essas lições simples. E não porque eles eram preguiçosos ou estúpidos. Eles apenas pareciam cegos para o que estava bem na frente deles.

Por que, eu me perguntava, eles sempre tornam as coisas tão complicadas? E então um dia eu percebi que essa não era uma pergunta retórica.

Por que os fundadores se amarravam em nós fazendo as coisas erradas quando a resposta estava bem na frente deles? Porque era isso que eles tinham sido treinados para fazer. Sua educação os havia ensinado que o caminho para vencer era hackear o teste. E sem nem mesmo dizer a eles que estavam sendo treinados para fazer isso. Os mais jovens, os recém-formados, nunca tinham enfrentado um teste não artificial. Eles achavam que era assim que o mundo funcionava: que a primeira coisa que você fazia, ao enfrentar qualquer tipo de desafio, era descobrir qual era o truque para hackear o teste. É por isso que a conversa sempre começava com como levantar dinheiro, porque isso parecia ser o teste. Ele veio no final do YC. Ele tinha números anexados a ele, e números mais altos pareciam ser melhores. Deve ser o teste.

Existem certamente grandes pedaços do mundo onde a maneira de vencer é hackear o teste. Esse fenômeno não se limita às escolas. E algumas pessoas, seja por ideologia ou ignorância, afirmam que isso é verdade para startups também. Mas não é. Na verdade, uma das mais coisas impressionantes sobre startups é o grau em que você vence simplesmente fazendo um bom trabalho. Existem casos de borda, como existem em qualquer coisa, mas em geral você vence obtendo usuários, e o que os usuários se importam é se o produto faz o que eles querem.

Por que demorei tanto para entender por que os fundadores tornavam as startups muito complicadas? Porque eu não havia percebido explicitamente que as escolas nos treinam para vencer hackear testes ruins. E não apenas eles, mas eu! Eu também fui treinado para hackear testes ruins, e não percebi até décadas depois.

Eu tinha vivido como se tivesse percebido, mas sem saber porquê. Para exemplo, eu havia evitado trabalhar para grandes empresas. Mas se você tivesse perguntado por que, eu teria dito que era porque elas eram falsas, ou burocráticas. Ou simplesmente nojento. Eu nunca entendi o quanto da minha aversão a grandes empresas era devido ao fato de que você vence hackear testes ruins.

Da mesma forma, o fato de que os testes eram inquebráveis era muito do que me atraiu às startups. Mas novamente, eu não havia percebido isso explicitamente.

Eu havia, na verdade, alcançado por aproximações sucessivas algo que pode ter uma solução de forma fechada. Eu havia gradualmente desfeito meu treinamento em hackear testes ruins sem saber que estava fazendo isso. Poderia alguém que sai da escola banir esse demônio apenas conhecendo seu nome, e dizendo vá embora? Parece valer a pena tentar.

Simplesmente falar explicitamente sobre esse fenômeno provavelmente tornará as coisas melhores, porque muito de seu poder vem do fato de que nós o damos como certo. Depois que você percebeu, parece o elefante na sala, mas é um elefante bem camuflado. O fenômeno é tão antigo, e tão generalizado. E é simplesmente o resultado da negligência. Ninguém queria que as coisas fossem assim. Isso é apenas o que acontece quando você combina aprendizagem com notas, competição, e a suposição ingênua de inquebrabilidade.

Foi alucinante perceber que duas das coisas que mais me intrigaram - a falsidade do ensino médio, e a dificuldade de fazer os fundadores verem o óbvio - ambas tinham a mesma causa. É raro que um bloco tão grande deslize para o lugar tão tarde.

Normalmente, quando isso acontece, tem implicações em muitas áreas diferentes, e este caso parece não ser exceção. Por exemplo, sugere tanto que a educação poderia ser feita melhor, e como você poderia consertá-la. Mas também sugere uma resposta potencial para a pergunta que todas as grandes empresas parecem ter: como podemos ser mais como uma startup? Eu não vou perseguir todas as implicações agora. O que quero focar aqui é o que significa para os indivíduos.

Para começar, significa que a maioria das crianças ambiciosas que se formam na faculdade tem algo que talvez queira desaprender. Mas também muda como você olha para o mundo. Em vez de olhar para todos os diferentes tipos de trabalho que as pessoas fazem e pensar neles vagamente como mais ou menos atraentes, você agora pode fazer uma pergunta muito específica que irá classificá-los de uma forma interessante: em que medida você vence neste tipo de trabalho hackear testes ruins?

Seria útil se houvesse uma maneira de reconhecer testes ruins rapidamente. Existe um padrão aqui? Acontece que sim.

Os testes podem ser divididos em dois tipos: aqueles que são impostos por autoridades, e aqueles que não são. Os testes que não são impostos por autoridades são inerentemente inquebráveis, no sentido de que ninguém está afirmando que são testes de algo mais do que realmente testam. A partida de futebol, por exemplo, é simplesmente um teste de quem vence, não qual time é melhor. Você pode dizer isso pelo fato de que os comentaristas às vezes dizem depois que o time melhor venceu. Enquanto os testes impostos por autoridades geralmente são proxies para outra coisa. A prova em uma aula é para medir não apenas o quão bem você se saiu naquela prova em particular, mas o quanto você aprendeu na aula. Enquanto os testes que não são impostos por autoridades são inerentemente inquebráveis, aqueles impostos por autoridades têm que ser tornados inquebráveis. Normalmente eles não são. Então, como uma primeira aproximação, testes ruins são equivalentes a testes impostos por autoridades.

Você pode realmente gostar de vencer hackear testes ruins. Presumivelmente algumas pessoas fazem. Mas aposto que a maioria das pessoas que se veem fazendo esse tipo de trabalho não gosta. Eles simplesmente dão como certo que é assim que o mundo funciona, a menos que você queira abandonar tudo e ser algum tipo de artesão hippie.

Suspeito que muitas pessoas implicitamente assumem que trabalhar em um campo com testes ruins é o preço de ganhar muito dinheiro. Mas isso, posso dizer a você, é falso. Já foi verdade. Na metade do século XX, quando a economia era composta por oligopólios, a única maneira para o topo era jogando o jogo deles. Mas não é verdade agora. Existem agora maneiras de ficar rico fazendo um bom trabalho, e essa é parte do motivo pelo qual as pessoas estão muito mais animadas em ficar ricas do que costumavam ser. Quando eu era criança, você podia se tornar um engenheiro e fazer coisas legais, ou ganhar muito dinheiro se tornando um "executivo". Agora você pode ganhar muito dinheiro fazendo coisas legais.

Hackear testes ruins está se tornando menos importante à medida que o vínculo entre trabalho e autoridade erode. A erosão desse vínculo é uma das tendências mais importantes que estão acontecendo agora, e vemos seus efeitos em quase todos os tipos de trabalho que as pessoas fazem. As startups são um dos mais exemplos visíveis, mas vemos algo muito parecido na escrita. Escritores não precisam mais se submeter a editores e editores para alcançar os leitores; agora eles podem ir direto.

Quanto mais penso sobre essa questão, mais otimista fico. Isso parece uma dessas situações em que não percebemos o quanto algo estava nos segurando até que seja eliminado. E posso prever toda a estrutura falsa desmoronando. Imagine o que acontece quando cada vez mais pessoas começam a se perguntar se querem vencer hackear testes ruins, e decidem que não. Os tipos de trabalho em que você vence hackear testes ruins serão privados de talento, e os tipos em que você vence fazendo um bom trabalho verão um influxo das pessoas mais ambiciosas. E à medida que hackear testes ruins diminui em importância, a educação evoluirá para parar de nos treinar para fazer isso. Imagine como o mundo poderia ser se isso acontecesse.

Esta não é apenas uma lição para os indivíduos desaprenderem, mas uma para a sociedade desaprender, e ficaremos surpresos com a energia que será liberada quando o fizermos.

Notas

[1] Se usar testes apenas para medir a aprendizagem soa impossivelmente utópico, essa já é a forma como as coisas funcionam na Lambda School. A Lambda School não tem notas. Você se forma ou não. O único propósito dos testes é decidir em cada etapa do currículo se você pode continuar para o próximo. Então, na verdade, toda a escola é aprovado/reprovado.

[2] Se o exame final consistisse em uma longa conversa com o professor, você poderia se preparar para ele lendo bons livros sobre história medieval. Muita da hackeabilidade dos testes nas escolas se deve ao fato de que o mesmo teste tem que ser dado para um grande número de alunos.

[3] A aprendizagem é o algoritmo ingênuo para tirar boas notas.

[4] Hackear tem múltiplos sentidos. Existe um sentido estreito em que significa comprometer algo. Esse é o sentido em que se hackea um teste ruim. Mas existe outro sentido mais geral, significando encontrar uma solução surpreendente para um problema, muitas vezes pensando diferentemente sobre ele. Hackear nesse sentido é uma coisa maravilhosa. E de fato, alguns dos hacks que as pessoas usam em testes ruins são impressionantemente engenhosos; o problema não é tanto o hackear quanto que, porque os testes são hackeaveis, eles não testam o que deveriam.

[5] As pessoas que escolhem startups na Y Combinator são semelhantes a oficiais de admissão, exceto que, em vez de serem arbitrários, seus critérios de aceitação são treinados por um loop de feedback muito apertado. Se você aceitar uma startup ruim ou rejeitar uma boa, você geralmente saberá disso em um ano ou dois no máximo, e muitas vezes em um mês.

[6] Tenho certeza de que os oficiais de admissão estão cansados de ler inscrições de crianças que parecem não ter personalidade além de estarem dispostas a parecer como deveriam parecer para serem aceitas. O que eles não percebem é que estão, em certo sentido, olhando para um espelho. A falta de autenticidade nos candidatos é um reflexo da arbitrariedade do processo de inscrição. Um ditador poderia muito bem reclamar da falta de autenticidade das pessoas ao seu redor.

[7] Por bom trabalho, não quero dizer moralmente bom, mas bom no sentido em que um bom artesão faz um bom trabalho.

[8] Existem casos de fronteira em que é difícil dizer qual categoria um teste se encaixa. Por exemplo, levantar capital de risco é como admissões na faculdade, ou é como vender para um cliente?

[9] Observe que um bom teste é simplesmente um que é inquebrável. Bom aqui não significa moralmente bom, mas bom no sentido de funcionar bem. A diferença entre campos com testes ruins e bons é que os primeiros são falsos e os últimos não. Mas essas duas medidas não são irrelevantes. Como Tara Ploughman disse, o caminho do bem para o mal passa pelo falso.

[10] As pessoas que pensam que o recente aumento na desigualdade econômica é devido a mudanças na política tributária parecem muito ingênuas para qualquer um com experiência em startups. Pessoas diferentes estão ficando ricas agora do que costumavam, e estão ficando muito mais ricas do que meras economias de impostos poderiam fazê-las.

[11] Nota para pais tigres: você pode pensar que está treinando seus filhos para vencer, mas se você está treinando-os para vencer hackear testes ruins, você está, como os pais costumam fazer, treinando-os para lutar na última guerra.

Obrigado a Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris e Harj Taggar por lerem rascunhos disso.