A LIÇÃO A DESAPRENDER

Dezembro de 2019

A coisa mais prejudicial que você aprendeu na escola não foi algo que você aprendeu em nenhuma aula específica. Foi aprender a tirar boas notas.

Quando eu estava na faculdade, um aluno de pós-graduação em filosofia particularmente sério uma vez me disse que ele nunca se importava com a nota que tirava em uma aula, apenas com o que aprendia nela. Isso ficou na minha mente porque foi a única vez que ouvi alguém dizer tal coisa.

Para mim, assim como para a maioria dos estudantes, a medição do que eu estava aprendendo dominou completamente o aprendizado real na faculdade. Eu era bastante sério; eu estava genuinamente interessado na maioria das aulas que eu tinha, e eu trabalhava duro. E ainda assim eu trabalhava muito mais duro quando eu estava estudando para um teste.

Em teoria, os testes são meramente o que o nome indica: testes do que você aprendeu na aula. Em teoria, você não deveria ter que se preparar para um teste em uma aula mais do que você tem que se preparar para um exame de sangue. Em teoria, você aprende fazendo as aulas, indo às palestras e fazendo as leituras e/ou tarefas, e o teste que vem depois apenas mede o quão bem você aprendeu.

Na prática, como quase todos os que estão lendo isso sabem, as coisas são tão diferentes que ouvir essa explicação de como as aulas e os testes devem funcionar é como ouvir a etimologia de uma palavra cujo significado mudou completamente. Na prática, a frase "estudar para um teste" era quase redundante, porque era quando se estudava de verdade. A diferença entre alunos diligentes e preguiçosos era que os primeiros estudavam muito para os testes e os últimos não. Ninguém estava virando a noite duas semanas depois do início do semestre.

Embora eu fosse um aluno aplicado, quase todo o trabalho que fiz na escola tinha como objetivo tirar uma boa nota em alguma coisa.

Para muitas pessoas, pareceria estranho que a frase anterior tenha um "embora". Não estou apenas afirmando uma tautologia? Não é isso que um aluno diligente é, um aluno nota A? É assim que a confusão entre aprendizado e notas infundiu profundamente nossa cultura.

É tão ruim se o aprendizado for confundido com notas? Sim, é ruim. E foi só décadas depois da faculdade, quando eu estava dirigindo o Y Combinator, que percebi o quão ruim isso é.

Eu sabia, é claro, quando eu era estudante, que estudar para uma prova está longe de ser idêntico ao aprendizado real. No mínimo, você não retém o conhecimento que enfia na cabeça na noite anterior a uma prova. Mas o problema é pior do que isso. O problema real é que a maioria das provas não chega nem perto de medir o que deveriam.

Se os testes fossem realmente testes de aprendizado, as coisas não seriam tão ruins. Tirar boas notas e aprender convergiriam, só um pouco tarde. O problema é que quase todos os testes dados aos alunos são terrivelmente hackeáveis. A maioria das pessoas que tiraram boas notas sabe disso, e sabe tão bem que parou até de questionar. Você verá quando perceber o quão ingênuo parece agir de outra forma.

Suponha que você esteja fazendo uma aula sobre história medieval e o exame final esteja chegando. O exame final deve ser um teste do seu conhecimento de história medieval, certo? Então, se você tem alguns dias entre agora e o exame, certamente a melhor maneira de passar o tempo, se você quer se sair bem no exame, é ler os melhores livros que você puder encontrar sobre história medieval. Então você saberá muito sobre isso e se sairá bem no exame.

Não, não, não, alunos experientes estão dizendo a si mesmos. Se você apenas ler bons livros sobre história medieval, a maioria das coisas que você aprendeu não estariam no teste. Não são bons livros que você quer ler, mas as notas de aula e a leitura designada nesta aula. E mesmo a maioria disso você pode ignorar, porque você só tem que se preocupar com o tipo de coisa que pode aparecer como uma questão de teste. Você está procurando por pedaços de informação nitidamente definidos. Se uma das leituras designadas tiver uma digressão interessante sobre algum ponto sutil, você pode ignorar isso com segurança, porque não é o tipo de coisa que poderia ser transformada em uma questão de teste. Mas se o professor lhe disser que houve três causas subjacentes do Cisma de 1378, ou três consequências principais da Peste Negra, é melhor você conhecê-las. E se elas foram de fato as causas ou consequências não vem ao caso. Para os propósitos desta aula, elas são.

Em uma universidade, muitas vezes há cópias de exames antigos circulando, e isso restringe ainda mais o que você tem que aprender. Além de aprender que tipo de perguntas esse professor faz, você frequentemente receberá perguntas reais de exames. Muitos professores as reutilizam. Depois de dar uma aula por 10 anos, seria difícil não fazer isso, pelo menos inadvertidamente.

Em algumas aulas, seu professor terá algum tipo de machado político para moer, e se for o caso, você terá que moer também. A necessidade disso varia. Em aulas de matemática, ciências exatas ou engenharia, raramente é necessário, mas no outro extremo do espectro, há aulas em que você não conseguiria uma boa nota sem isso.

Tirar uma boa nota em uma aula sobre x é tão diferente de aprender muito sobre x que você tem que escolher um ou outro, e você não pode culpar os alunos se eles escolherem notas. Todos os julgam por suas notas — programas de pós-graduação, empregadores, bolsas de estudo, até mesmo seus próprios pais.

Eu gostava de aprender, e realmente gostei de alguns dos trabalhos e programas que escrevi na faculdade. Mas eu alguma vez, depois de entregar um trabalho em alguma aula, sentei e escrevi outro só por diversão? Claro que não. Eu tinha coisas para entregar em outras aulas. Se alguma vez tivesse que escolher entre aprendizado ou notas, eu escolhia notas. Eu não tinha ido para a faculdade para ir mal.

Qualquer um que se importe em tirar boas notas tem que jogar esse jogo, ou será superado por aqueles que o fazem. E em universidades de elite, isso significa quase todo mundo, já que alguém que não se importasse em tirar boas notas provavelmente não estaria lá em primeiro lugar. O resultado é que os alunos competem para maximizar a diferença entre aprender e tirar boas notas.

Por que os testes são tão ruins? Mais precisamente, por que eles são tão hackeáveis? Qualquer programador experiente poderia responder isso. Quão hackeável é um software cujo autor não prestou atenção em evitar que ele seja hackeado? Geralmente é tão poroso quanto uma peneira.

Hackable é o padrão para qualquer teste imposto por uma autoridade. A razão pela qual os testes que você recebe são tão consistentemente ruins — tão consistentemente longe de medir o que eles deveriam medir — é simplesmente que as pessoas que os criaram não fizeram muito esforço para evitar que fossem hackeados.

Mas você não pode culpar os professores se seus testes são hackeáveis. O trabalho deles é ensinar, não criar testes inhackeáveis. O problema real são as notas, ou mais precisamente, que as notas foram sobrecarregadas. Se as notas fossem apenas uma maneira dos professores dizerem aos alunos o que eles estavam fazendo certo e errado, como um treinador dando conselhos a um atleta, os alunos não seriam tentados a hackear os testes. Mas infelizmente, depois de uma certa idade, as notas se tornam mais do que conselhos. Depois de uma certa idade, sempre que você está sendo ensinado, geralmente também está sendo julgado.

Usei testes de faculdade como exemplo, mas esses são, na verdade, os menos hackeáveis. Todos os testes que a maioria dos alunos faz a vida inteira são pelo menos tão ruins, incluindo, o mais espetacular de todos, o teste que os leva para a faculdade. Se entrar na faculdade fosse apenas uma questão de ter a qualidade da mente medida por oficiais de admissão da mesma forma que cientistas medem a massa de um objeto, poderíamos dizer aos adolescentes "aprendem muito" e deixar por isso mesmo. Você pode dizer o quão ruins são as admissões na faculdade, como um teste, pelo quão diferente do ensino médio isso soa. Na prática, a natureza estranhamente específica das coisas que crianças ambiciosas têm que fazer no ensino médio é diretamente proporcional à hackeabilidade das admissões na faculdade. As aulas com as quais você não se importa e que são principalmente de memorização, as "atividades extracurriculares" aleatórias das quais você tem que participar para mostrar que é "completo", os testes padronizados tão artificiais quanto xadrez, a "redação" que você tem que escrever que provavelmente visa atingir algum alvo muito específico, mas não lhe é dito o quê.

Além de ser ruim no que faz com as crianças, esse teste também é ruim no sentido de ser muito hackeável. Tão hackeável que indústrias inteiras cresceram para hackea-lo. Esse é o propósito explícito das empresas de preparação para testes e conselheiros de admissão, mas também é uma parte significativa da função das escolas particulares.

Por que esse teste em particular é tão hackeavel? Acho que por causa do que ele está medindo. Embora a história popular seja que a maneira de entrar em uma boa faculdade é ser realmente inteligente, os oficiais de admissão em faculdades de elite não estão, nem afirmam estar, procurando apenas por isso. O que eles estão procurando? Eles estão procurando por pessoas que não sejam simplesmente inteligentes, mas admiráveis em algum sentido mais geral. E como essa admirabilidade mais geral é medida? Os oficiais de admissão sentem isso. Em outras palavras, eles aceitam quem eles gostam.

Então, o que a admissão à faculdade é um teste é se você atende ao gosto de algum grupo de pessoas. Bem, é claro que um teste como esse vai ser hackeavel. E porque é muito hackeavel e há (acredita-se que haja) muito em jogo, ele é hackeado como nada mais. É por isso que ele distorce sua vida tanto por tanto tempo.

Não é de se espantar que estudantes do ensino médio frequentemente se sintam alienados. O formato de suas vidas é completamente artificial.

Mas desperdiçar seu tempo não é a pior coisa que o sistema educacional faz com você. A pior coisa que ele faz é te ensinar que a maneira de vencer é hackeando testes ruins. Esse é um problema muito mais sutil que eu não reconheci até ver isso acontecendo com outras pessoas.

Quando comecei a aconselhar fundadores de startups na Y Combinator, especialmente os mais jovens, fiquei intrigado com a maneira como eles sempre pareciam complicar demais as coisas. Como, eles perguntavam, você levanta dinheiro? Qual é o truque para fazer os capitalistas de risco quererem investir em você? A melhor maneira de fazer os VCs quererem investir em você, eu explicaria, é realmente ser um bom investimento. Mesmo que você pudesse enganar os VCs para investir em uma startup ruim, você estaria enganando a si mesmo também. Você está investindo tempo na mesma empresa em que está pedindo que eles invistam dinheiro. Se não é um bom investimento, por que você está fazendo isso?

Ah, eles diriam, e então, após uma pausa para digerir essa revelação, eles perguntariam: O que torna uma startup um bom investimento?

Então eu explicaria que o que torna uma startup promissora, não apenas aos olhos dos investidores, mas de fato, é o crescimento . Idealmente em receita, mas falhando nisso em uso. O que eles precisavam fazer era conseguir muitos usuários.

Como alguém consegue muitos usuários? Eles tinham todo tipo de ideia sobre isso. Eles precisavam fazer um grande lançamento que os daria "exposição". Eles precisavam de pessoas influentes para falar sobre eles. Eles até sabiam que precisavam lançar em uma terça-feira, porque é quando se recebe mais atenção.

Não, eu explicaria, não é assim que se consegue muitos usuários. A maneira de conseguir muitos usuários é tornar o produto realmente ótimo. Então as pessoas não só o usarão, mas o recomendarão aos amigos, então seu crescimento será exponencial quando você começar .

Neste ponto, eu disse aos fundadores algo que você pensaria que seria completamente óbvio: que eles deveriam fazer uma boa empresa fazendo um bom produto. E ainda assim a reação deles seria algo como a reação que muitos físicos devem ter tido quando ouviram pela primeira vez sobre a teoria da relatividade: uma mistura de espanto com sua aparente genialidade, combinada com uma suspeita de que algo tão estranho não poderia estar certo. Ok, eles diriam, obedientemente. E você poderia nos apresentar a tal e tal pessoa influente? E lembre-se, queremos lançar na terça-feira.

Às vezes, os fundadores levavam anos para entender essas lições simples. E não porque eram preguiçosos ou estúpidos. Eles apenas pareciam cegos para o que estava bem na frente deles.

Por que, eu me perguntava, eles sempre complicam tanto as coisas? E então um dia percebi que essa não era uma pergunta retórica.

Por que os fundadores se enredavam fazendo as coisas erradas quando a resposta estava bem na frente deles? Porque era para isso que tinham sido treinados. A educação deles os havia ensinado que a maneira de vencer era hackear o teste. E sem nem mesmo dizer que estavam sendo treinados para fazer isso. Os mais jovens, os recém-formados, nunca tinham enfrentado um teste não artificial. Eles achavam que era assim que o mundo funcionava: que a primeira coisa que você fazia, ao enfrentar qualquer tipo de desafio, era descobrir qual era o truque para hackear o teste. É por isso que a conversa sempre começava com como levantar dinheiro, porque isso era lido como o teste. Ele veio no final do YC. Tinha números anexados a ele, e números mais altos pareciam ser melhores. Deve ser o teste.

Certamente há grandes pedaços do mundo onde a maneira de vencer é hackear o teste. Esse fenômeno não se limita às escolas. E algumas pessoas, seja por ideologia ou ignorância, afirmam que isso também é verdade para startups. Mas não é. Na verdade, uma das coisas mais impressionantes sobre startups é o grau em que você vence simplesmente fazendo um bom trabalho. Há casos extremos, como em qualquer coisa, mas em geral você vence ao obter usuários, e o que os usuários se importam é se o produto faz o que eles querem.

Por que demorei tanto para entender por que os fundadores complicavam demais as startups? Porque eu não tinha percebido explicitamente que as escolas nos treinam para vencer hackeando testes ruins. E não só elas, mas eu! Eu tinha sido treinado para hackear testes ruins também, e não tinha percebido até décadas depois.

Eu vivia como se percebesse, mas sem saber o porquê. Por exemplo, eu evitava trabalhar para grandes empresas. Mas se você perguntasse o porquê, eu diria que era porque elas eram falsas ou burocráticas. Ou simplesmente nojentas. Eu nunca entendi o quanto da minha antipatia por grandes empresas era devido ao fato de que você vence hackeando testes ruins.

Da mesma forma, o fato de os testes serem inquebráveis foi muito do que me atraiu para startups. Mas, novamente, eu não tinha percebido isso explicitamente.

Eu tinha efetivamente alcançado por aproximações sucessivas algo que pode ter uma solução de forma fechada. Eu tinha gradualmente desfeito meu treinamento em hackear testes ruins sem saber que estava fazendo isso. Alguém saindo da escola poderia banir esse demônio apenas sabendo seu nome e dizendo vá embora? Parece que vale a pena tentar.

Simplesmente falar explicitamente sobre esse fenômeno provavelmente tornará as coisas melhores, porque muito de seu poder vem do fato de que o tomamos como garantido. Depois que você o percebe, parece o elefante na sala, mas é um elefante bem camuflado. O fenômeno é tão antigo e tão difundido. E é simplesmente o resultado de negligência. Ninguém quis que as coisas fossem assim. Isso é exatamente o que acontece quando você combina aprendizado com notas, competição e a suposição ingênua de inabalabilidade.

Foi alucinante perceber que duas das coisas que mais me intrigavam — a falsidade do ensino médio e a dificuldade de fazer os fundadores enxergarem o óbvio — tinham a mesma causa. É raro que um bloco tão grande deslize para o lugar tão tarde.

Geralmente, quando isso acontece, tem implicações em muitas áreas diferentes, e este caso não parece ser exceção. Por exemplo, sugere que a educação poderia ser melhorada e como você pode consertá-la. Mas também sugere uma resposta potencial para a pergunta que todas as grandes empresas parecem ter: como podemos ser mais como uma startup? Não vou perseguir todas as implicações agora. O que quero focar aqui é o que isso significa para os indivíduos.

Para começar, significa que a maioria dos jovens ambiciosos que se formam na faculdade tem algo que podem querer desaprender. Mas também muda a maneira como você olha para o mundo. Em vez de olhar para todos os diferentes tipos de trabalho que as pessoas fazem e pensar neles vagamente como mais ou menos atraentes, agora você pode fazer uma pergunta muito específica que os classificará de uma forma interessante: até que ponto você vence nesse tipo de trabalho hackeando testes ruins?

Ajudaria se houvesse uma maneira de reconhecer testes ruins rapidamente. Existe um padrão aqui? Acontece que existe.

Os testes podem ser divididos em dois tipos: aqueles que são impostos por autoridades e aqueles que não são. Os testes que não são impostos por autoridades são inerentemente inquebráveis, no sentido de que ninguém está alegando que são testes de algo mais do que eles realmente testam. Uma partida de futebol, por exemplo, é simplesmente um teste de quem vence, não qual time é melhor. Você pode dizer isso pelo fato de que os comentaristas às vezes dizem depois que o melhor time venceu. Enquanto os testes impostos por autoridades são geralmente proxies para outra coisa. Um teste em uma classe deve medir não apenas o quão bem você se saiu naquele teste específico, mas o quanto você aprendeu na classe. Enquanto os testes que não são impostos por autoridades são inerentemente inquebráveis, aqueles impostos por autoridades têm que ser tornados inquebráveis. Normalmente eles não são. Então, como uma primeira aproximação, testes ruins são aproximadamente equivalentes a testes impostos por autoridades.

Você pode realmente gostar de vencer hackeando testes ruins. Presumivelmente, algumas pessoas gostam. Mas aposto que a maioria das pessoas que se encontram fazendo esse tipo de trabalho não gosta. Elas simplesmente tomam como certo que é assim que o mundo funciona, a menos que você queira desistir e ser algum tipo de artesão hippie.

Suspeito que muitas pessoas implicitamente assumem que trabalhar em um campo com testes ruins é o preço de ganhar muito dinheiro. Mas isso, posso lhe dizer, é falso. Costumava ser verdade. Em meados do século XX, quando a economia era composta de oligopólios , a única maneira de chegar ao topo era jogando o jogo deles. Mas não é verdade agora. Agora há maneiras de ficar rico fazendo um bom trabalho, e essa é parte da razão pela qual as pessoas estão muito mais animadas em ficar ricas do que costumavam ser. Quando eu era criança, você podia se tornar um engenheiro e fazer coisas legais, ou ganhar muito dinheiro se tornando um "executivo". Agora você pode ganhar muito dinheiro fazendo coisas legais.

Hackear testes ruins está se tornando menos importante à medida que o elo entre trabalho e autoridade se desgasta. A erosão desse elo é uma das tendências mais importantes que acontecem agora, e vemos seus efeitos em quase todo tipo de trabalho que as pessoas fazem. Startups são um dos exemplos mais visíveis, mas vemos praticamente a mesma coisa na escrita. Os escritores não precisam mais se submeter a editores e publicadores para atingir os leitores; agora eles podem ir direto.

Quanto mais penso sobre essa questão, mais otimista fico. Essa parece ser uma daquelas situações em que não percebemos o quanto algo estava nos segurando até que seja eliminado. E posso prever todo o edifício falso desmoronando. Imagine o que acontece quando mais e mais pessoas começam a se perguntar se querem vencer hackeando testes ruins e decidem que não querem. Os tipos de trabalho em que você vence hackeando testes ruins ficarão sem talento, e os tipos em que você vence fazendo um bom trabalho verão um influxo das pessoas mais ambiciosas. E à medida que hackear testes ruins diminui em importância, a educação evoluirá para parar de nos treinar para fazê-lo. Imagine como seria o mundo se isso acontecesse.

Esta não é apenas uma lição para os indivíduos desaprenderem, mas uma lição para a sociedade desaprender, e ficaremos surpresos com a energia que será liberada quando fizermos isso.

Notas

[1] Se usar testes apenas para medir o aprendizado parece impossivelmente utópico, é assim que as coisas funcionam na Lambda School. A Lambda School não tem notas. Ou você se forma ou não. O único propósito dos testes é decidir em cada estágio do currículo se você pode continuar para o próximo. Então, na verdade, toda a escola é aprovada/reprovada.

[2] Se o exame final consistisse em uma longa conversa com o professor, você poderia se preparar para ele lendo bons livros sobre história medieval. Grande parte da hackabilidade dos testes nas escolas se deve ao fato de que o mesmo teste tem que ser aplicado a um grande número de alunos.

[3] A aprendizagem é o algoritmo ingênuo para obter boas notas.

[4] [Hacking](https://paulgraham.com/gba.html) tem vários sentidos. Há um sentido restrito em que significa comprometer algo. Esse é o sentido em que alguém hackeia um teste ruim. Mas há outro sentido mais geral, que significa encontrar uma solução surpreendente para um problema, geralmente pensando de forma diferente sobre ele. Hackear nesse sentido é uma coisa maravilhosa. E, de fato, alguns dos hacks que as pessoas usam em testes ruins são impressionantemente engenhosos; o problema não é tanto o hacking, mas sim isso, porque os testes são hackeáveis, eles não testam o que deveriam testar.

[5] As pessoas que selecionam startups na Y Combinator são semelhantes aos oficiais de admissão, exceto que, em vez de serem arbitrários, seus critérios de aceitação são treinados por um ciclo de feedback muito apertado. Se você aceita uma startup ruim ou rejeita uma boa, normalmente saberá disso dentro de um ou dois anos, no máximo, e frequentemente dentro de um mês.

[6] Tenho certeza de que os oficiais de admissão estão cansados de ler inscrições de crianças que parecem não ter personalidade além de estarem dispostas a parecer como deveriam parecer para serem aceitas. O que eles não percebem é que estão, de certa forma, olhando em um espelho. A falta de autenticidade nos candidatos é um reflexo da arbitrariedade do processo de inscrição. Um ditador pode muito bem reclamar da falta de autenticidade nas pessoas ao seu redor.

[7] Por bom trabalho, não quero dizer moralmente bom, mas bom no sentido em que um bom artesão faz um bom trabalho.

[8] Existem casos limítrofes em que é difícil dizer em qual categoria um teste se enquadra. Por exemplo, levantar capital de risco é como admissões em faculdades ou é como vender para um cliente?

[9] Note que um bom teste é meramente aquele que não pode ser hackeado. Bom aqui não significa moralmente bom, mas bom no sentido de funcionar bem. A diferença entre campos com testes ruins e bons não é que os primeiros são ruins e os últimos são bons, mas que os primeiros são falsos e os últimos não. Mas essas duas medidas não são independentes. Como Tara Ploughman disse, o caminho do bem para o mal passa pelo falso.

[10] Pessoas que pensam que o recente aumento na desigualdade econômica é devido a mudanças na política tributária parecem muito ingênuas para qualquer um com experiência em startups. Pessoas diferentes estão ficando ricas agora do que costumavam, e estão ficando muito mais ricas do que meras economias de impostos poderiam fazê-las.

[11] Nota para os pais tigres: vocês podem pensar que estão treinando seus filhos para vencer, mas se vocês os estão treinando para vencer por meio de testes ruins, vocês estão, como os pais frequentemente fazem, treinando-os para lutar a última guerra.

Agradecimentos a Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris e Harj Taggar pela leitura dos rascunhos.