A LIÇÃO A SER DESAPRENDIDA

Dezembro de 2019

A coisa mais prejudicial que você aprendeu na escola não foi algo que você aprendeu em uma aula específica. Foi aprender a tirar boas notas.

Quando eu estava na faculdade, um estudante de pós-graduação em filosofia particularmente sincero uma vez me disse que ele nunca se importava com a nota que ele tirava em uma aula, apenas com o que ele aprendia nela. Isso ficou em minha mente porque era o única vez que eu ouvi alguém dizer uma coisa dessas.

Para mim, assim como para a maioria dos alunos, a medição do que eu estava aprendendo dominava completamente a aprendizagem real na faculdade. Eu era bastante sério; Eu estava genuinamente interessado na maioria das aulas que fiz, e eu trabalhei duro. E, no entanto, eu trabalhei muito mais duro quando eu estava estudando para uma prova.

Em teoria, os testes são apenas o que seu nome implica: testes do que você aprendeu na aula. Em teoria, você não deveria ter que se preparar para um teste em uma aula mais do que você tem que se preparar para um exame de sangue. Em teoria, você aprende fazendo a aula, indo às palestras e fazendo a leitura e/ou as tarefas, e o teste que vem depois apenas mede o quão bem você aprendeu.

Na prática, como quase todos os leitores saberão, as coisas são tão diferentes que ouvir essa explicação de como as aulas e os testes são destinados a funcionar é como ouvir a etimologia de uma palavra cujo significado mudou completamente. Na prática, a frase "estudar para um teste" era quase redundante, porque era aí que realmente se estudava. A diferença entre alunos diligentes e negligentes era que os primeiros estudavam muito para os testes e os últimos não. Ninguém estava ficando acordado até tarde da noite duas semanas depois do início do semestre.

Mesmo sendo um aluno diligente, quase todo o trabalho que eu fiz na escola tinha como objetivo tirar uma boa nota em algo.

Para muitas pessoas, pareceria estranho que a frase anterior tenha um "embora". Não estou apenas declarando uma tautologia? Não é isso que um aluno diligente é, um aluno de excelência? É assim que a conflação de aprendizagem com notas impregnou nossa cultura.

Será que é tão ruim se a aprendizagem for confundida com as notas? Sim, é ruim. E não foi até décadas depois da faculdade, quando eu estava dirigindo o Y Combinator, que percebi o quão ruim é.

Eu sabia, é claro, quando era aluno, que estudar para um teste está longe de ser idêntico à aprendizagem real. No mínimo, você não retém o conhecimento que você enfia em sua cabeça na véspera de um exame. Mas o problema é pior do que isso. O problema real é que a maioria dos testes não se aproxima nem um pouco do que deveriam medir.

Se os testes fossem realmente testes de aprendizagem, as coisas não seriam tão ruins. Tirar boas notas e aprender convergiriam, apenas um pouco tarde. O problema é que quase todos os testes dados aos alunos são terrivelmente manipuláveis. A maioria das pessoas que conseguiram boas notas sabe disso e sabe tão bem que até deixaram de questioná-lo. Você verá quando perceber o quão ingênuo soa agir de outra forma.

Suponha que você esteja fazendo uma aula de história medieval e o exame final está chegando. O exame final supostamente é um teste do seu conhecimento de história medieval, certo? Então, se você tiver alguns dias entre agora e o exame, com certeza a melhor maneira de passar o tempo, se você quiser se sair bem no exame, é ler os melhores livros que você puder encontrar sobre história medieval. Então você saberá muito sobre isso, e se sairá bem no exame.

Não, não, não, os alunos experientes estão dizendo a si mesmos. Se você apenas ler bons livros sobre história medieval, a maior parte do que você aprendeu não estaria no teste. Não são bons livros que você quer ler, mas as anotações de aula e a leitura obrigatória nesta aula. E mesmo a maior parte disso você pode ignorar, porque você só precisa se preocupar com o tipo de coisa que poderia aparecer como uma questão de teste. Você está procurando por pedaços de informação bem definidos. Se um das leituras obrigatórias tiver uma digressão interessante sobre algum ponto sutil, você pode ignorá-la com segurança, porque não é o tipo de coisa que poderia se transformar em uma questão de teste. Mas se o professor lhe disser que houve três causas subjacentes do Cisma de 1378, ou três principais consequências da Peste Negra, você deve saber delas. E se eles foram de fato as causas ou consequências é irrelevante. Para os propósitos desta aula, eles são.

Em uma universidade, muitas vezes há cópias de provas antigas circulando, e essas estreitam ainda mais o que você precisa aprender. Além de aprender o tipo de perguntas que esse professor faz, você muitas vezes obterá as próprias questões de prova. Muitos professores as reutilizam. Depois de lecionar uma disciplina por 10 anos, seria difícil não fazê-lo, pelo menos inadvertidamente.

Em algumas disciplinas, seu professor terá tido algum tipo de viés político para moer, e se for o caso, você terá que moê-lo também. A necessidade disso varia. Em disciplinas de matemática, ciências exatas ou engenharia, raramente é necessário, mas no outro extremo, há disciplinas em que você não conseguiria uma boa nota sem isso.

Obter uma boa nota em uma disciplina sobre x é tão diferente de aprender muito sobre x que você tem que escolher uma ou outra, e você não pode culpar os alunos se eles escolherem as notas. Todos os julgam por suas notas - programas de pós-graduação, empregadores, bolsas de estudo, até mesmo seus próprios pais.

Eu gostava de aprender e realmente gostei de alguns dos trabalhos e programas que escrevi na faculdade. Mas depois de entregar um trabalho em alguma disciplina, eu já me sentava e escrevia outro apenas por diversão? Claro que não. Eu tinha coisas a fazer em outras disciplinas. Se alguma vez chegasse a uma escolha entre aprender ou notas, eu escolhia as notas. Eu não tinha vindo para a faculdade para me sair mal.

Qualquer pessoa que se importe em obter boas notas tem que jogar esse jogo, ou será superada por aqueles que o fazem. E em universidades de elite, isso significa praticamente todo mundo, já que alguém que não se importasse em obter boas notas provavelmente não estaria lá no primeiro lugar. O resultado é que os alunos competem para maximizar a diferença entre aprender e obter boas notas.

Por que os testes são tão ruins? Mais precisamente, por que eles são tão hackáveis? Qualquer programador experiente poderia responder a isso. Quão hackável é um software cujo autor não prestou atenção em evitar que ele seja hackeado? Geralmente, é tão poroso quanto um coador.

Hackável é o padrão para qualquer teste imposto por uma autoridade. A razão pela qual os testes que você recebe são tão consistentemente ruins - tão consistentemente distantes de medir o que eles supostamente deveriam medir - é simplesmente que as pessoas que os criam não se esforçaram muito para evitar que eles sejam hackeados.

Mas você não pode culpar os professores se seus testes são hackáveis. O trabalho deles é ensinar, não criar testes à prova de hackers. O problema real são as notas, ou mais precisamente, que as notas foram sobrecarregadas. Se as notas fossem apenas uma maneira para os professores dizerem aos alunos o que eles estavam fazendo certo e errado, como um treinador dando conselhos a um atleta, os alunos não seriam tentados a hackear os testes. Mas, infelizmente, após uma certa idade, as notas se tornam mais do que conselhos. Após uma certa idade, sempre que você está sendo ensinado, geralmente também está sendo julgado.

Usei os testes da faculdade como exemplo, mas esses são na verdade os menos hackáveis. Todos os testes que a maioria dos alunos faz durante toda a vida são pelo menos tão ruins, incluindo, de forma mais espetacular de todas, o teste que os faz entrar na faculdade. Se entrar na faculdade fosse apenas uma questão de ter a qualidade da mente medida pelos responsáveis pelas admissões, da mesma forma que os cientistas medem a massa de um objeto, poderíamos dizer aos adolescentes "aprendam muito" e deixar por isso mesmo. Você pode perceber o quão ruim é o processo de admissão na faculdade, como teste, a partir de quão diferente isso soa do ensino médio. Na prática, a natureza estranhamente específica das coisas que os alunos ambiciosos têm que fazer no ensino médio é diretamente proporcional à hackabilidade das admissões na faculdade. As disciplinas de que você não se importa e que são principalmente memorização, as "atividades extracurriculares" aleatórias em que você tem que participar para mostrar que é "bem-arredondado", os testes padronizados tão artificiais quanto xadrez, o "ensaio" que você tem que escrever que supostamente deve atingir um alvo muito específico, mas não lhe é dito qual.

Além de ser ruim no que faz com as crianças, esse teste também é ruim no sentido de ser muito hackável. Tão hackável que inteiras indústrias surgiram para hackear isso. Esse é o propósito explícito das empresas de preparação para testes e dos conselheiros de admissão, mas também é uma parte significativa da função das escolas particulares.

Por que esse teste em particular é tão hackeável? Eu acho que é por causa do que ele está medindo. Embora a história popular seja de que o caminho para entrar em uma boa faculdade é ser realmente inteligente, os oficiais de admissão das faculdades de elite nem são, nem afirmam estar procurando apenas por isso. O que eles estão procurando? Eles estão procurando por pessoas que não são simplesmente inteligentes, mas admiráveis em um sentido mais geral. E como essa admirabilidade mais geral é medida? Os oficiais de admissão a sentem. Em outras palavras, eles aceitam quem eles gostam.

Então, o que a admissão à faculdade é um teste de é se você se adequa ao gosto de um determinado grupo de pessoas. Bem, é claro que um teste como esse vai ser hackeável. E porque é muito hackeável e há (o que se pensa) muito em jogo, ele é hackeado como nada mais. É por isso que ele distorce tanto a sua vida por tanto tempo.

Não é de se admirar que os estudantes do ensino médio muitas vezes se sintam alienados. O formato de suas vidas é completamente artificial.

Mas desperdiçar seu tempo não é a pior coisa que o sistema educacional faz com você. A pior coisa que ele faz é treiná-lo para que a maneira de vencer seja hackeando maus testes. Este é um problema muito mais sutil que eu não reconheci até vê-lo acontecendo com outras pessoas.

Quando comecei a aconselhar fundadores de startups no Y Combinator, especialmente os mais jovens, eu fiquei perplexo com a maneira como eles sempre pareciam tornar as coisas excessivamente complicadas. Como, eles perguntariam, você levanta dinheiro? Qual é o truque para fazer os capitalistas de risco quererem investir em você? A melhor maneira de fazer os capitalistas de risco quererem investir em você, eu explicaria, é ser realmente um bom investimento. Mesmo que você pudesse enganar os capitalistas de risco a investir em uma startup ruim, você também estaria se enganando. Você está investindo tempo na mesma empresa que está pedindo a eles para investir dinheiro. Se não for um bom investimento, por que você está fazendo isso?

Ah, eles diriam, e então depois de uma pausa para digerir essa revelação, eles perguntariam: O que torna uma startup um bom investimento?

Então eu explicaria que o que torna uma startup promissora, não apenas aos olhos dos investidores, mas de fato, é o crescimento. Idealmente em receita, mas falhando nisso em uso. O que eles precisavam fazer era conseguir muitos usuários.

Como se consegue muitos usuários? Eles tinham todo tipo de ideias sobre isso. Eles precisavam fazer um grande lançamento que os daria "exposição". Eles precisavam que pessoas influentes falassem sobre eles. Eles até sabiam que precisavam lançar em uma terça-feira, porque é quando se obtém mais atenção.

Não, eu explicaria, essa não é a maneira de conseguir muitos usuários. A maneira de conseguir muitos usuários é fazer o produto realmente ótimo. Então as pessoas não só o usarão, mas o recomendarão a seus amigos, então seu crescimento será exponencial assim que você começá-lo.

Neste ponto, eu disse aos fundadores algo que você pensaria ser completamente óbvio: que eles deveriam fazer uma boa empresa fazendo um bom produto. E no entanto, a reação deles seria algo como a reação que muitos físicos devem ter tido quando ouviram pela primeira vez a teoria da relatividade: uma mistura de espanto com sua aparente genialidade, combinada com uma suspeita de que algo tão estranho não poderia estar certo. Ok, eles diriam, obedientemente. E você poderia nos apresentar a tal-e-tal pessoa influente? E lembre-se, queremos lançar na terça-feira.

Às vezes, levaria anos para os fundadores entenderem essas lições simples. E não porque eles eram preguiçosos ou estúpidos. Eles simplesmente pareciam cegos para o que estava bem na sua frente.

Por que, eu me perguntaria, eles sempre complicam as coisas tanto? E então um dia eu percebi que essa não era uma pergunta retórica.

Por que os fundadores se amarraram em nós fazendo as coisas erradas quando a resposta estava bem na nossa frente? Porque era isso que eles haviam sido treinados a fazer. Sua educação lhes havia ensinado que a maneira de vencer era hackear o teste. E sem nem mesmo lhes dizer que eles estavam sendo treinados para fazer isso. Os mais jovens, os recém-formados, nunca haviam enfrentado um teste não artificial. Eles pensavam que era assim que o mundo funcionava: que a primeira coisa que você fazia, ao enfrentar qualquer tipo de desafio, era descobrir qual era o truque para hackear o teste. É por isso que a conversa sempre começava com como levantar dinheiro, porque isso parecia o teste. Vinha no final do YC. Tinha números anexados a ele, e números mais altos pareciam ser melhores. Deve ser o teste.

Certamente existem grandes pedaços do mundo onde a maneira de vencer é hackear o teste. Esse fenômeno não se limita às escolas. E algumas pessoas, seja por ideologia ou ignorância, afirmam que isso também é verdade para startups. Mas não é. Na verdade, uma das coisas mais impressionantes sobre startups é o grau em que você vence simplesmente fazendo um bom trabalho. Existem casos extremos, como em qualquer coisa, mas em geral você vence conseguindo usuários, e o que os usuários se importam é se o produto faz o que eles querem.

Por que demorei tanto para entender por que os fundadores tornavam as startups tão complicadas? Porque eu não tinha percebido explicitamente que as escolas nos treinam para vencer hackeando maus testes. E não só elas, mas eu também! Eu havia sido treinado para hackear maus testes também, e não tinha percebido isso até décadas depois.

Eu tinha vivido como se tivesse percebido isso, mas sem saber por quê. Por exemplo, eu havia evitado trabalhar em grandes empresas. Mas se você me perguntasse por quê, eu diria que era porque elas eram falsas ou burocráticas. Ou apenas nojento. Eu nunca entendi o quanto do meu desgosto pelas grandes empresas se devia ao fato de que você vence hackeando maus testes.

Da mesma forma, o fato de que os testes eram invioláveis era muito do que me atraía para as startups. Mas novamente, eu não tinha percebido isso explicitamente.

Eu havia, em efeito, alcançado por aproximações sucessivas algo que pode ter uma solução de forma fechada. Eu havia gradualmente desfeito meu treinamento em hackear maus testes sem saber que estava fazendo isso. Será que alguém saindo da escola poderia banir esse demônio apenas conhecendo seu nome e dizendo "vai embora"? Vale a pena tentar.

Simplesmente falar explicitamente sobre esse fenômeno provavelmente tornará as coisas melhores, porque muito do seu poder vem do fato de que o tomamos como certo. Depois de você ter notado isso, parece o elefante na sala, mas é um elefante bem camuflado. O fenômeno é tão antigo e tão generalizado. E é simplesmente o resultado da negligência. Ninguém pretendia que as coisas fossem assim. Isso é apenas o que acontece quando você combina aprendizado com notas, competição e a suposição ingênua de inviolabilidade.

Foi uma revelação perceber que duas das coisas que mais me intrigaram - a falsidade do ensino médio e a dificuldade de fazer os fundadores verem o óbvio - tinham a mesma causa. É raro que um bloco tão grande deslize para o lugar tão tarde.

Geralmente, quando isso acontece, tem implicações em muitas áreas diferentes, e este caso parece não ser exceção. Por exemplo, sugere que a educação poderia ser feita de maneira melhor e como você poderia consertá-la. Mas também sugere uma possível resposta à pergunta que todas as grandes empresas parecem ter: como podemos ser mais como uma startup? Não vou perseguir todas as implicações agora. O que eu quero focar aqui é o que isso significa para os indivíduos.

Para começar, significa que a maioria dos jovens ambiciosos que se formam na faculdade têm algo que podem querer desaprender. Mas também muda a forma como você olha para o mundo. Em vez de olhar para todos os diferentes tipos de trabalho que as pessoas fazem e pensá-los vagamente como mais ou menos atraentes, você agora pode fazer uma pergunta muito específica que os classificará de uma maneira interessante: em que medida você vence neste tipo de trabalho hackeando maus testes?

Seria útil se houvesse uma maneira de reconhecer rapidamente os maus testes. Existe um padrão aqui? Acontece que existe.

Os testes podem ser divididos em dois tipos: aqueles impostos por autoridades e aqueles que não são. Os testes que não são impostos por autoridades são intrinsecamente invioláveis, no sentido de que ninguém está afirmando que eles são testes de algo mais do que realmente testam. Uma partida de futebol, por exemplo, é simplesmente um teste de quem vence, não de qual time é melhor. Você pode perceber isso pelo fato de que os comentaristas às vezes dizem depois que o melhor time venceu. Já os testes impostos por autoridades geralmente são substitutos de algo mais. Um teste em uma aula supostamente mede não apenas o quão bem você se saiu naquele teste em particular, mas o quanto você aprendeu na aula.

Enquanto os testes que não são impostos por autoridades são intrinsecamente invioláveis, aqueles impostos por autoridades precisam ser tornados invioláveis. Geralmente eles não são. Então, como uma primeira aproximação, testes ruins são aproximadamente equivalentes a testes impostos por autoridades.

Você pode realmente gostar de vencer hackeando testes ruins. Presumivelmente, algumas pessoas fazem isso. Mas eu aposto que a maioria das pessoas que se encontram fazendo esse tipo de trabalho não gosta disso. Eles simplesmente assumem que essa é a forma como o mundo funciona, a menos que você queira desistir e ser uma espécie de artesão hippie.

Suspeito que muitas pessoas assumem implicitamente que trabalhar em um campo com testes ruins é o preço a se pagar para ganhar muito dinheiro. Mas isso, posso lhe dizer, é falso. Costumava ser verdade. Na metade do século XX, quando a economia era [1] composta por oligopólios, a única maneira de chegar ao topo era jogando o jogo deles. Mas agora não é mais verdade. Existem maneiras de ficar rico fazendo um bom trabalho, e essa é parte da razão pela qual as pessoas estão muito mais animadas em ficar ricas do que costumavam estar. Quando eu era criança, você podia se tornar um engenheiro e criar coisas legais, ou ganhar muito dinheiro se tornando um "executivo". Agora você pode ganhar muito dinheiro criando coisas legais.

Hackear testes ruins está se tornando menos importante à medida que o vínculo entre trabalho e autoridade se enfraquece. O enfraquecimento desse vínculo é uma das tendências mais importantes que estão acontecendo agora, e vemos seus efeitos em quase todos os tipos de trabalho que as pessoas fazem. As startups são um dos exemplos mais visíveis, mas vemos praticamente a mesma coisa na escrita. Os escritores não precisam mais se submeter a editoras e editores para chegar aos leitores; agora eles podem ir direto.

Quanto mais penso sobre essa questão, mais otimista fico. Parece ser uma dessas situações em que não percebemos o quanto algo nos estava segurando até que seja eliminado. E posso prever todo o edifício falso desmoronando. Imagine o que acontece quando mais e mais pessoas começam a se perguntar se querem vencer hackeando testes ruins e decidem que não querem. Os tipos de trabalho em que você vence hackeando testes ruins serão privados de talento, e os tipos em que você vence fazendo um bom trabalho verão uma entrada dos mais ambiciosos. E à medida que hackear testes ruins diminui em importância, a educação evoluirá para parar de nos treinar para fazer isso. Imagine como o mundo poderia ficar se isso acontecesse.

Essa não é apenas uma lição para os indivíduos desaprender, mas uma para a sociedade desaprender, e ficaremos impressionados com a energia que será liberada quando o fizermos.

Notas

[1] Se usar testes apenas para medir o aprendizado parece utópico demais, já é assim que as coisas funcionam na Lambda School. A Lambda School não tem notas. Você se forma ou não. O único propósito dos testes é decidir em cada etapa do currículo se você pode continuar para a próxima. Então, em efeito, toda a escola é aprovado/reprovado.

[2] Se o exame final consistisse em uma longa conversa com o professor, você poderia se preparar para ele lendo bons livros sobre história medieval. Muito da possibilidade de hackear testes em escolas se deve ao fato de que o mesmo teste precisa ser aplicado a um grande número de alunos.

[3] Aprender é o algoritmo ingênuo para obter boas notas.

[4] Hackear tem múltiplos significados. Há um sentido estreito em que significa comprometer algo. Esse é o sentido em que se faz um hack em um teste ruim. Mas há outro, mais geral, significando encontrar uma solução surpreendente para um problema, muitas vezes pensando diferentemente sobre ele. Hackear nesse sentido é uma coisa maravilhosa. E, de fato, alguns dos hacks que as pessoas usam em testes ruins são impressionantemente engenhosos; o problema não é tanto o hack, mas que, porque os testes são hackeáveis, eles não testam o que deveriam.

[5] As pessoas que escolhem startups no Y Combinator são semelhantes a oficiais de admissão, exceto que, em vez de serem arbitrárias, seus critérios de aceitação são treinados por um loop de feedback muito apertado. Se você aceitar uma startup ruim ou rejeitar uma boa, geralmente saberá dentro de um ano ou dois, no máximo, e muitas vezes dentro de um mês.

[6] Tenho certeza de que os oficiais de admissão estão cansados de ler aplicações de crianças que parecem não ter personalidade além de estar dispostas a parecer como quer que seja necessário para serem aceitas. O que eles não percebem é que eles estão, de certa forma, olhando para um espelho. A falta de autenticidade nos candidatos é um reflexo da arbitrariedade do processo de candidatura. Um ditador poderia muito bem reclamar da falta de autenticidade nas pessoas ao seu redor.

[7] Por bom trabalho, não quero dizer moralmente bom, mas bom no sentido em que um bom artesão faz um bom trabalho.

[8] Existem casos limítrofes em que é difícil dizer em qual categoria um teste se enquadra. Por exemplo, levantar capital de risco é como admissões universitárias, ou é como vender para um cliente?

[9] Observe que um bom teste é apenas aquele que é inviolável. Bom aqui não significa moralmente bom, mas bom no sentido de funcionar bem. A diferença entre campos com testes ruins e bons não é que os primeiros são ruins e os últimos são bons, mas que os primeiros são falsos e os últimos não são. Mas essas duas medidas não são independentes. Como disse Tara Ploughman, o caminho do bom ao mal passa pelo falso.

[10] As pessoas que acham que o recente aumento na desigualdade econômica é devido a mudanças na política fiscal parecem muito ingênuas para qualquer um com experiência em startups. Diferentes pessoas estão ficando ricas agora do que antes, e elas estão ficando muito mais ricas do que meras economias fiscais poderiam fazê-las.

[11] Observação para pais tigre: você pode achar que está treinando seus filhos para vencer, mas se você os está treinando para vencer hackeando testes ruins, você está, como os pais costumam fazer, treinando-os para lutar a última guerra.

Agradecimentos a Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris e Harj Taggar por lerem rascunhos deste texto.