O QUE APRENDI COM O HACKER NEWS

Fevereiro de 2009

O Hacker News completou dois anos na semana passada. Inicialmente, deveria ser um projeto paralelo—uma aplicação para aprimorar o Arc e um lugar para fundadores atuais e futuros do Y Combinator trocarem notícias. Ele cresceu mais e tomou mais tempo do que eu esperava, mas não me arrependo disso porque aprendi tanto trabalhando nele.

Crescimento

Quando lançamos em fevereiro de 2007, o tráfego durante a semana era de cerca de 1600 usuários únicos diários. Desde então, ele cresceu para cerca de 22.000. Essa taxa de crescimento é um pouco mais alta do que eu gostaria. Eu gostaria que o site crescesse, já que um site que não está crescendo pelo menos lentamente provavelmente está morto. Mas eu não gostaria que ele crescesse tanto quanto o Digg ou o Reddit—principalmente porque isso diluiria o caráter do site, mas também porque não quero passar todo o meu tempo lidando com escalabilidade.

Já tenho problemas suficientes com isso. Lembre-se, a motivação original para o HN era testar uma nova linguagem de programação, e mais ainda, uma que se concentra em experimentar com design de linguagem, não em desempenho. Toda vez que o site fica lento, eu me fortifico lembrando da famosa citação de McIlroy e Bentley

A chave para o desempenho é a elegância, não batalhões de casos especiais.

e procuro o gargalo que posso remover com o menor código. Até agora consegui acompanhar, no sentido de que o desempenho permaneceu consistentemente medíocre, apesar do crescimento de 14x. Não sei o que vou fazer a seguir, mas provavelmente pensarei em algo.

Essa é minha atitude em relação ao site, de modo geral. O Hacker News é um experimento, e um experimento em um campo muito jovem. Sites desse tipo têm apenas alguns anos. A conversa na Internet, de modo geral, é apenas algumas décadas antiga. Portanto, provavelmente só descobrimos uma fração do que eventualmente descobriremos.

É por isso que sou tão otimista em relação ao HN. Quando uma tecnologia é tão jovem, as soluções existentes geralmente são terríveis; o que significa que deve ser possível fazer muito melhor; o que significa que muitos problemas que parecem insolúveis não são. Incluindo, espero, o problema que tem afligido tantas comunidades anteriores: ser arruinado pelo crescimento.

Diluição

Os usuários se preocuparam com isso desde que o site tinha alguns meses. Até agora, esses alarmes foram falsos, mas podem não ser sempre. Diluição é um problema difícil. Mas provavelmente solucionável; não significa muito que conversas abertas "sempre" tenham sido destruídas pelo crescimento quando "sempre" equivale a 20 instâncias.

Mas é importante lembrar que estamos tentando resolver um novo problema, porque isso significa que teremos que tentar coisas novas, a maioria das quais provavelmente não funcionará. Há algumas semanas, tentei exibir os nomes dos usuários com as maiores médias de pontuação de comentários em laranja. [1] Isso foi um erro. De repente, uma cultura que havia sido mais ou menos unida foi dividida entre os que têm e os que não têm. Eu não percebi quão unida a cultura havia sido até vê-la dividida. Foi doloroso de assistir. [2]

Então, nomes de usuários em laranja não voltarão. (Desculpe por isso.) Mas haverá outras ideias que parecem igualmente quebradas no futuro, e as que se revelarem eficazes provavelmente parecerão tão quebradas quanto as que não funcionam.

Provavelmente a coisa mais importante que aprendi sobre diluição é que ela é medida mais pelo comportamento do que pelos usuários. É o mau comportamento que você quer manter fora mais do que as pessoas ruins. O comportamento do usuário se revela surpreendentemente maleável. Se as pessoas são esperadas para se comportar bem, elas tendem a fazê-lo; e vice-versa.

Embora, é claro, proibir o mau comportamento tende a manter as pessoas ruins afastadas, porque elas se sentem desconfortavelmente restritas em um lugar onde têm que se comportar bem. Mas essa maneira de mantê-las afastadas é mais gentil e provavelmente também mais eficaz do que barreiras abertas.

Está bastante claro agora que a teoria das janelas quebradas se aplica a sites comunitários também. A teoria é que formas menores de mau comportamento incentivam formas piores: que um bairro com muita grafite e janelas quebradas se torna um onde ocorrem roubos. Eu estava morando em Nova York quando Giuliani introduziu as reformas que tornaram a teoria das janelas quebradas famosa, e a transformação foi miraculosa. E eu era um usuário do Reddit quando o oposto aconteceu lá, e a transformação foi igualmente dramática.

Não estou criticando Steve e Alexis. O que aconteceu com o Reddit não ocorreu por negligência. Desde o início, eles tinham uma política de não censurar nada, exceto spam. Além disso, o Reddit tinha objetivos diferentes do Hacker News. O Reddit era uma startup, não um projeto paralelo; seu objetivo era crescer o mais rápido possível. Combine crescimento rápido e zero censura, e o resultado é um livre para todos. Mas não acho que fariam muito diferente se estivessem fazendo isso novamente. Medido pelo tráfego, o Reddit é muito mais bem-sucedido do que o Hacker News.

Mas o que aconteceu com o Reddit não acontecerá inevitavelmente com o HN. Existem vários máximos locais. Podem haver lugares que são livres para todos e lugares que são mais reflexivos, assim como existem no mundo real; e as pessoas se comportarão de maneira diferente dependendo de qual estiverem, assim como fazem no mundo real.

Observei isso na prática. Vi pessoas postando em Reddit e Hacker News que realmente se deram ao trabalho de escrever duas versões, uma provocativa para o Reddit e uma versão mais contida para o HN.

Submissões

Existem dois tipos principais de problemas que um site como o Hacker News precisa evitar: histórias ruins e comentários ruins. Até agora, o perigo de histórias ruins parece menor. As histórias na página inicial agora ainda são aproximadamente as que estariam lá quando o HN começou.

Uma vez pensei que teria que ponderar votos para manter coisas ruins fora da página inicial, mas ainda não precisei. Eu não teria previsto que a página inicial se manteria tão bem, e não tenho certeza do porquê. Talvez apenas os usuários mais reflexivos se importem o suficiente para submeter e votar em links, então o custo marginal de um novo usuário aleatório se aproxima de zero. Ou talvez a página inicial se proteja, anunciando que tipo de submissão é esperada.

A coisa mais perigosa para a página inicial é o que é muito fácil de votar. Se alguém prova um novo teorema, leva algum trabalho do leitor decidir se deve ou não votar a favor. Uma tirinha engraçada leva menos. Um desabafo com um grito de guerra como título leva zero, porque as pessoas votam a favor sem nem mesmo ler.

Daí o que chamo de Princípio do Fluff: em um site de notícias votado por usuários, os links que são mais fáceis de julgar dominarão, a menos que você tome medidas específicas para evitar isso.

O Hacker News tem dois tipos de proteções contra fluff. Os tipos mais comuns de links fluff são banidos como fora do tópico. Imagens de gatinhos, diatribes políticas, e assim por diante são explicitamente banidas. Isso mantém a maioria do fluff fora, mas não todo ele. Alguns links são tanto fluff, no sentido de serem muito curtos, quanto estão no tópico.

Não há uma solução única para isso. Se um link é apenas um desabafo vazio, os editores às vezes o eliminam mesmo que esteja no tópico no sentido de ser sobre hacking, porque não está no tópico pelo verdadeiro padrão, que é engajar a curiosidade intelectual de alguém. Se as postagens em um site são caracteristicamente desse tipo, às vezes eu o proíbo, o que significa que novas coisas naquele URL são eliminadas automaticamente. Se uma postagem tem um título chamativo, os editores às vezes o reformulam para ser mais factual. Isso é especialmente necessário com links cujos títulos são gritos de guerra, porque caso contrário eles se tornam postagens implícitas de "vote a favor se você acredita em tal coisa", que são a forma mais extrema de fluff.

As técnicas para lidar com links precisam evoluir, porque os links evoluem. A existência de agregadores já afetou o que eles agregam. Os escritores agora escrevem deliberadamente coisas para atrair tráfego de agregadores—às vezes até mesmo de específicos. (Não, a ironia dessa afirmação não me escapa.) Então, há as mutações mais sinistras, como o linkjacking—postar uma paráfrase do artigo de outra pessoa e submeter isso em vez do original. Esses podem receber muitos votos a favor, porque muito do que é bom em um artigo muitas vezes sobrevive; de fato, quanto mais próxima a paráfrase for do plágio, mais sobrevive. [3]

Acho importante que um site que elimina submissões forneça uma maneira para os usuários verem o que foi eliminado, se quiserem. Isso mantém os editores honestos, e, tão importante quanto, faz os usuários confiarem que saberiam se os editores parassem de ser honestos. Os usuários do HN podem fazer isso ativando um botão chamado showdead em seu perfil. [4]

Comentários

Comentários ruins parecem ser um problema mais difícil do que submissões ruins. Enquanto a qualidade dos links na página inicial do HN não mudou muito, a qualidade do comentário mediano pode ter diminuído um pouco.

Existem dois tipos principais de maldade em comentários: maldade e estupidez. Há muita sobreposição entre os dois—comentários maldosos são desproporcionalmente prováveis de também serem estúpidos—mas as estratégias para lidar com eles são diferentes. A maldade é mais fácil de controlar. Você pode ter regras dizendo que não se deve ser maldoso, e se você as aplicar, parece possível manter um controle sobre a maldade.

Manter um controle sobre a estupidez é mais difícil, talvez porque a estupidez não é tão facilmente distinguível. Pessoas maldosas são mais propensas a saber que estão sendo maldosas do que pessoas estúpidas a saber que estão sendo estúpidas.

A forma mais perigosa de comentário estúpido não é o longo, mas errado argumento, mas a piada boba. Argumentos longos, mas errados são na verdade bastante raros. Há uma forte correlação entre qualidade de comentários e comprimento; se você quisesse comparar a qualidade dos comentários em sites comunitários, o comprimento médio seria um bom preditor. Provavelmente a causa é a natureza humana, em vez de algo específico dos tópicos de comentários. Provavelmente é simplesmente que a estupidez mais frequentemente assume a forma de ter poucas ideias do que erradas.

Qualquer que seja a causa, comentários estúpidos tendem a ser curtos. E como é difícil escrever um comentário curto que se destaque pela quantidade de informação que transmite, as pessoas tentam distingui-los em vez disso, sendo engraçadas. O formato mais tentador para comentários estúpidos é o supostamente espirituoso, provavelmente porque os desdéns são a forma mais fácil de humor. [5] Então, uma vantagem de proibir a maldade é que isso também reduz esses.

Comentários ruins são como kudzu: eles tomam conta rapidamente. Comentários têm muito mais efeito sobre novos comentários do que submissões têm sobre novas submissões. Se alguém submete um artigo ruim, as outras submissões não se tornam todas ruins. Mas se alguém posta um comentário estúpido em um tópico, isso define o tom para a região ao seu redor. As pessoas respondem a piadas bobas com piadas bobas.

Talvez a solução seja adicionar um atraso antes que as pessoas possam responder a um comentário, e fazer o comprimento do atraso ser inversamente proporcional a alguma previsão de sua qualidade. Então, tópicos bobos cresceriam mais lentamente. [6]

Pessoas

Percebo que a maioria das técnicas que descrevi são conservadoras: elas visam preservar o caráter do site em vez de aprimorá-lo. Não acho que isso seja um viés meu. É devido à natureza do problema. O Hacker News teve a boa sorte de começar bem, então, neste caso, é literalmente uma questão de preservação. Mas acho que esse princípio também se aplicaria a sites com origens diferentes.

As coisas boas em um site comunitário vêm das pessoas mais do que da tecnologia; é principalmente na prevenção de coisas ruins que a tecnologia entra em cena. A tecnologia certamente pode aprimorar a discussão. Comentários aninhados fazem isso, por exemplo. Mas eu preferiria usar um site com recursos primitivos e usuários inteligentes e agradáveis do que um mais avançado cujos usuários fossem idiotas ou trolls.

Portanto, a coisa mais importante que um site comunitário pode fazer é atrair o tipo de pessoas que deseja. Um site que tenta ser o maior possível quer atrair todos. Mas um site que visa um subconjunto particular de usuários precisa atrair apenas esses—e, tão importante quanto, repelir todos os outros. Fiz um esforço consciente para fazer isso no HN. O design gráfico é o mais simples possível, e as regras do site desencorajam títulos de links dramáticos. O objetivo é que a única coisa que interesse a alguém que chega ao HN pela primeira vez sejam as ideias expressas lá.

A desvantagem de ajustar um site para atrair certas pessoas é que, para essas pessoas, ele pode ser atraente demais. Estou muito ciente de quão viciante o Hacker News pode ser. Para mim, como para muitos usuários, é uma espécie de praça pública virtual. Quando quero fazer uma pausa do trabalho, entro na praça, assim como poderia fazer em Harvard Square ou University Ave no mundo físico. [7] Mas uma praça online é mais perigosa do que uma física. Se eu passasse metade do dia vagando em University Ave, eu notaria. Tenho que andar uma milha para chegar lá, e sentar em um café parece diferente de trabalhar. Mas visitar um fórum online leva apenas um clique, e parece superficialmente muito semelhante a trabalhar. Você pode estar desperdiçando seu tempo, mas não está ocioso. Alguém está errado na Internet, e você está consertando o problema.

O Hacker News é definitivamente útil. Aprendi muito com as coisas que li no HN. Escrevi vários ensaios que começaram como comentários lá. Portanto, eu não gostaria que o site desaparecesse. Mas gostaria de ter certeza de que não é um peso líquido na produtividade. Que desastre seria atrair milhares de pessoas inteligentes para um site que as fizesse desperdiçar muito tempo. Eu gostaria de poder ter 100% de certeza de que isso não é uma descrição do HN.

Sinto que a viciante natureza dos jogos e aplicativos sociais ainda é um problema em grande parte não resolvido. A situação agora é como era com o crack na década de 1980: inventamos coisas novas terrivelmente viciante, e ainda não evoluímos maneiras de nos proteger delas. Eventualmente, faremos isso, e esse é um dos problemas que espero focar a seguir.

Notas

[1] Tentei classificar os usuários tanto pela média quanto pela mediana de pontuação de comentários, e a média (com a pontuação mais alta descartada) parecia ser a mais precisa preditora de alta qualidade. A mediana pode ser a preditora mais precisa de baixa qualidade, no entanto.

[2] Outra coisa que aprendi com esse experimento é que se você vai distinguir entre pessoas, é melhor ter certeza de que faz isso certo. Este é um problema onde a prototipagem rápida não funciona.

De fato, esse é o argumento intelectualmente honesto para não discriminar entre vários tipos de pessoas. A razão para não fazê-lo não é que todos são iguais, mas que é ruim fazer errado e difícil fazer certo.

[3] Quando pego postagens egregiamente linkjacked, substituo a URL pela de onde copiaram. Sites que habitualmente linkjackeiam são banidos.

[4] O Digg é notório por sua falta de transparência. A raiz do problema não é que os caras que administram o Digg sejam especialmente sorrateiros, mas que eles usam o algoritmo errado para gerar sua página inicial. Em vez de subir do fundo à medida que recebem mais votos, como no Reddit, as histórias começam no topo e são empurradas para baixo por novas chegadas.

A razão para a diferença é que o Digg é derivado do Slashdot, enquanto o Reddit é derivado do Delicious/popular. O Digg é o Slashdot com votação em vez de editores, e o Reddit é o Delicious/popular com votação em vez de bookmarking. (Você ainda pode ver fósseis de suas origens em seu design gráfico.)

O algoritmo do Digg é muito vulnerável a manipulações, porque qualquer história que chegue à página inicial é a nova história principal. O que, por sua vez, força o Digg a responder com contramedidas extremas. Muitas startups têm algum tipo de segredo sobre os subterfúgios que tiveram que recorrer nos primeiros dias, e suspeito que o do Digg seja a extensão em que as histórias principais foram de fato escolhidas por editores humanos.

[5] O diálogo em Beavis and Butthead era composto em grande parte por esses, e quando leio comentários em sites realmente ruins, posso ouvi-los em suas vozes.

[6] Suspeito que a maioria das técnicas para desencorajar comentários estúpidos ainda não foram descobertas. O xkcd implementou uma particularmente inteligente em seu canal IRC: não permitir a mesma coisa duas vezes. Uma vez que alguém disse "falha", ninguém pode dizer isso novamente. Isso penalizaria comentários curtos especialmente, porque eles têm menos espaço para evitar colisões.

Outra ideia promissora é o filtro estúpido, que é exatamente como um filtro de spam probabilístico, mas treinado em corpora de comentários estúpidos e não estúpidos.

Você pode não precisar eliminar comentários ruins para resolver o problema. Comentários na parte inferior de um longo tópico são raramente vistos, então pode ser suficiente incorporar uma previsão de qualidade no algoritmo de classificação de comentários.

[7] O que torna a maioria dos subúrbios tão desmoralizantes é que não há centro para se caminhar.

Agradecimentos a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear e Fred Wilson por lerem rascunhos deste texto.

Comentário sobre esse ensaio.