O QUE APRENDI COM O HACKER NEWS

Fevereiro de 2009

O Hacker News completou dois anos na semana passada. Inicialmente, era para ser um projeto secundário - uma aplicação para aprimorar o Arc e um lugar para os atuais e futuros fundadores do Y Combinator trocarem notícias. Ele cresceu mais e tomou mais tempo do que eu esperava, mas não me arrependo disso, pois aprendi muito trabalhando nele.

Crescimento

Quando lançamos em fevereiro de 2007, o tráfego em dias úteis era de cerca de 1.600 visitantes únicos. Desde então, cresceu para cerca de 22.000. Esta taxa de crescimento é um pouco mais alta do que eu gostaria. Eu gostaria que o site crescesse, pois um site que não está crescendo pelo menos lentamente provavelmente está morto. Mas eu não gostaria que ele crescesse tanto quanto o Digg ou o Reddit - principalmente porque isso diluiria o caráter do site, mas também porque não quero passar todo o meu tempo lidando com o dimensionamento.

Eu já tenho problemas suficientes com isso. Lembre-se, a motivação original para o HN era testar uma nova linguagem de programação e, além disso, uma que se concentra em experimentar com o design da linguagem, não no desempenho. Toda vez que o site fica lento, eu me fortaleço relembrando a famosa citação de McIlroy e Bentley:

A chave para o desempenho é a elegância, não os batalhões de casos especiais.

e procuro o gargalo que posso remover com o mínimo de código. Até agora tenho conseguido acompanhar, no sentido de que o desempenho permaneceu consistentemente medíocre, apesar de um crescimento de 14 vezes. Não sei o que farei a seguir, mas provavelmente pensarei em algo.

Esta é minha atitude em relação ao site em geral. O Hacker News é um experimento e um experimento em um campo muito jovem. Sites deste tipo têm apenas alguns anos. A conversa na Internet em geral tem apenas algumas décadas. Então provavelmente descobrimos apenas uma fração do que eventualmente descobriremos.

É por isso que sou tão otimista em relação ao HN. Quando uma tecnologia é tão jovem, as soluções existentes geralmente são terríveis; o que significa que deve ser possível fazer muito melhor; o que significa que muitos problemas que parecem insolúveis não são. Incluindo, espero, o problema que afligiu tantas comunidades anteriores: ser arruinado pelo crescimento.

Diluição

Os usuários se preocupam com isso desde que o site tinha alguns meses. Até agora esses alarmes foram falsos, mas podem não ser sempre. A diluição é um problema difícil. Mas provavelmente solucionável; não significa muito que as conversas abertas tenham "sempre" sido destruídas pelo crescimento quando "sempre" equivale a 20 instâncias.

Mas é importante lembrar que estamos tentando resolver um novo problema, porque isso significa que teremos que tentar coisas novas, a maioria das quais provavelmente não funcionará. Há algumas semanas, tentei exibir os nomes dos usuários com as maiores pontuações médias de comentários em laranja. [1] Foi um erro. De repente, uma cultura que havia sido mais ou menos unida se dividiu em ricos e pobres. Eu não percebi o quão unida a cultura havia sido até vê-la dividida. [2] Foi doloroso de assistir.

Então os nomes de usuário em laranja não voltarão. (Desculpe por isso.) Mas haverá outras ideias igualmente quebradas no futuro, e as que se revelarem funcionar provavelmente parecerão tão quebradas quanto as que não funcionarem.

Provavelmente a coisa mais importante que aprendi sobre diluição é que ela é medida mais em comportamento do que em usuários. É o mau comportamento que você quer manter fora, mais do que as pessoas ruins. O comportamento do usuário se revela surpreendentemente maleável. Se as pessoas são esperadas a se comportar bem, elas tendem a; e vice-versa.

Embora, é claro, proibir o mau comportamento tenda a afastar as pessoas ruins, porque elas se sentem incomodadas em um lugar onde têm que se comportar bem. Mas essa maneira de mantê-las afastadas é mais suave e provavelmente também mais eficaz do que barreiras explícitas.

É bastante claro agora que a teoria das janelas quebradas se aplica também aos sites da comunidade. A teoria é que formas menores de mau comportamento encorajam outras piores: que um bairro com muitos grafites e janelas quebradas se torna um onde ocorrem roubos. Eu estava morando em Nova York quando Giuliani introduziu as reformas que tornaram a teoria das janelas quebradas famosa, e a transformação foi milagrosa. E eu era um usuário do Reddit quando o oposto aconteceu lá, e a transformação foi igualmente dramática.

Não estou criticando o Steve e o Alexis. O que aconteceu com o Reddit não aconteceu por negligência. Desde o início, eles tinham uma política de censurar apenas spam. Além disso, o Reddit tinha objetivos diferentes do Hacker News. O Reddit era uma startup, não um projeto lateral; seu objetivo era crescer o mais rápido possível. Combine o crescimento rápido e a censura zero, e o resultado é uma bagunça total. Mas não acho que eles fariam muito diferente se estivessem fazendo de novo. Medido pelo tráfego, o Reddit é muito mais bem-sucedido do que o Hacker News.

Mas o que aconteceu com o Reddit não acontecerá inevitavelmente com o HN. Existem vários máximos locais. Pode haver lugares que são bagunças totais e lugares que são mais ponderados, assim como no mundo real; e as pessoas se comportarão de maneira diferente dependendo de qual deles estiverem, assim como no mundo real.

Eu observei isso na natureza. Eu vi pessoas postando no Reddit e no Hacker News que realmente se deram o trabalho de escrever duas versões, uma inflamada para o Reddit e uma mais contida para o HN.

Submissões

Existem dois tipos principais de problemas que um site como o Hacker News precisa evitar: histórias ruins e comentários ruins. Até agora, o perigo de histórias ruins parece menor. As histórias na página inicial agora são ainda aproximadamente as que estariam lá quando o HN começou.

Eu uma vez pensei que teria que ponderar os votos para manter o lixo fora da página inicial, mas ainda não precisei. Eu não teria previsto que a página inicial se manteria tão bem, e não tenho certeza do porquê. Talvez apenas os usuários mais ponderados se importem o suficiente para enviar e votar em links, então o custo marginal de um novo usuário aleatório se aproxima de zero. Ou talvez a página inicial se proteja por si só, anunciando o tipo de submissão esperado.

O mais perigoso para a página inicial é algo que é muito fácil de votar. Se alguém prova um novo teorema, o leitor precisa de algum trabalho para decidir se vota ou não. Uma charge engraçada leva menos. Um discurso inflamado com um grito de guerra como título não leva nada, porque as pessoas votam nele sem nem mesmo lê-lo.

Daí o que eu chamo de Princípio da Futilidade: em um site de notícias com votos de usuários, os links mais fáceis de julgar tomarão conta a menos que você tome medidas específicas para evitá-lo.

O Hacker News tem dois tipos de proteções contra a futilidade. Os tipos mais comuns de links fúteis são proibidos como fora do tópico. Fotos de gatinhos, diatribes políticas e assim por diante são explicitamente proibidas. Isso mantém a maior parte da futilidade fora, mas não toda. Alguns links são tanto fúteis, no sentido de serem muito curtos, quanto também relevantes.

Não há uma solução única para isso. Se um link for apenas um discurso vazio, os editores às vezes o matarão mesmo que seja relevante no sentido de ser sobre hacking, porque não é relevante pelo padrão real, que é envolver a curiosidade intelectual da pessoa. Se as postagens em um site forem caracteristicamente desse tipo, às vezes eu o proíbo, o que significa que novos conteúdos naquele URL serão automaticamente eliminados. Se uma postagem tiver um título de clique, os editores às vezes o reformulam para ser mais objetivo. Isso é especialmente necessário com links cujos títulos são gritos de guerra, porque caso contrário eles se tornam postagens implícitas de "vote se você acredita em tal e tal", que são a forma mais extrema de futilidade.

As técnicas para lidar com links têm que evoluir, porque os links também evoluem. A existência de agregadores já afetou o que eles agregam. Os escritores agora escrevem deliberadamente coisas para atrair tráfego de agregadores - às vezes até mesmo de agregadores específicos. (Não, a ironia dessa declaração não me passou despercebida.) Então existem as mutações mais sinistras, como o linkjacking - postar uma paráfrase de um artigo de outra pessoa e enviar isso em vez do original. Esses podem obter muitos votos positivos, porque muita coisa boa em um artigo geralmente sobrevive; de fato, quanto mais próxima a paráfrase estiver do plágio, mais sobrevive. [3]

Acho importante que um site que elimina envios forneça uma maneira para os usuários verem o que foi eliminado, se quiserem. Isso mantém os editores honestos e, o que é tão importante quanto, faz com que os usuários tenham confiança de que saberiam se os editores parassem de ser honestos. Os usuários do HN podem fazer isso invertendo um interruptor chamado showdead em seu perfil. [4]

Comentários

Comentários ruins parecem ser um problema mais difícil do que envios ruins. Embora a qualidade dos links na página inicial do HN não tenha mudado muito, a qualidade do comentário mediano pode ter diminuído um pouco.

Existem dois tipos principais de maldade em comentários: maldade e estupidez. Há muita sobreposição entre os dois - comentários maldosos têm probabilidade desproporcional de também serem tolos - mas as estratégias para lidar com eles são diferentes. A maldade é mais fácil de controlar. Você pode ter regras dizendo que não se deve ser maldoso e, se as aplicar, parece possível manter a maldade sob controle.

Manter a estupidez sob controle é mais difícil, talvez porque a estupidez não seja tão facilmente distinguível. As pessoas más provavelmente sabem que estão sendo más mais do que as pessoas estúpidas sabem que estão sendo estúpidas.

A forma mais perigosa de comentário estúpido não é o argumento longo, mas errado, mas a piada boba. Argumentos longos, mas equivocados, são na verdade bastante raros. Há uma forte correlação entre a qualidade do comentário e o comprimento; se você quisesse comparar a qualidade dos comentários em sites da comunidade, o comprimento médio seria um bom preditor. Provavelmente a causa é a natureza humana, em vez de algo específico dos threads de comentários. Provavelmente é simplesmente que a estupidez se manifesta mais frequentemente na forma de ter poucas ideias do que ideias erradas.

Seja qual for a causa, os comentários estúpidos tendem a ser curtos. E como é difícil escrever um comentário curto que se destaque pela quantidade de informações que transmite, as pessoas tentam se destacar sendo engraçadas. O formato mais tentador para comentários estúpidos é a suposta piada de mau gosto, provavelmente porque as piadas de mau gosto são a forma mais fácil de humor. [5] Então uma vantagem de proibir a maldade é que também reduz esses.

Comentários ruins são como a kudzu: eles se espalham rapidamente. Os comentários têm muito mais efeito sobre os novos comentários do que os envios têm sobre os novos envios. Se alguém enviar um artigo ruim, os outros envios não se tornarão ruins. Mas se alguém postar um comentário estúpido em um thread, isso define o tom para a região ao redor dele. As pessoas respondem a piadas bobas com piadas bobas.

Talvez a solução seja adicionar um atraso antes que as pessoas possam responder a um comentário e fazer o comprimento do atraso inversamente proporcional a alguma previsão de sua qualidade. Então os threads tolos cresceriam mais devagar. [6]

Pessoas

Percebo que a maioria das técnicas que descrevi são conservadoras: elas visam preservar o caráter do site, em vez de aprimorá-lo. Não acho que esse seja um viés meu. Isso se deve ao formato do problema. O Hacker News teve a sorte de começar bem, então, nesse caso, é literalmente uma questão de preservação. Mas acho que esse princípio também se aplicaria a sites com origens diferentes.

As coisas boas em um site de comunidade vêm mais das pessoas do que da tecnologia; é principalmente na prevenção de coisas ruins que a tecnologia entra em jogo. A tecnologia certamente pode aprimorar a discussão. Comentários aninhados fazem isso, por exemplo. Mas eu preferiria usar um site com recursos primitivos e usuários inteligentes e agradáveis a um mais avançado cujos usuários fossem idiotas ou trolls.

Então a coisa mais importante que um site de comunidade pode fazer é atrair o tipo de pessoas que deseja. Um site que tenta ser o maior possível quer atrair todo mundo. Mas um site que visa um subconjunto particular de usuários precisa atrair apenas aqueles - e tão importante quanto, repelir todos os outros. Fiz um esforço consciente para fazer isso no HN. O design gráfico é o mais simples possível, e as regras do site desencorajam títulos de links dramáticos. O objetivo é que a única coisa a interessar alguém que chega ao HN pela primeira vez sejam as ideias lá expressas.

A desvantagem de sintonizar um site para atrair certas pessoas é que, para essas pessoas, pode ser muito atraente. Estou muito ciente de quão viciante o Hacker News pode ser. Para mim, como para muitos usuários, é uma espécie de praça da cidade virtual. Quando quero fazer uma pausa do trabalho, entro na praça, assim como eu poderia entrar na Harvard Square ou University Ave no mundo físico. [7] Mas uma praça online é mais perigosa do que uma física. Se eu passasse metade do dia vagando pela University Ave, eu notaria. Tenho que andar uma milha para chegar lá, e sentar em um café se sente diferente de trabalhar. Mas visitar um fórum online basta um clique, e se parece superficialmente muito com trabalhar. Você pode estar desperdiçando seu tempo, mas não está ocioso. Alguém está errado na Internet, e você está consertando o problema.

O Hacker News definitivamente é útil. Aprendi muito com as coisas que li no HN. Escrevi vários ensaios que começaram como comentários lá. Então eu não queria que o site desaparecesse. Mas eu gostaria de ter certeza de que não é um arrasto líquido na produtividade. Que desastre seria atrair milhares de pessoas inteligentes para um site que as fizesse perder muito tempo. Gostaria de poder ter 100% de certeza de que essa não é uma descrição do HN.

Sinto que a viciação em jogos e aplicativos sociais ainda é um problema em grande parte não resolvido. A situação agora é como era com o crack nos anos 1980: inventamos coisas terrivelmente viciantes, e ainda não evoluímos maneiras de nos proteger delas. Vamos eventualmente, e esse é um dos problemas em que espero me concentrar a seguir.

Notas

[1] Tentei classificar os usuários tanto pela pontuação média quanto pela mediana do comentário, e a média (com a pontuação alta descartada) pareceu o preditor mais preciso de alta qualidade. A mediana pode ser o preditor mais preciso de baixa qualidade, no entanto.

[2] Outra coisa que aprendi com esse experimento é que se você vai distinguir entre as pessoas, é melhor ter certeza de que faz isso certo. Este é um problema em que o protótipo rápido não funciona.

De fato, esse é o argumento intelectualmente honesto para não discriminar entre vários tipos de pessoas. A razão para não fazer isso não é que todo mundo é o mesmo, mas que é ruim fazer errado e difícil fazer certo.

[3] Quando pego postagens flagrantemente linkjacked, substituo a url pelo que quer que tenham copiado. Sites que habitualmente linkjack são banidos.

[4] O Digg é notório por sua falta de transparência. A raiz do problema não é que os caras que comandam o Digg sejam especialmente sorrateiros, mas que eles usam o algoritmo errado para gerar sua primeira página. Em vez de borbulhar de baixo à medida que recebem mais votos, como no Reddit, as histórias começam no topo e são empurradas para baixo por novos chegados.

A razão da diferença é que o Digg é derivado do Slashdot, enquanto o Reddit é derivado do Delicious/popular. O Digg é o Slashdot com votação em vez de editores, e o Reddit é o Delicious/popular com votação em vez de marcação de favoritos. (Você ainda pode ver fósseis de suas origens em seu design gráfico.)

O algoritmo do Digg é muito vulnerável a manipulação, porque qualquer história que chegue à página inicial é a nova história principal. Isso, por sua vez, força o Digg a responder com medidas extremas de contramedidas. Muitas startups têm algum tipo de segredo sobre os subterfúgios a que tiveram que recorrer nos primeiros dias, e suspeito que o do Digg seja a medida em que as principais histórias eram de fato escolhidas por editores humanos.

[5] O diálogo em Beavis and Butthead foi composto em grande parte por esses, e quando leio comentários em sites realmente ruins, posso ouvi-los em suas vozes.

[6] Suspeito que a maioria das técnicas para desestimular comentários estúpidos ainda esteja por ser descoberta. O Xkcd implementou uma particularmente inteligente em seu canal IRC: não permitir a mesma coisa duas vezes. Uma vez que alguém tenha dito "falha", ninguém pode dizer isso novamente. Isso penalizaria especialmente os comentários curtos, porque eles têm menos espaço para evitar colisões.

Outra ideia promissora é o filtro de estupidez, que é apenas como um filtro de spam probabilístico, mas treinado em corpora de comentários estúpidos e não estúpidos.

Você pode não ter que matar comentários ruins para resolver o problema. Comentários na parte inferior de um longo tópico raramente são vistos, então pode ser suficiente incorporar uma previsão de qualidade no algoritmo de classificação de comentários.

[7] O que torna a maioria dos subúrbios tão desmoralizante é que não há centro para onde caminhar.

Obrigado a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear e Fred Wilson por lerem rascunhos deste.

Comentário sobre este ensaio.