O QUE APRENDI COM O HACKER NEWS

Fevereiro de 2009

O Hacker News fez dois anos na semana passada. Inicialmente, era para ser um projeto paralelo — um aplicativo para aprimorar o Arc e um lugar para os atuais e futuros fundadores do Y Combinator trocarem notícias. Ele cresceu e tomou mais tempo do que eu esperava, mas não me arrependo porque aprendi muito trabalhando nele.

Crescimento

Quando lançamos em fevereiro de 2007, o tráfego durante a semana era de cerca de 1600 visitantes únicos diários. Desde então, cresceu para cerca de 22.000. Essa taxa de crescimento é um pouco maior do que eu gostaria. Eu gostaria que o site crescesse, já que um site que não está crescendo pelo menos lentamente provavelmente está morto. Mas eu não gostaria que ele crescesse tanto quanto o Digg ou o Reddit — principalmente porque isso diluiria o caráter do site, mas também porque eu não quero gastar todo o meu tempo lidando com dimensionamento.

Eu já tenho problemas o suficiente com isso. Lembre-se, a motivação original para o HN era testar uma nova linguagem de programação, e além disso uma que é focada em experimentar com design de linguagem, não desempenho. Toda vez que o site fica lento, eu me fortaleço relembrando a famosa citação de McIlroy e Bentley

A chave para o desempenho é a elegância, não batalhões de casos especiais.

e procurar o gargalo que posso remover com menos código. Até agora, consegui acompanhar, no sentido de que o desempenho permaneceu consistentemente medíocre, apesar do crescimento de 14x. Não sei o que farei a seguir, mas provavelmente pensarei em algo.

Essa é minha atitude em relação ao site em geral. O Hacker News é um experimento, e um experimento em um campo muito jovem. Sites desse tipo têm apenas alguns anos. A conversa na Internet geralmente tem apenas algumas décadas. Então, provavelmente descobrimos apenas uma fração do que eventualmente descobriremos.

É por isso que estou tão otimista sobre HN. Quando uma tecnologia é tão jovem, as soluções existentes geralmente são terríveis; o que significa que deve ser possível fazer muito melhor; o que significa que muitos problemas que parecem insolúveis não são. Incluindo, espero, o problema que afligiu tantas comunidades anteriores: ser arruinado pelo crescimento.

Diluição

Os usuários se preocupam com isso desde que o site tinha alguns meses. Até agora, esses alarmes têm sido falsos, mas podem não ser sempre. Diluição é um problema difícil. Mas provavelmente solúvel; não significa muito que conversas abertas tenham sido "sempre" destruídas pelo crescimento quando "sempre" equivale a 20 instâncias.

Mas é importante lembrar que estamos tentando resolver um novo problema, porque isso significa que teremos que tentar coisas novas, a maioria das quais provavelmente não funcionará. Algumas semanas atrás, tentei exibir os nomes dos usuários com as maiores pontuações médias de comentários em laranja. [ 1 ] Isso foi um erro. De repente, uma cultura que estava mais ou menos unida foi dividida entre os que têm e os que não têm. Não percebi o quão unida a cultura estava até vê-la dividida. Foi doloroso de assistir. [ 2 ]

Então, nomes de usuários laranja não voltarão. (Desculpe por isso.) Mas haverá outras ideias igualmente quebradas no futuro, e as que funcionarem provavelmente parecerão tão quebradas quanto as que não funcionarem.

Provavelmente a coisa mais importante que aprendi sobre diluição é que ela é medida mais em comportamento do que em usuários. É o mau comportamento que você quer manter fora mais do que pessoas más. O comportamento do usuário acaba sendo surpreendentemente maleável. Se espera- se que as pessoas se comportem bem, elas tendem a fazê-lo; e vice-versa.

Embora, é claro, proibir mau comportamento tenda a manter pessoas más longe, porque elas se sentem desconfortavelmente constrangidas em um lugar onde precisam se comportar bem. Mas essa maneira de mantê-las fora é mais gentil e provavelmente também mais eficaz do que barreiras abertas.

Está bem claro agora que a teoria das janelas quebradas se aplica também a sites comunitários. A teoria é que formas menores de mau comportamento encorajam outras piores: que um bairro com muitos grafites e janelas quebradas se torna um onde ocorrem roubos. Eu estava morando em Nova York quando Giuliani introduziu as reformas que tornaram a teoria das janelas quebradas famosa, e a transformação foi milagrosa. E eu era um usuário do Reddit quando o oposto aconteceu lá, e a transformação foi igualmente dramática.

Não estou criticando Steve e Alexis. O que aconteceu com o Reddit não aconteceu por negligência. Desde o começo, eles tinham uma política de censurar nada, exceto spam. Além disso, o Reddit tinha objetivos diferentes do Hacker News. O Reddit era uma startup, não um projeto paralelo; seu objetivo era crescer o mais rápido possível. Combine crescimento rápido e censura zero, e o resultado é um vale-tudo. Mas não acho que eles fariam muito diferente se estivessem fazendo isso de novo. Medido pelo tráfego, o Reddit é muito mais bem-sucedido do que o Hacker News.

Mas o que aconteceu com o Reddit não acontecerá inevitavelmente com o HN. Existem vários máximos locais. Pode haver lugares que são livres para todos e lugares que são mais atenciosos, assim como há no mundo real; e as pessoas se comportarão de forma diferente dependendo de onde estiverem, assim como fazem no mundo real.

Eu observei isso na natureza. Vi pessoas fazendo cross-posting no Reddit e no Hacker News que realmente se deram ao trabalho de escrever duas versões, uma flame para o Reddit e uma versão mais moderada para o HN.

Submissões

Há dois tipos principais de problemas que um site como o Hacker News precisa evitar: histórias ruins e comentários ruins. Até agora, o perigo de histórias ruins parece menor. As histórias na página inicial agora ainda são mais ou menos as mesmas que estariam lá quando o HN começou.

Uma vez pensei que teria que pesar votos para manter porcaria fora da página inicial, mas ainda não precisei. Eu não teria previsto que a página inicial se manteria tão bem, e não tenho certeza do porquê. Talvez apenas os usuários mais atenciosos se importem o suficiente para enviar e votar positivamente nos links, então o custo marginal de um novo usuário aleatório se aproxima de zero. Ou talvez a página inicial se proteja, anunciando que tipo de envio é esperado.

A coisa mais perigosa para a página inicial é o material que é muito fácil de votar positivamente. Se alguém prova um novo teorema, é preciso algum trabalho do leitor para decidir se deve ou não votar positivamente. Um desenho animado divertido leva menos. Um discurso com um grito de guerra como título leva zero, porque as pessoas votam positivamente sem nem mesmo ler.

Daí o que chamo de Princípio Fluff: em um site de notícias votado pelos usuários, os links mais fáceis de julgar assumirão o controle, a menos que você tome medidas específicas para evitar isso.

O Hacker News tem dois tipos de proteção contra fluff. Os tipos mais comuns de links fluff são banidos como off-topic. Fotos de gatinhos, diatribes políticas e assim por diante são explicitamente banidos. Isso mantém a maioria dos fluffs fora, mas não todos. Alguns links são fluff, no sentido de serem muito curtos, e também no tópico.

Não há uma solução única para isso. Se um link é apenas um discurso vazio, os editores às vezes o matam, mesmo que seja sobre o tópico no sentido de ser sobre hacking, porque não é sobre o tópico pelo padrão real, que é envolver a curiosidade intelectual de alguém. Se as postagens em um site são caracteristicamente desse tipo, às vezes eu o bano, o que significa que novas coisas naquela url são mortas automaticamente. Se uma postagem tem um título de isca de link, os editores às vezes o reformulam para ser mais prático. Isso é especialmente necessário com links cujos títulos são gritos de guerra, porque, do contrário, eles se tornam postagens implícitas do tipo "vote se você acredita em tal e tal", que são a forma mais extrema de fofoca.

As técnicas para lidar com links precisam evoluir, porque os links evoluem. A existência de agregadores já afetou o que eles agregam. Os escritores agora escrevem coisas deliberadamente para atrair tráfego de agregadores — às vezes até mesmo de agregadores específicos. (Não, a ironia dessa declaração não me escapou.) Depois, há as mutações mais sinistras, como o linkjacking — postar uma paráfrase do artigo de outra pessoa e enviá-la em vez do original. Isso pode obter muitos votos positivos, porque muito do que é bom em um artigo geralmente sobrevive; na verdade, quanto mais próxima a paráfrase estiver do plágio, mais sobrevive. [ 3 ]

Acho importante que um site que mata envios forneça uma maneira para os usuários verem o que foi morto, se quiserem. Isso mantém os editores honestos e, tão importante quanto, deixa os usuários confiantes de que saberiam se os editores parassem de ser honestos. Os usuários do HN podem fazer isso acionando um botão chamado showdead em seu perfil. [ 4 ]

Comentários

Comentários ruins parecem ser um problema mais difícil do que envios ruins. Embora a qualidade dos links na página inicial do HN não tenha mudado muito, a qualidade do comentário mediano pode ter diminuído um pouco.

Existem dois tipos principais de maldade em comentários: maldade e estupidez. Há muita sobreposição entre os dois — comentários maldosos têm uma probabilidade desproporcional de também serem idiotas — mas as estratégias para lidar com eles são diferentes. A maldade é mais fácil de controlar. Você pode ter regras dizendo que não se deve ser maldoso, e se você as aplicar, parece possível manter a maldade sob controle.

Manter a estupidez sob controle é mais difícil, talvez porque a estupidez não seja tão facilmente distinguível. Pessoas más têm mais probabilidade de saber que estão sendo más do que pessoas estúpidas de saber que estão sendo estúpidas.

A forma mais perigosa de comentário estúpido não é o argumento longo, mas equivocado, mas a piada idiota. Argumentos longos, mas equivocados, são realmente muito raros. Há uma forte correlação entre a qualidade do comentário e o comprimento; se você quisesse comparar a qualidade dos comentários em sites da comunidade, o comprimento médio seria um bom preditor. Provavelmente a causa é a natureza humana, em vez de algo específico para tópicos de comentários. Provavelmente é simplesmente que a estupidez mais frequentemente assume a forma de ter poucas ideias do que ideias erradas.

Seja qual for a causa, comentários estúpidos tendem a ser curtos. E como é difícil escrever um comentário curto que se destaque pela quantidade de informação que transmite, as pessoas tentam distingui-los sendo engraçados. O formato mais tentador para comentários estúpidos é o supostamente espirituoso desprezo, provavelmente porque desprezos são a forma mais fácil de humor. [ 5 ] Então, uma vantagem de proibir a maldade é que isso também reduz essas.

Comentários ruins são como kudzu: eles assumem o controle rapidamente. Comentários têm muito mais efeito em novos comentários do que envios têm em novos envios. Se alguém envia um artigo ruim, os outros envios não se tornam todos ruins. Mas se alguém posta um comentário idiota em um tópico, isso define o tom para a região ao redor dele. As pessoas respondem a piadas idiotas com piadas idiotas.

Talvez a solução seja adicionar um atraso antes que as pessoas possam responder a um comentário, e tornar a duração do atraso inversamente proporcional a alguma previsão de sua qualidade. Então, os tópicos idiotas cresceriam mais lentamente. [ 6 ]

Pessoas

Percebo que a maioria das técnicas que descrevi são conservadoras: elas visam preservar o caráter do site em vez de melhorá-lo. Não acho que seja um preconceito meu. É devido ao formato do problema. O Hacker News teve a sorte de começar bem, então, neste caso, é literalmente uma questão de preservação. Mas acho que esse princípio também se aplicaria a sites com origens diferentes.

As coisas boas em um site comunitário vêm mais das pessoas do que da tecnologia; é principalmente na prevenção de coisas ruins que a tecnologia entra em jogo. A tecnologia certamente pode melhorar a discussão. Comentários aninhados, por exemplo. Mas eu prefiro usar um site com recursos primitivos e usuários inteligentes e legais do que um mais avançado cujos usuários são idiotas ou trolls .

Então, a coisa mais importante que um site de comunidade pode fazer é atrair o tipo de pessoa que ele quer. Um site tentando ser o maior possível quer atrair todo mundo. Mas um site que visa um subconjunto específico de usuários tem que atrair apenas esses — e, tão importante quanto, repelir todos os outros. Fiz um esforço consciente para fazer isso no HN. O design gráfico é o mais simples possível, e as regras do site desencorajam títulos de links dramáticos. O objetivo é que a única coisa que interesse a alguém que chega ao HN pela primeira vez sejam as ideias expressas ali.

A desvantagem de ajustar um site para atrair certas pessoas é que, para essas pessoas, ele pode ser muito atraente. Estou ciente de quão viciante o Hacker News pode ser. Para mim, como para muitos usuários, é uma espécie de praça virtual. Quando quero dar uma pausa no trabalho, entro na praça, assim como faria na Harvard Square ou na University Ave no mundo físico. [ 7 ] Mas uma praça online é mais perigosa do que uma física. Se eu passasse metade do dia perambulando na University Ave, eu notaria. Tenho que andar uma milha para chegar lá, e sentar em um café é diferente de trabalhar. Mas visitar um fórum online leva apenas um clique e parece superficialmente muito com trabalhar. Você pode estar desperdiçando seu tempo, mas não está ocioso. Alguém está errado na Internet, e você está consertando o problema.

O Hacker News é definitivamente útil. Aprendi muito com coisas que li no HN. Escrevi vários ensaios que começaram como comentários lá. Então, eu não gostaria que o site desaparecesse. Mas eu gostaria de ter certeza de que não é um obstáculo à produtividade. Que desastre seria atrair milhares de pessoas inteligentes para um site que as fizesse perder muito tempo. Eu queria ter 100% de certeza de que isso não é uma descrição do HN.

Sinto que o vício em jogos e aplicativos sociais ainda é um problema em grande parte não resolvido. A situação agora é como era com o crack nos anos 1980: inventamos coisas novas terrivelmente viciantes e ainda não evoluímos maneiras de nos proteger delas. Eventualmente, iremos, e esse é um dos problemas em que espero focar a seguir.

Notas

[ 1 ] Tentei classificar os usuários por pontuação média e mediana de comentários, e a média (com a pontuação mais alta descartada) pareceu o preditor mais preciso de alta qualidade. A mediana pode ser o preditor mais preciso de baixa qualidade.

[ 2 ] Outra coisa que aprendi com esse experimento é que se você vai distinguir entre pessoas, é melhor ter certeza de que está fazendo isso direito. Esse é um problema em que a prototipagem rápida não funciona.

De fato, esse é o argumento intelectualmente honesto para não discriminar entre vários tipos de pessoas. A razão para não fazer isso não é que todos são iguais, mas que é ruim fazer o errado e difícil fazer o certo.

[ 3 ] Quando pego postagens com links sequestrados, substituo a URL pela do que quer que tenham copiado. Sites que habitualmente fazem linkjack são banidos.

[ 4 ] O Digg é notório por sua falta de transparência. A raiz do problema não é que os caras que comandam o Digg sejam especialmente sorrateiros, mas que eles usam o algoritmo errado para gerar sua página inicial. Em vez de borbulhar de baixo para cima conforme eles obtêm mais votos, como no Reddit, as histórias começam no topo e são empurradas para baixo por novas chegadas.

O motivo da diferença é que o Digg é derivado do Slashdot, enquanto o Reddit é derivado do Delicious/popular. O Digg é o Slashdot com votação em vez de editores, e o Reddit é o Delicious/popular com votação em vez de marcadores. (Você ainda pode ver fósseis de suas origens em seu design gráfico.)

O algoritmo do Digg é muito vulnerável a jogos, porque qualquer história que chega à primeira página é a nova história principal. O que, por sua vez, força o Digg a responder com contramedidas extremas. Muitas startups têm algum tipo de segredo sobre os subterfúgios aos quais tiveram que recorrer nos primeiros dias, e suspeito que o do Digg seja a extensão em que as principais histórias foram de fato escolhidas por editores humanos.

[ 5 ] O diálogo em Beavis e Butthead foi composto em grande parte por estes, e quando leio comentários em sites realmente ruins, posso ouvi-los em suas vozes.

[ 6 ] Suspeito que a maioria das técnicas para desencorajar comentários estúpidos ainda não foram descobertas. O Xkcd implementou uma particularmente inteligente em seu canal IRC: não permita a mesma coisa duas vezes. Uma vez que alguém tenha dito "falha", ninguém pode dizê-lo novamente. Isso penalizaria comentários curtos especialmente, porque eles têm menos espaço para evitar colisões.

Outra ideia promissora é o filtro estúpido , que é como um filtro de spam probabilístico, mas treinado em corpora de comentários estúpidos e não estúpidos.

Talvez você não precise matar comentários ruins para resolver o problema. Comentários no final de um tópico longo raramente são vistos, então pode ser suficiente incorporar uma previsão de qualidade no algoritmo de classificação de comentários.

[ 7 ] O que torna a maioria dos subúrbios tão desmoralizantes é que não há um centro para onde se possa ir a pé.

Obrigado a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear e Fred Wilson pela leitura dos rascunhos.

Comente este ensaio.