LO QUE HE APRENDIDO DE HACKER NEWS

febrero de 2009

Hacker News cumplió dos años la semana pasada. Inicialmente se suponía que sería un proyecto secundario—una aplicación para afinar Arc, y un lugar para que los fundadores actuales y futuros de Y Combinator intercambiaran noticias. Ha crecido más y ha ocupado más tiempo del que esperaba, pero no me arrepiento de eso porque he aprendido tanto al trabajar en él.

Crecimiento

Cuando lanzamos en febrero de 2007, el tráfico diario en días de semana era de alrededor de 1600 usuarios únicos. Desde entonces ha crecido a alrededor de 22,000. Esta tasa de crecimiento es un poco más alta de lo que me gustaría. Me gustaría que el sitio creciera, ya que un sitio que no está creciendo al menos lentamente probablemente está muerto. Pero no querría que creciera tanto como Digg o Reddit—principalmente porque eso diluiría el carácter del sitio, pero también porque no quiero pasar todo mi tiempo lidiando con la escalabilidad.

Ya tengo suficientes problemas con eso. Recuerda, la motivación original para HN era probar un nuevo lenguaje de programación, y además uno que se centra en experimentar con el diseño del lenguaje, no en el rendimiento. Cada vez que el sitio se vuelve lento, me fortifico recordando la famosa cita de McIlroy y Bentley:

La clave del rendimiento es la elegancia, no batallones de casos especiales.

y busco el cuello de botella que puedo eliminar con menos código. Hasta ahora he podido mantenerme al día, en el sentido de que el rendimiento ha permanecido consistentemente mediocre a pesar de un crecimiento de 14x. No sé qué haré a continuación, pero probablemente pensaré en algo.

Esta es mi actitud hacia el sitio en general. Hacker News es un experimento, y un experimento en un campo muy joven. Los sitios de este tipo tienen solo unos pocos años. La conversación en Internet en general tiene solo unas pocas décadas. Así que probablemente solo hemos descubierto una fracción de lo que eventualmente descubriremos.

Por eso soy tan optimista sobre HN. Cuando una tecnología es tan joven, las soluciones existentes suelen ser terribles; lo que significa que debe ser posible hacerlo mucho mejor; lo que significa que muchos problemas que parecen insolubles no lo son. Incluyendo, espero, el problema que ha afligido a tantas comunidades anteriores: ser arruinadas por el crecimiento.

Dilución

Los usuarios se han preocupado por eso desde que el sitio tenía unos pocos meses. Hasta ahora estas alarmas han sido falsas, pero puede que no siempre lo sean. La dilución es un problema difícil. Pero probablemente soluble; no significa mucho que las conversaciones abiertas "siempre" hayan sido destruidas por el crecimiento cuando "siempre" equivale a 20 instancias.

Pero es importante recordar que estamos tratando de resolver un nuevo problema, porque eso significa que vamos a tener que probar cosas nuevas, la mayoría de las cuales probablemente no funcionarán. Hace un par de semanas intenté mostrar los nombres de los usuarios con los puntajes promedio de comentarios más altos en naranja. [1] Eso fue un error. De repente, una cultura que había estado más o menos unida se dividió en los que tienen y los que no tienen. No me di cuenta de cuán unida había estado la cultura hasta que la vi dividida. Fue doloroso de ver. [2]

Así que los nombres de usuario en naranja no volverán. (Lo siento por eso.) Pero habrá otras ideas que parecen igualmente rotas en el futuro, y las que resulten funcionar probablemente parecerán tan rotas como las que no.

Probablemente lo más importante que he aprendido sobre la dilución es que se mide más en comportamiento que en usuarios. Es el mal comportamiento que quieres mantener fuera más que las malas personas. El comportamiento de los usuarios resulta ser sorprendentemente maleable. Si se espera que las personas se comporten bien, tienden a hacerlo; y viceversa.

Aunque, por supuesto, prohibir el mal comportamiento tiende a mantener alejadas a las malas personas, porque se sienten incómodamente restringidas en un lugar donde tienen que comportarse bien. Pero esta forma de mantenerlas fuera es más suave y probablemente también más efectiva que las barreras abiertas.

Está bastante claro ahora que la teoría de las ventanas rotas se aplica también a los sitios comunitarios. La teoría es que las formas menores de mal comportamiento fomentan peores: que un vecindario con mucha graffiti y ventanas rotas se convierte en uno donde ocurren robos. Estaba viviendo en Nueva York cuando Giuliani introdujo las reformas que hicieron famosa la teoría de las ventanas rotas, y la transformación fue milagrosa. Y era un usuario de Reddit cuando ocurrió lo opuesto allí, y la transformación fue igualmente dramática.

No estoy criticando a Steve y Alexis. Lo que le sucedió a Reddit no ocurrió por negligencia. Desde el principio tuvieron una política de no censurar nada excepto spam. Además, Reddit tenía objetivos diferentes a los de Hacker News. Reddit era una startup, no un proyecto secundario; su objetivo era crecer lo más rápido posible. Combina un crecimiento rápido y cero censura, y el resultado es un todos contra todos. Pero no creo que hicieran mucho diferente si lo hicieran de nuevo. Medido por tráfico, Reddit es mucho más exitoso que Hacker News.

Pero lo que le sucedió a Reddit no sucederá inevitablemente a HN. Hay varios máximos locales. Puede haber lugares que sean un todos contra todos y lugares que sean más reflexivos, así como los hay en el mundo real; y las personas se comportarán de manera diferente dependiendo de cuál estén, así como lo hacen en el mundo real.

He observado esto en la naturaleza. He visto a personas publicar en Reddit y Hacker News que realmente se tomaron la molestia de escribir dos versiones, una incendiaria para Reddit y una versión más contenida para HN.

Envíos

Hay dos tipos principales de problemas que un sitio como Hacker News necesita evitar: malas historias y malos comentarios. Hasta ahora, el peligro de malas historias parece ser menor. Las historias en la página principal ahora son todavía aproximadamente las que habrían estado allí cuando HN comenzó.

Una vez pensé que tendría que ponderar los votos para mantener la basura fuera de la página principal, pero aún no he tenido que hacerlo. No habría predicho que la página principal se mantendría tan bien, y no estoy seguro de por qué lo ha hecho. Quizás solo los usuarios más reflexivos se preocupan lo suficiente como para enviar y votar enlaces, por lo que el costo marginal de un nuevo usuario aleatorio se acerca a cero. O quizás la página principal se protege a sí misma, al publicitar qué tipo de envío se espera.

Lo más peligroso para la página principal son las cosas que son demasiado fáciles de votar. Si alguien demuestra un nuevo teorema, se requiere algo de trabajo por parte del lector para decidir si votarlo o no. Una caricatura divertida requiere menos. Un grito con un lema como título requiere cero, porque la gente lo vota sin siquiera leerlo.

De ahí lo que llamo el Principio de la Basura: en un sitio de noticias votado por usuarios, los enlaces que son más fáciles de juzgar dominarán a menos que tomes medidas específicas para prevenirlo.

Hacker News tiene dos tipos de protecciones contra la basura. Los tipos más comunes de enlaces basura están prohibidos como fuera de tema. Imágenes de gatitos, diatribas políticas, y así sucesivamente están explícitamente prohibidas. Esto mantiene fuera la mayor parte de la basura, pero no toda. Algunos enlaces son tanto basura, en el sentido de ser muy cortos, como también están en tema.

No hay una solución única para eso. Si un enlace es solo un grito vacío, los editores a veces lo eliminan incluso si está en tema en el sentido de tratar sobre hacking, porque no está en tema por el verdadero estándar, que es involucrar la curiosidad intelectual de uno. Si las publicaciones en un sitio son característicamente de este tipo, a veces lo prohíbo, lo que significa que el nuevo contenido en esa URL se elimina automáticamente. Si una publicación tiene un título que atrae clics, los editores a veces lo reformulan para que sea más objetivo. Esto es especialmente necesario con enlaces cuyos títulos son lemas, porque de lo contrario se convierten en publicaciones implícitas de "vota si crees en tal o cual", que son la forma más extrema de basura.

Las técnicas para lidiar con enlaces tienen que evolucionar, porque los enlaces lo hacen. La existencia de agregadores ya ha afectado lo que agregan. Los escritores ahora deliberadamente escriben cosas para atraer tráfico de agregadores— a veces incluso de específicos. (No, la ironía de esta declaración no se me escapa.) Luego están las mutaciones más siniestras, como el linkjacking—publicar una paráfrasis del artículo de otra persona y enviar eso en lugar del original. Estos pueden obtener muchos votos, porque a menudo lo que es bueno en un artículo sobrevive; de hecho, cuanto más cerca esté la paráfrasis de ser plagio, más sobrevive. [3]

Creo que es importante que un sitio que elimina envíos proporcione una forma para que los usuarios vean qué fue eliminado si lo desean. Eso mantiene a los editores honestos, y, igual de importante, hace que los usuarios confíen en que sabrían si los editores dejaran de ser honestos. Los usuarios de HN pueden hacer esto activando un interruptor llamado showdead en su perfil. [4]

Comentarios

Los malos comentarios parecen ser un problema más difícil que los malos envíos. Mientras que la calidad de los enlaces en la página principal de HN no ha cambiado mucho, la calidad del comentario mediano puede haber disminuido algo.

Hay dos tipos principales de maldad en los comentarios: malicia y estupidez. Hay mucha superposición entre los dos—los comentarios maliciosos son desproporcionadamente propensos a ser también tontos—pero las estrategias para lidiar con ellos son diferentes. La malicia es más fácil de controlar. Puedes tener reglas que digan que uno no debe ser malicioso, y si las haces cumplir parece posible mantener a raya la malicia.

Mantener a raya la estupidez es más difícil, quizás porque la estupidez no es tan fácilmente distinguible. Las personas maliciosas son más propensas a saber que están siendo maliciosas que las personas estúpidas a saber que están siendo estúpidas.

La forma más peligrosa de comentario estúpido no es el largo pero erróneo argumento, sino la broma tonta. Los argumentos largos pero erróneos son en realidad bastante raros. Hay una fuerte correlación entre la calidad del comentario y la longitud; si quisieras comparar la calidad de los comentarios en sitios comunitarios, la longitud promedio sería un buen predictor. Probablemente la causa sea la naturaleza humana en lugar de algo específico de los hilos de comentarios. Probablemente simplemente sea que la estupidez a menudo toma la forma de tener pocas ideas en lugar de erróneas.

Cualquiera que sea la causa, los comentarios estúpidos tienden a ser cortos. Y dado que es difícil escribir un comentario corto que se distinga por la cantidad de información que transmite, las personas intentan distinguirlos en su lugar siendo graciosos. El formato más tentador para los comentarios estúpidos es el supuesto desprecio ingenioso, probablemente porque los desprecios son la forma más fácil de humor. [5] Así que una ventaja de prohibir la malicia es que también reduce estos.

Los malos comentarios son como el kudzu: se apoderan rápidamente. Los comentarios tienen mucho más efecto en los nuevos comentarios que los envíos en los nuevos envíos. Si alguien envía un artículo lame, los otros envíos no se vuelven todos lame. Pero si alguien publica un comentario estúpido en un hilo, eso establece el tono para la región a su alrededor. La gente responde a las bromas tontas con bromas tontas.

Quizás la solución sea agregar un retraso antes de que las personas puedan responder a un comentario, y hacer que la longitud del retraso sea inversamente proporcional a alguna predicción de su calidad. Entonces los hilos tontos crecerían más lentamente. [6]

Personas

Me doy cuenta de que la mayoría de las técnicas que he descrito son conservadoras: están destinadas a preservar el carácter del sitio en lugar de mejorarlo. No creo que eso sea un sesgo mío. Se debe a la forma del problema. Hacker News tuvo la buena fortuna de comenzar bien, así que en este caso es literalmente una cuestión de preservación. Pero creo que este principio también se aplicaría a sitios con orígenes diferentes.

Las cosas buenas en un sitio comunitario provienen más de las personas que de la tecnología; es principalmente en la prevención de cosas malas donde la tecnología entra en juego. La tecnología ciertamente puede mejorar la discusión. Los comentarios anidados lo hacen, por ejemplo. Pero preferiría usar un sitio con características primitivas y usuarios inteligentes y amables que uno más avanzado cuyos usuarios fueran idiotas o trolls.

Así que lo más importante que un sitio comunitario puede hacer es atraer al tipo de personas que quiere. Un sitio que intenta ser lo más grande posible quiere atraer a todos. Pero un sitio que apunta a un subconjunto particular de usuarios tiene que atraer solo a esos—y, igual de importante, repeler a todos los demás. He hecho un esfuerzo consciente para hacer esto en HN. El diseño gráfico es lo más simple posible, y las reglas del sitio desincentivan títulos de enlaces dramáticos. El objetivo es que lo único que interese a alguien que llegue a HN por primera vez sean las ideas expresadas allí.

El inconveniente de ajustar un sitio para atraer a ciertas personas es que, para esas personas, puede ser demasiado atractivo. Soy muy consciente de lo adictivo que puede ser Hacker News. Para mí, como para muchos usuarios, es una especie de plaza pública virtual. Cuando quiero tomar un descanso del trabajo, entro en la plaza, así como podría hacerlo en Harvard Square o University Ave en el mundo físico. [7] Pero una plaza en línea es más peligrosa que una física. Si pasara medio día merodeando por University Ave, lo notaría. Tengo que caminar una milla para llegar allí, y sentarme en un café se siente diferente de trabajar. Pero visitar un foro en línea solo requiere un clic, y se siente superficialmente muy parecido a trabajar. Puede que estés desperdiciando tu tiempo, pero no estás ocioso. Alguien está equivocado en Internet, y tú estás solucionando el problema.

Hacker News es definitivamente útil. He aprendido mucho de las cosas que he leído en HN. He escrito varios ensayos que comenzaron como comentarios allí. Así que no querría que el sitio desapareciera. Pero me gustaría estar seguro de que no es una carga neta para la productividad. Qué desastre sería atraer a miles de personas inteligentes a un sitio que les hiciera desperdiciar mucho tiempo. Desearía poder estar 100% seguro de que esa no es una descripción de HN.

Siento que la adicción de los juegos y las aplicaciones sociales sigue siendo un problema en gran medida no resuelto. La situación ahora es como era con el crack en la década de 1980: hemos inventado cosas nuevas terriblemente adictivas, y aún no hemos evolucionado formas de protegernos de ellas. Eventualmente lo haremos, y ese es uno de los problemas en los que espero centrarme a continuación.

Notas

[1] Intenté clasificar a los usuarios tanto por el puntaje promedio como por el mediano de comentarios, y el promedio (con el puntaje más alto descartado) parecía ser el predictor más preciso de alta calidad. Sin embargo, el mediano puede ser el predictor más preciso de baja calidad.

[2] Otra cosa que aprendí de este experimento es que si vas a distinguir entre personas, más te vale asegurarte de hacerlo bien. Este es un problema donde el prototipado rápido no funciona.

De hecho, ese es el argumento intelectualmente honesto para no discriminar entre varios tipos de personas. La razón para no hacerlo no es que todos sean iguales, sino que es malo hacerlo mal y difícil hacerlo bien.

[3] Cuando atrapo publicaciones que han sido linkjacked de manera egregia, reemplazo la URL con la de lo que copiaron. Los sitios que habitualmente hacen linkjacking son prohibidos.

[4] Digg es conocido por su falta de transparencia. La raíz del problema no es que los tipos que dirigen Digg sean especialmente astutos, sino que utilizan el algoritmo equivocado para generar su página principal. En lugar de surgir desde abajo a medida que obtienen más votos, como en Reddit, las historias comienzan en la parte superior y son empujadas hacia abajo por las nuevas llegadas.

La razón de la diferencia es que Digg se deriva de Slashdot, mientras que Reddit se deriva de Delicious/popular. Digg es Slashdot con votación en lugar de editores, y Reddit es Delicious/popular con votación en lugar de marcadores. (Aún puedes ver fósiles de sus orígenes en su diseño gráfico.)

El algoritmo de Digg es muy vulnerable a manipulaciones, porque cualquier historia que llegue a la página principal es la nueva historia principal. Lo que a su vez obliga a Digg a responder con contramedidas extremas. Muchas startups tienen algún tipo de secreto sobre los subterfugios a los que tuvieron que recurrir en los primeros días, y sospecho que el de Digg es la medida en que las historias principales fueron de facto elegidas por editores humanos.

[5] El diálogo en Beavis y Butthead estaba compuesto en gran parte por estos, y cuando leo comentarios en sitios realmente malos puedo escucharlos en sus voces.

[6] Sospecho que la mayoría de las técnicas para desalentar comentarios estúpidos aún no se han descubierto. Xkcd implementó una particularmente ingeniosa en su canal de IRC: no permitir la misma cosa dos veces. Una vez que alguien ha dicho "fracaso", nadie puede volver a decirlo. Esto penalizaría especialmente los comentarios cortos, porque tienen menos espacio para evitar colisiones.

Otra idea prometedora es el filtro estúpido, que es como un filtro de spam probabilístico, pero entrenado en corpus de comentarios estúpidos y no estúpidos en su lugar.

Puede que no tengas que eliminar comentarios malos para resolver el problema. Los comentarios al final de un hilo largo rara vez se ven, así que puede ser suficiente incorporar una predicción de calidad en el algoritmo de clasificación de comentarios.

[7] Lo que hace que la mayoría de los suburbios sea tan desmoralizante es que no hay un centro al que caminar.

Gracias a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear y Fred Wilson por leer borradores de esto.

Comentario sobre este ensayo.