LO QUE HE APRENDIDO DE HACKER NEWS

Febrero 2009

Hacker News cumplió dos años la semana pasada. Inicialmente se suponía que sería un proyecto secundario, una aplicación para pulir Arc y un lugar donde los fundadores actuales y futuros de Y Combinator pudieran intercambiar noticias. Ha crecido más y ha ocupado más tiempo de lo que esperaba, pero no me arrepiento de eso porque he aprendido mucho trabajando en él.

Crecimiento

Cuando lo lanzamos en febrero de 2007, el tráfico entre semana era de alrededor de 1600 usuarios únicos diarios. Desde entonces [1] ha crecido hasta alrededor de 22.000. Esta tasa de crecimiento es un poco más alta de lo que me gustaría. Me gustaría que el sitio creciera, ya que un sitio que no crece al menos lentamente probablemente esté muerto. Pero no querría que creciera tanto como Digg o Reddit, principalmente porque eso diluiría el carácter del sitio, pero también porque no quiero pasar todo mi tiempo lidiando con el escalado.

Ya tengo suficientes problemas con eso. Recuerden, la motivación original de HN era probar un nuevo lenguaje de programación, y además uno que se centra en experimentar con el diseño del lenguaje, no en el rendimiento. Cada vez que el sitio se vuelve lento, me fortalezco recordando la famosa cita de McIlroy y Bentley:

La clave del rendimiento es la elegancia, no los batallones de casos especiales.

y busco el cuello de botella que puedo eliminar con el menor código. Hasta ahora he podido mantener el ritmo, en el sentido de que el rendimiento se ha mantenido consistentemente mediocre a pesar de un crecimiento de 14 veces. No sé qué haré a continuación, pero probablemente se me ocurra algo.

Esta es mi actitud hacia el sitio en general. Hacker News es un experimento, y un experimento en un campo muy joven. Los sitios de este tipo solo tienen unos años. La conversación por Internet en general solo tiene unas décadas. Así que probablemente solo hayamos descubierto una fracción de lo que eventualmente descubriremos.

Por eso soy tan optimista sobre HN. Cuando una tecnología es tan joven, las soluciones existentes suelen ser terribles; lo que significa que debe ser posible hacerlo mucho mejor; lo que significa que muchos problemas que parecen insolubles no lo son. Incluyendo, espero, el problema que ha afectado a tantas comunidades anteriores: ser arruinado por el crecimiento.

Dilución

Los usuarios se han preocupado por eso desde que el sitio tenía unos meses. Hasta ahora estas alarmas han sido falsas, pero es posible que no siempre lo sean. La dilución es un problema difícil. Pero probablemente soluble; no significa mucho que las conversaciones abiertas "siempre" hayan sido destruidas por el crecimiento cuando "siempre" equivale a 20 instancias.

Pero es importante recordar que estamos tratando de resolver un problema nuevo, porque eso significa que tendremos que probar cosas nuevas, la mayoría de las cuales probablemente no funcionen. Hace un par de semanas intenté mostrar los nombres de los usuarios con los puntajes de comentarios promedio más altos en naranja. [1] Fue un error. De repente, una cultura que había estado más o menos unida se dividió en los que tienen y los que no tienen. No me di cuenta de lo unida que estaba la cultura hasta que la vi dividida. [2]

Así que los nombres de usuario en naranja no volverán. (Lo siento por eso). Pero habrá otras ideas igualmente rotas en el futuro, y las que resulten funcionar probablemente parecerán tan rotas como las que no.

Probablemente lo más importante que he aprendido sobre la dilución es que se mide más en el comportamiento que en los usuarios. Es el mal comportamiento el que quieres mantener fuera más que las malas personas. El comportamiento de los usuarios resulta ser sorprendentemente maleable. Si se espera [[http://ycombinator.com/newswelcome.html]] que las personas se comporten bien, tienden a hacerlo; y viceversa.

Aunque, por supuesto, prohibir el mal comportamiento tiende a mantener alejadas a las malas personas, porque se sienten incómodamente limitadas en un lugar donde tienen que comportarse bien. Pero esta forma de mantenerlos fuera es más suave y probablemente también más efectiva que las barreras abiertas.

Está bastante claro ahora que la teoría de las ventanas rotas se aplica también a los sitios de la comunidad. La teoría es que las formas menores de mal comportamiento fomentan otras peores: que un vecindario con mucha graffiti y ventanas rotas se convierte en uno donde ocurren robos. Yo vivía en Nueva York cuando Giuliani introdujo las reformas que hicieron famosa la teoría de las ventanas rotas, y la transformación fue milagrosa. Y fui usuario de Reddit cuando sucedió lo contrario, y la transformación fue igualmente dramática.

No estoy criticando a Steve y Alexis. Lo que le pasó a Reddit no sucedió por negligencia. Desde el principio tenían una política de no censurar nada excepto el spam. Además, Reddit tenía objetivos diferentes a Hacker News. Reddit era una startup, no un proyecto secundario; su objetivo era crecer lo más rápido posible. Combina un crecimiento rápido y una censura cero, y el resultado es una anarquía. Pero no creo que hicieran mucho diferente si lo volvieran a hacer. Medido por el tráfico, Reddit es mucho más exitoso que Hacker News.

Pero lo que le pasó a Reddit no le pasará inevitablemente a HN. Hay varios máximos locales. Puede haber lugares que sean anarquías y lugares que sean más reflexivos, al igual que en el mundo real; y las personas se comportarán de manera diferente dependiendo de cuál estén, al igual que en el mundo real.

He observado esto en la naturaleza. He visto a personas que publican en Reddit y Hacker News que realmente se tomaron la molestia de escribir dos versiones, una inflamada para Reddit y una más moderada para HN.

Envíos

Hay dos tipos principales de problemas que un sitio como Hacker News necesita evitar: historias malas y comentarios malos. Hasta ahora el peligro de las historias malas parece menor. Las historias en la página principal ahora son aproximadamente las mismas que habrían estado cuando comenzó HN.

Una vez pensé que tendría que ponderar los votos para mantener la basura fuera de la página principal, pero aún no he tenido que hacerlo. No habría predicho que la página principal se mantendría tan bien, y no estoy seguro de por qué lo ha hecho. Tal vez solo los usuarios más reflexivos se preocupan lo suficiente como para enviar y votar enlaces, por lo que el costo marginal de un nuevo usuario aleatorio se acerca a cero. O tal vez la página principal se proteja a sí misma, al anunciar el tipo de envío que se espera.

Lo más peligroso para la página principal es el contenido que es demasiado fácil de votar. Si alguien demuestra un nuevo teorema, el lector debe hacer un esfuerzo para decidir si votarlo o no. Un dibujo animado divertido requiere menos. Un discurso con un grito de guerra como título no requiere nada, porque la gente lo vota sin siquiera leerlo.

Por lo tanto, lo que llamo el Principio de la Fluff: en un sitio de noticias con votos de usuarios, los enlaces que son más fáciles de juzgar tomarán el control a menos que se tomen medidas específicas para evitarlo.

Hacker News tiene dos tipos de protecciones contra la fluff. Los tipos más comunes de enlaces fluff se prohíben como fuera de tema. Las fotos de gatitos, los discursos políticos, etc. se prohíben explícitamente. Esto elimina la mayor parte de la fluff, pero no toda. Algunos enlaces son tanto fluff, en el sentido de ser muy cortos, como también relevantes.

No hay una solución única para eso. Si un enlace es simplemente un discurso vacío, los editores a veces lo eliminarán incluso si es relevante en el sentido de tratar sobre la programación, porque no es relevante según el estándar real, que es despertar la curiosidad intelectual. Si las publicaciones en un sitio se caracterizan por ser de este tipo, a veces lo prohíbo, lo que significa que el nuevo contenido en esa URL se eliminará automáticamente. Si un artículo tiene un título de cebo, los editores a veces lo reformulan para que sea más objetivo. Esto es especialmente necesario con enlaces cuyos títulos son gritos de guerra, porque de lo contrario se convierten en publicaciones implícitas de "votar si crees tal y cual", que son la forma más extrema de fluff.

Las técnicas para lidiar con los enlaces deben evolucionar, porque los enlaces también lo hacen. La existencia de agregadores ya ha afectado lo que agregan. Los escritores ahora escriben deliberadamente cosas para atraer tráfico de los agregadores, a veces incluso de algunos específicos. (No, el ironía de esta declaración no se me escapa). Luego están las mutaciones más siniestras, como el linkjacking: publicar una paráfrasis del artículo de otra persona y enviar eso en lugar del original. Estos pueden obtener muchos votos, porque gran parte de lo que es bueno en un artículo a menudo sobrevive; de hecho, cuanto más cerca esté la paráfrasis del plagio, más sobrevive. [3]

Creo que es importante que un sitio que elimina envíos proporcione una forma para que los usuarios vean lo que se eliminó si lo desean. Eso mantiene a los editores honestos y, lo que es igual de importante, hace que los usuarios confíen en que sabrían si los editores dejaran de ser honestos. Los usuarios de HN pueden hacer esto activando un interruptor llamado showdead en su perfil. [4]

Comentarios

Los comentarios malos parecen ser un problema más difícil que los envíos malos. Si bien la calidad de los enlaces en la página principal de HN no ha cambiado mucho, la calidad del comentario medio puede haber disminuido un poco.

Hay dos tipos principales de maldad en los comentarios: la maldad y la estupidez. Hay mucha superposición entre los dos: los comentarios malos tienen una probabilidad desproporcionadamente mayor de ser también tontos, pero las estrategias para lidiar con ellos son diferentes. La maldad es más fácil de controlar. Puedes tener reglas que digan que no se debe ser malo y, si las aplicas, parece posible mantener la maldad bajo control.

Mantener la estupidez bajo control es más difícil, quizás porque la estupidez no se distingue tan fácilmente. Es más probable que las personas malas sepan que están siendo malas que las personas estúpidas sepan que están siendo estúpidas.

La forma más peligrosa de comentario estúpido no es el argumento largo pero equivocado, sino el chiste tonto. Los argumentos largos pero equivocados son en realidad bastante raros. Hay una fuerte correlación entre la calidad del comentario y la longitud; si quisiera comparar la calidad de los comentarios en los sitios de la comunidad, la longitud promedio sería un buen predictor. Probablemente la causa sea la naturaleza humana más que algo específico de los hilos de comentarios. Probablemente se deba simplemente a que la estupidez se manifiesta con más frecuencia en tener pocas ideas que en tener ideas equivocadas.

Sea cual sea la causa, los comentarios estúpidos tienden a ser cortos. Y como es difícil escribir un comentario corto que se destaque por la cantidad de información que transmite, la gente intenta distinguirlos siendo graciosos. El formato más tentador para los comentarios estúpidos es la supuesta burla ingeniosa, probablemente porque las burlas son la forma más fácil de humor. [5] Así que una ventaja de prohibir la maldad es que también reduce estos.

Los comentarios malos son como la kudzu: se apoderan rápidamente. Los comentarios tienen mucho más efecto en los nuevos comentarios que los envíos en los nuevos envíos. Si alguien envía un artículo mediocre, los otros envíos no se vuelven mediocres. Pero si alguien publica un comentario estúpido en un hilo, eso establece el tono para la región que lo rodea. La gente responde a los chistes tontos con chistes tontos.

Tal vez la solución sea agregar un retraso antes de que la gente pueda responder a un comentario, y hacer que la duración del retraso sea inversamente proporcional a alguna predicción de su calidad. Entonces los hilos tontos crecerían más lentamente. [6]

Personas

Noto que la mayoría de las técnicas que he descrito son conservadoras: están dirigidas a preservar el carácter del sitio en lugar de mejorarlo. No creo que ese sea un sesgo mío. Se debe a la forma del problema. Hacker News tuvo la suerte de comenzar bien, por lo que en este caso se trata literalmente de preservación. Pero creo que este principio también se aplicaría a sitios con diferentes orígenes.

Las cosas buenas en un sitio de la comunidad provienen más de las personas que de la tecnología; es principalmente en la prevención de las cosas malas donde entra en juego la tecnología. La tecnología ciertamente puede mejorar la discusión. Los comentarios anidados lo hacen, por ejemplo. Pero preferiría usar un sitio con características primitivas y usuarios inteligentes y agradables que uno más avanzado cuyos usuarios fueran idiotas o trolls.

Entonces, lo más importante que puede hacer un sitio de la comunidad es atraer al tipo de personas que quiere. Un sitio que intenta ser tan grande como sea posible quiere atraer a todos. Pero un sitio que apunta a un subconjunto particular de usuarios debe atraer solo a esos y, lo que es igual de importante, repeler a todos los demás. He hecho un esfuerzo consciente por hacer esto en HN. El diseño gráfico es lo más sencillo posible y las reglas del sitio desalientan los títulos de enlaces dramáticos. El objetivo es que lo único que deba interesar a alguien que llega a HN por primera vez sean las ideas expresadas allí.

El inconveniente de ajustar un sitio para atraer a cierta gente es que, para esas personas, puede ser demasiado atractivo. Soy muy consciente de lo adictivo que puede ser Hacker News. Para mí, como para muchos usuarios, es una especie de plaza virtual. Cuando quiero tomarme un descanso del trabajo, entro en la plaza, igual que podría hacerlo en Harvard Square o University Ave en el mundo físico. [7] Pero una plaza en línea es más peligrosa que una física. Si pasara la mitad del día vagando por University Ave, lo notaría. Tengo que caminar una milla para llegar allí, y sentarme en una cafetería se siente diferente a trabajar. Pero visitar un foro en línea solo requiere un clic, y se siente superficialmente muy parecido a trabajar. Puede que esté desperdiciando su tiempo, pero no está ocioso. Alguien está equivocado en Internet, y usted está solucionando el problema.

Hacker News es definitivamente útil. He aprendido mucho de las cosas que he leído en HN. He escrito varios ensayos que comenzaron como comentarios allí. Así que no querría que el sitio desapareciera. Pero me gustaría estar seguro de que no es una carga neta para la productividad. Qué desastre sería atraer a miles de personas inteligentes a un sitio que les hiciera perder mucho tiempo. Me gustaría poder estar 100% seguro de que esa no es una descripción de HN.

Siento que la adicción a los juegos y las aplicaciones sociales sigue siendo un problema en gran medida sin resolver. La situación actual es como lo fue con el crack en la década de 1980: hemos inventado cosas terriblemente adictivas, y aún no hemos evolucionado formas de protegernos de ellas. Lo haremos eventualmente, y ese es uno de los problemas en los que espero centrarme a continuación.

Notas

[1] Intenté clasificar a los usuarios tanto por la puntuación media como por la mediana de los comentarios, y la media (con la puntuación más alta eliminada) pareció ser el predictor más preciso de alta calidad. La mediana puede ser el predictor más preciso de baja calidad, sin embargo.

[2] Otra cosa que aprendí de este experimento es que si vas a distinguir entre personas, debes asegurarte de hacerlo bien. Este es un problema en el que el prototipado rápido no funciona.

De hecho, ese es el argumento intelectualmente honesto para no discriminar entre varios tipos de personas. La razón para no hacerlo no es que todos sean iguales, sino que es malo hacerlo mal y difícil hacerlo bien.

[3] Cuando detecto publicaciones con enlaces robados de forma flagrante, reemplazo la URL por la de lo que sea que hayan copiado. Los sitios que habitualmente roban enlaces son bloqueados.

[4] Digg es notorio por su falta de transparencia. La raíz del problema no es que los tipos que dirigen Digg sean especialmente escurridizos, sino que utilizan el algoritmo equivocado para generar su portada. En lugar de emerger desde abajo a medida que reciben más votos, como en Reddit, las historias comienzan en la parte superior y se empujan hacia abajo por las nuevas llegadas.

La razón de la diferencia es que Digg se deriva de Slashdot, mientras que Reddit se deriva de Delicious/popular. Digg es Slashdot con votación en lugar de editores, y Reddit es Delicious/popular con votación en lugar de marcadores. (Todavía se pueden ver fósiles de sus orígenes en su diseño gráfico).

El algoritmo de Digg es muy vulnerable al juego, porque cualquier historia que llegue a la portada es la nueva historia principal. Lo que a su vez obliga a Digg a responder con contramedidas extremas. Muchas startups tienen algún tipo de secreto sobre los subterfugios a los que tuvieron que recurrir en los primeros días, y sospecho que el de Digg es el grado en que las principales historias fueron elegidas de facto por editores humanos.

[5] El diálogo de Beavis y Butthead se componía en gran medida de estos, y cuando leo comentarios en sitios realmente malos, puedo oírlos con sus voces.

[6] Sospecho que la mayoría de las técnicas para desalentar los comentarios estúpidos aún están por descubrir. Xkcd implementó una particularmente ingeniosa en su canal de IRC: no permitir lo mismo dos veces. Una vez que alguien ha dicho "fail", nadie puede volver a decirlo. Esto penalizaría especialmente a los comentarios cortos, porque tienen menos espacio para evitar colisiones.

Otra idea prometedora es el filtro estúpido, que es como un filtro antispam probabilístico, pero entrenado en corpus de comentarios estúpidos y no estúpidos.

Puede que no tengas que matar los malos comentarios para resolver el problema. Los comentarios en la parte inferior de un hilo largo rara vez se ven, por lo que puede ser suficiente incorporar una predicción de calidad en el algoritmo de clasificación de comentarios.

[7] Lo que hace que la mayoría de los suburbios sean tan desmoralizadores es que no hay un centro al que caminar.

Gracias a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear y Fred Wilson por leer borradores de este.

Comentario sobre este ensayo.