LO QUE HE APRENDIDO DE HACKER NEWS

February 2009

Hacker News cumplió dos años la semana pasada. Inicialmente se suponía que era un proyecto paralelo—una aplicación para afinar Arc, y un lugar para los fundadores actuales y futuros de Y Combinator para intercambiar noticias. Ha crecido más y ha ocupado más tiempo del que esperaba, pero no me arrepiento de eso porque he aprendido mucho trabajando en él.

Crecimiento

Cuando lanzamos en febrero de 2007, el tráfico de días laborables rondaba los 1600 usuarios únicos diarios. Desde entonces ha crecido a alrededor de 22,000. Esta tasa de crecimiento es un poco más alta de lo que me gustaría. Me gustaría que el sitio creciera, ya que un sitio que no está creciendo al menos lentamente probablemente esté muerto. Pero no me gustaría que creciera tanto como Digg o Reddit—principalmente porque eso diluiría el carácter del sitio, pero también porque no quiero pasar todo mi tiempo lidiando con el escalado.

Ya tengo suficientes problemas con eso. Recuerda, la motivación original para HN fue probar un nuevo lenguaje de programación, y además uno que se centra en experimentar con el diseño del lenguaje, no con el rendimiento. Cada vez que el sitio se ralentiza, me fortalezco recordando la famosa cita de McIlroy y Bentley

La clave del rendimiento es la elegancia, no los batallones de casos especiales.

y busco el cuello de botella que puedo eliminar con el menor código posible. Hasta ahora he sido capaz de mantenerme al día, en el sentido de que el rendimiento ha permanecido consistentemente mediocre a pesar de un crecimiento de 14x. No sé qué haré lo siguiente, pero probablemente se me ocurra algo.

Esta es mi actitud hacia el sitio en general. Hacker News es un experimento, y un experimento en un campo muy joven. Sitios de este tipo solo tienen unos pocos años de antigüedad. La conversación en Internet en general solo tiene unas pocas décadas de antigüedad. Así que probablemente solo hayamos descubierto una fracción de lo que eventualmente lo haremos.

Por eso soy tan optimista con respecto a HN. Cuando una tecnología es tan joven, las soluciones existentes suelen ser terribles; lo que significa que debe ser posible hacerlo mucho mejor; lo que significa que muchos problemas que parecen insolubles no lo son. Incluyendo, espero, el problema que ha afligido a tantas comunidades anteriores: ser arruinado por el crecimiento.

Dilución

Los usuarios se han preocupado por eso desde que el sitio tenía unos pocos meses de antigüedad. Hasta ahora estas alarmas han sido falsas, pero es posible que no siempre lo sean. La dilución es un problema difícil. Pero probablemente soluble; no significa mucho que las conversaciones abiertas "siempre" hayan sido destruidas por el crecimiento cuando "siempre" equivale a 20 instancias.

Pero es importante recordar que estamos tratando de resolver un nuevo problema, porque eso significa que tendremos que probar cosas nuevas, la mayoría de las cuales probablemente no funcionarán. Hace un par de semanas intenté mostrar los nombres de los usuarios con las puntuaciones de comentarios promedio más altas en naranja. [1] Eso fue un error. De repente, una cultura que había sido más o menos unida se dividió en ricos y pobres. No me di cuenta de lo unida que había sido la cultura hasta que la vi dividida. Fue doloroso de ver. [2]

Así que los nombres de usuario en naranja no volverán. (Lo siento por eso.) Pero habrá otras ideas igualmente rotas en el futuro, y las que resulten funcionar probablemente parezcan tan rotas como las que no lo hacen.

Probablemente lo más importante que he aprendido sobre la dilución es que se mide más en el comportamiento que en los usuarios. Es el mal comportamiento el que quieres mantener fuera más que la gente mala. El comportamiento de los usuarios resulta ser sorprendentemente maleable. Si la gente está esperando que se comporte bien, tienden a hacerlo; y viceversa.

Aunque, por supuesto, prohibir el mal comportamiento tiende a mantener alejada a la gente mala, porque se sienten incómodamente restringidos en un lugar donde tienen que comportarse bien. Pero esta forma de mantenerlos alejados es más suave y probablemente también más efectiva que las barreras abiertas.

Está bastante claro ahora que la teoría de las ventanas rotas se aplica también a los sitios comunitarios. La teoría es que las formas menores de mal comportamiento alientan a las peores: que un barrio con muchos grafitis y ventanas rotas se convierte en uno donde se producen robos. Yo estaba viviendo en Nueva York cuando Giuliani introdujo las reformas que hicieron famosa la teoría de las ventanas rotas, y la transformación fue milagrosa. Y yo era usuario de Reddit cuando sucedió lo contrario allí, y la transformación fue igualmente dramática.

No estoy criticando a Steve y Alexis. Lo que le sucedió a Reddit no sucedió por negligencia. Desde el principio tenían una política de no censurar nada excepto el spam. Además, Reddit tenía diferentes objetivos que Hacker News. Reddit era una empresa emergente, no un proyecto paralelo; su objetivo era crecer lo más rápido posible. Combina el rápido crecimiento y la censura cero, y el resultado es una batalla campal. Pero no creo que harían mucho diferente si lo volvieran a hacer. Medido por el tráfico, Reddit es mucho más exitoso que Hacker News.

Pero lo que le sucedió a Reddit no tiene que sucederle inevitablemente a HN. Hay varios máximos locales. Puede haber lugares que son batalla campal y lugares que son más reflexivos, tal como los hay en el mundo real; y la gente se comportará de manera diferente dependiendo de en cuál estén, como lo hacen en el mundo real.

He observado esto en la naturaleza. He visto gente publicando en Reddit y Hacker News que realmente se tomó la molestia de escribir dos versiones, una llama para Reddit y una versión más moderada para HN.

Presentaciones

Hay dos tipos principales de problemas que un sitio como Hacker News necesita evitar: malas historias y malos comentarios. Hasta ahora, el peligro de malas historias parece menor. Las historias de la portada ahora siguen siendo más o menos las mismas que hubieran estado allí cuando HN comenzó.

Una vez pensé que tendría que ponderar los votos para mantener la basura fuera de la portada, pero aún no he tenido que hacerlo. No hubiera predicho que la portada aguantaría tan bien, y no estoy seguro de por qué lo ha hecho. Tal vez solo a los usuarios más reflexivos les importa lo suficiente como para enviar y votar a favor de los enlaces, por lo que el coste marginal de un usuario nuevo aleatorio se acerca a cero. O tal vez la portada se proteja a sí misma, anunciando qué tipo de presentación se espera.

Lo más peligroso para la portada es lo que es demasiado fácil de votar. Si alguien prueba un nuevo teorema, se necesita un trabajo por parte del lector para decidir si votarlo o no. Una caricatura divertida se necesita menos. Una diatriba con un grito de guerra como título se necesita cero, porque la gente lo vota sin siquiera leerlo.

De ahí lo que yo llamo el Principio de la Pelusa: en un sitio de noticias votado por los usuarios, los enlaces que son más fáciles de juzgar se harán cargo a menos que se tomen medidas específicas para evitarlo.

Hacker News tiene dos tipos de protección contra la pelusa. Los más comunes tipos de enlaces de pelusa están prohibidos por ser fuera de tema. Imágenes de gatitos, diatribas políticas, etc. están explícitamente prohibidas. Esto mantiene fuera la mayor parte de la pelusa, pero no toda. Algunos enlaces son a la vez pelusa, en el sentido de ser muy cortos, y también sobre el tema.

No hay una sola solución para eso. Si un enlace es solo una diatriba vacía, los editores a veces lo eliminarán incluso si está sobre el tema en el sentido de estar sobre el hacking, porque no está sobre el tema según el estándar real, que es despertar la curiosidad intelectual. Si las publicaciones de un sitio son caracteristicamente de este tipo, a veces lo prohíbo, lo que significa que las cosas nuevas de esa URL se matan automáticamente. Si una publicación tiene un título de cebo de enlace, los editores a veces lo reformulan para que sea más objetivo. Esto es especialmente necesario con los enlaces cuyos títulos son gritos de guerra, porque de lo contrario se convierten en implícitos "vota a favor si crees tal y tal" publicaciones, que son la forma más extrema de pelusa.

Las técnicas para lidiar con los enlaces tienen que evolucionar, porque los enlaces lo hacen. La existencia de los agregadores ya ha afectado a lo que agregan. Los escritores ahora escriben deliberadamente cosas para atraer tráfico desde los agregadores—a veces incluso desde los específicos. (No, la ironía de esta afirmación no se me escapa.) Luego están las más sinistras mutaciones, como el linkjacking—publicar una paráfrasis de el artículo de otra persona y enviarlo en lugar del original. Estos pueden obtener muchos votos, porque mucho de lo bueno de un artículo a menudo sobrevive; de hecho, cuanto más cerca esté la paráfrasis de la plagiarización, más sobrevive. [3]

Creo que es importante que un sitio que mata las presentaciones proporcione una forma para que los usuarios vean qué se mató si quieren. Eso mantiene a los editores honestos, y lo que es más importante, hace que los usuarios confíen en que sabrían si los editores dejaran de ser honestos. Los usuarios de HN pueden hacer esto activando un interruptor llamado showdead en su perfil. [4]

Comentarios

Los malos comentarios parecen ser un problema más difícil que las malas presentaciones. Si bien la calidad de los enlaces en la portada de HN no ha cambiado mucho, la calidad del comentario promedio puede haber disminuido un poco.

Hay dos tipos principales de maldad en los comentarios: la maldad y la estupidez. Hay mucha superposición entre los dos—los comentarios malos tienen una probabilidad desproporcionada de ser también tontos—pero las estrategias para lidiar con ellos son diferentes. La maldad es más fácil de controlar. Puedes tener reglas que digan que no se debe ser malo, y si las cumples, parece posible ponerle un límite a la maldad.

Poner un límite a la estupidez es más difícil, tal vez porque la estupidez es no tan fácilmente distinguible. Las personas malas tienen más probabilidades de saber que están siendo malas que las personas estúpidas de saber que están siendo estúpidas.

La forma más peligrosa de comentario estúpido no es el argumento largo pero equivocado, sino el chiste tonto. Los argumentos largos pero equivocados son en realidad bastante raros. Hay una fuerte correlación entre la calidad del comentario y la longitud; si quisieras comparar la calidad de los comentarios en los sitios de la comunidad, la longitud media sería un buen predictor. Probablemente la causa es la naturaleza humana más que nada específico de las cadenas de comentarios. Probablemente es simplemente que la estupidez más a menudo toma la forma de tener pocas ideas que ideas equivocadas.

Cualquiera que sea la causa, los comentarios estúpidos tienden a ser cortos. Y dado que es difícil escribir un comentario corto que se distinga por la cantidad de información que transmite, la gente intenta distinguirlos en cambio por ser gracioso. El formato más tentador para los comentarios estúpidos es la supuesta reprimenda ingeniosa, probablemente porque las reprimendas son la forma más fácil de humor. [5] Así que una ventaja de prohibir la maldad es que también reduce estas.

Los malos comentarios son como la kudzu: se apoderan rápidamente. Los comentarios tienen mucho más efecto en los nuevos comentarios que las presentaciones en las nuevas presentaciones. Si alguien envía un artículo mediocre, las otras presentaciones no se vuelven todas mediocres. Pero si alguien publica un comentario estúpido en un hilo, eso establece el tono para la región que lo rodea. La gente responde a los chistes tontos con chistes tontos.

Tal vez la solución sea agregar un retraso antes de que la gente pueda responder a un comentario, y hacer que la duración del retraso sea inversamente proporcional a alguna predicción de su calidad. Entonces los hilos tontos crecerían más lentamente. [6]

Gente

Me doy cuenta de que la mayoría de las técnicas que he descrito son conservadoras: están dirigidas a preservar el carácter del sitio en lugar de mejorarlo. No creo que eso sea un sesgo mío. Se debe a la forma del problema. Hacker News tuvo la suerte de comenzar bien, por lo que en este caso es literalmente una cuestión de preservación. Pero creo que este principio también se aplicaría a los sitios con diferentes orígenes.

Lo bueno de un sitio comunitario proviene más de la gente que de la tecnología; es principalmente en la prevención de las cosas malas donde la tecnología entra en juego. La tecnología ciertamente puede mejorar la discusión. Los comentarios anidados lo hacen, por ejemplo. Pero prefiero usar un sitio con funciones primitivas y usuarios inteligentes y amables que uno más avanzado cuyos usuarios fueran idiotas o trolls.

Por lo tanto, lo más importante que puede hacer un sitio comunitario es atraer a la clase de gente que quiere. Un sitio que intenta ser lo más grande posible quiere atraer a todos. Pero un sitio que apunta a un subconjunto particular de usuarios tiene que atraer solo a esos—y lo que es igualmente importante, rechazar a todos los demás. He hecho un esfuerzo consciente para hacer esto en HN. El diseño gráfico es lo más sencillo posible, y las reglas del sitio desalientan los títulos de enlace dramáticos. El objetivo es que lo único que interese a alguien que llegue a HN por primera vez sean las ideas expresadas allí.

El inconveniente de ajustar un sitio para atraer a ciertas personas es que, para esas personas, puede ser demasiado atractivo. Soy muy consciente de lo adictivo que puede ser Hacker News. Para mí, como para muchos usuarios, es una especie de plaza virtual. Cuando quiero tomar un descanso de trabajar, entro en la plaza, como podría hacerlo en Harvard Square o University Ave en el mundo físico. [7] Pero una plaza en línea es más peligrosa que una física. Si pasara la mitad del día holgazaneando en University Ave, me daría cuenta. Tengo que caminar una milla para llegar allí, y sentarme en un café se siente diferente a trabajar. Pero visitar un foro en línea solo toma un clic, y superficialmente se parece mucho a trabajar. Es posible que estés perdiendo el tiempo, pero no estás inactivo. Alguien está equivocado en Internet, y tú estás arreglando el problema.

Hacker News es definitivamente útil. He aprendido mucho de las cosas que he leído en HN. He escrito varios ensayos que comenzaron como comentarios allí. Así que no me gustaría que el sitio desapareciera. Pero me gustaría estar seguro de que no es un lastre neto para la productividad. Qué desastre sería eso, atraer a miles de personas inteligentes a un sitio que les hacía perder mucho tiempo. Ojalá pudiera estar 100% seguro de que esa no es una descripción de HN.

Siento que la adicción a los juegos y las aplicaciones sociales es todavía un problema en gran medida sin resolver. La situación actual es como la que había con la crack en la década de 1980: hemos inventado cosas nuevas terriblemente adictivas, y aún no hemos evolucionado formas de protegernos de ellas. Eventualmente lo haremos, y ese es uno de los problemas en los que espero centrarme a continuación.

Notas

[1] Intenté clasificar a los usuarios por la puntuación promedio y la puntuación media del comentario y el promedio (con la puntuación alta eliminada) parecía el más preciso predictor de alta calidad. La mediana puede ser el predictor más preciso de baja calidad, sin embargo.

[2] Otra cosa que aprendí de este experimento es que si vas a distinguir entre personas, es mejor estar seguro de que lo haces bien. Este es un problema donde el prototipado rápido no funciona.

De hecho, ese es el argumento intelectualmente honesto para no discriminar entre varios tipos de personas. La razón para no hacerlo no es que todos sean iguales, sino que es malo hacerlo mal y difícil hacerlo bien.

[3] Cuando detecto publicaciones con linkjacking flagrante, reemplazo la URL con la de lo que copiaron. Los sitios que habitualmente hacen linkjacking son prohibidos.

[4] Digg es famoso por su falta de transparencia. La raíz del problema no es que los chicos que dirigen Digg sean especialmente astutos, sino que usan el algoritmo incorrecto para generar su portada. En lugar de burbujear desde abajo a medida que obtienen más votos, como en Reddit, las historias comienzan en la parte superior y se empujan hacia abajo por las nuevas llegadas.

La razón de la diferencia es que Digg se deriva de Slashdot, mientras que Reddit se deriva de Delicious/popular. Digg es Slashdot con votaciones en lugar de editores, y Reddit es Delicious/popular con votaciones en lugar de marcadores. (Todavía se pueden ver fósiles de sus orígenes en su diseño gráfico.)

El algoritmo de Digg es muy vulnerable al juego, porque cualquier historia que llega a la portada es la nueva historia principal. Lo que a su vez obliga a Digg a responder con contramedidas extremas. Muchas empresas emergentes tienen algún tipo de secreto sobre los subterfugios a los que tuvieron que recurrir en los primeros días, y sospecho que Digg es el alcance al que las historias principales fueron de facto elegidas por editores humanos.

[5] El diálogo sobre Beavis y Butthead se componía en gran medida de estos, y cuando leo comentarios en sitios realmente malos puedo escucharlos en sus voces.

[6] Sospecho que la mayoría de las técnicas para desalentar los comentarios tontos aún no se han descubierto. Xkcd implementó una particularmente inteligente en su canal IRC: no permitir lo mismo dos veces. Una vez que alguien ha dicho "fracaso", nadie puede volver a decirlo nunca. Esto penalizaría especialmente a los comentarios cortos, porque tienen menos espacio para evitar colisiones en.

Otra idea prometedora es el filtro de tonterías, que es como un filtro de spam probabilístico, pero entrenado en corpus de comentarios tontos y no tontos.

Es posible que no tengas que eliminar los malos comentarios para resolver el problema. Los comentarios en la parte inferior de un hilo largo rara vez se ven, por lo que puede ser suficiente incorporar una predicción de calidad en el algoritmo de clasificación de comentarios.

[7] Lo que hace que la mayoría de los suburbios sean tan desmoralizadores es que no hay centro al que ir.

Gracias a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear y Fred Wilson por leer borradores de esto.

Comment on this essay.