CE QUE J'AI APPRIS DE HACKER NEWS

Février 2009

Hacker News avait deux ans la semaine dernière. Au départ, cela devait être un projet secondaire—une application pour affiner Arc, et un endroit pour les fondateurs actuels et futurs de Y Combinator pour échanger des nouvelles. Cela a grandi et pris plus de temps que je ne l'avais prévu, mais je ne le regrette pas car j'ai beaucoup appris en y travaillant.

Croissance

Lorsque nous avons lancé en février 2007, le trafic en semaine était d'environ 1600 visiteurs uniques par jour. Depuis, cela a augmenté pour atteindre environ 22 000. Ce taux de croissance est un peu plus élevé que je ne le souhaiterais. J'aimerais que le site croisse, car un site qui ne croît pas au moins lentement est probablement mort. Mais je ne voudrais pas qu'il devienne aussi grand que Digg ou Reddit—principalement parce que cela diluerait le caractère du site, mais aussi parce que je ne veux pas passer tout mon temps à gérer l'échelle.

J'ai déjà assez de problèmes avec ça. Rappelez-vous, la motivation initiale pour HN était de tester un nouveau langage de programmation, et de plus, un langage axé sur l'expérimentation avec la conception du langage, pas sur la performance. Chaque fois que le site devient lent, je me renforce en rappelant la célèbre citation de McIlroy et Bentley

La clé de la performance est l'élégance, pas des bataillons de cas spéciaux.

et je cherche le goulet d'étranglement que je peux éliminer avec le moins de code. Jusqu'à présent, j'ai réussi à suivre, dans le sens où la performance est restée consistemment médiocre malgré une croissance de 14x. Je ne sais pas ce que je ferai ensuite, mais je penserai probablement à quelque chose.

C'est mon attitude envers le site en général. Hacker News est une expérience, et une expérience dans un domaine très jeune. Les sites de ce type n'ont que quelques années. La conversation sur Internet en général n'a que quelques décennies. Nous n'avons donc probablement découvert qu'une fraction de ce que nous découvrirons finalement.

C'est pourquoi je suis si optimiste à propos de HN. Quand une technologie est aussi jeune, les solutions existantes sont généralement terribles ; ce qui signifie qu'il doit être possible de faire beaucoup mieux ; ce qui signifie que de nombreux problèmes qui semblent insolubles ne le sont pas. Y compris, je l'espère, le problème qui a affligé tant de communautés précédentes : être ruiné par la croissance.

Dilution

Les utilisateurs s'inquiètent de cela depuis que le site a quelques mois. Jusqu'à présent, ces alarmes se sont révélées fausses, mais elles ne le seront peut-être pas toujours. La dilution est un problème difficile. Mais probablement soluble ; cela ne signifie pas grand-chose que les conversations ouvertes aient "toujours" été détruites par la croissance lorsque "toujours" équivaut à 20 instances.

Mais il est important de se rappeler que nous essayons de résoudre un nouveau problème, car cela signifie que nous allons devoir essayer de nouvelles choses, dont la plupart ne fonctionneront probablement pas. Il y a quelques semaines, j'ai essayé d'afficher les noms des utilisateurs avec les scores de commentaires moyens les plus élevés en orange. [1] C'était une erreur. Soudain, une culture qui avait été plus ou moins unie était divisée entre ceux qui ont et ceux qui n'ont pas. Je n'ai pas réalisé à quel point la culture avait été unie jusqu'à ce que je la voie divisée. C'était douloureux à regarder. [2]

Donc, les noms d'utilisateur orange ne reviendront pas. (Désolé pour ça.) Mais il y aura d'autres idées qui sembleront tout aussi brisées à l'avenir, et celles qui s'avéreront fonctionner sembleront probablement tout aussi brisées que celles qui ne fonctionnent pas.

Probablement la chose la plus importante que j'ai apprise sur la dilution est qu'elle se mesure plus en comportement qu'en utilisateurs. C'est le mauvais comportement que vous voulez garder à l'écart plus que les mauvaises personnes. Le comportement des utilisateurs s'avère surprenamment malléable. Si les gens sont attendus à bien se comporter, ils tendent à le faire ; et vice versa.

Bien sûr, interdire le mauvais comportement tend à éloigner les mauvaises personnes, car elles se sentent inconfortablement contraintes dans un endroit où elles doivent bien se comporter. Mais cette façon de les tenir à l'écart est plus douce et probablement aussi plus efficace que des barrières ouvertes.

Il est maintenant assez clair que la théorie des fenêtres brisées s'applique également aux sites communautaires. La théorie est que des formes mineures de mauvais comportement encouragent des pires : qu'un quartier avec beaucoup de graffiti et de fenêtres brisées devient un endroit où des vols se produisent. J'étais à New York lorsque Giuliani a introduit les réformes qui ont rendu la théorie des fenêtres brisées célèbre, et la transformation était miraculeuse. Et j'étais un utilisateur de Reddit lorsque l'inverse s'est produit là-bas, et la transformation était tout aussi dramatique.

Je ne critique pas Steve et Alexis. Ce qui est arrivé à Reddit n'est pas arrivé par négligence. Dès le départ, ils avaient une politique de ne rien censurer sauf le spam. De plus, Reddit avait des objectifs différents de ceux de Hacker News. Reddit était une startup, pas un projet secondaire ; son objectif était de croître aussi vite que possible. Combinez une croissance rapide et une censure nulle, et le résultat est un libre pour tous. Mais je ne pense pas qu'ils feraient beaucoup différemment s'ils recommençaient. Mesuré par le trafic, Reddit est beaucoup plus réussi que Hacker News.

Mais ce qui est arrivé à Reddit ne se produira pas inévitablement à HN. Il y a plusieurs maxima locaux. Il peut y avoir des endroits qui sont des libres pour tous et des endroits qui sont plus réfléchis, tout comme il y en a dans le monde réel ; et les gens se comporteront différemment selon l'endroit où ils se trouvent, tout comme ils le font dans le monde réel.

J'ai observé cela dans la nature. J'ai vu des gens publier en double sur Reddit et Hacker News qui ont réellement pris la peine d'écrire deux versions, une flamboyante pour Reddit et une version plus sobre pour HN.

Soumissions

Il y a deux types majeurs de problèmes qu'un site comme Hacker News doit éviter : de mauvaises histoires et de mauvais commentaires. Jusqu'à présent, le danger des mauvaises histoires semble plus petit. Les histoires sur la page d'accueil sont encore à peu près celles qui auraient été là lorsque HN a commencé.

Je pensais une fois que je devrais pondérer les votes pour garder les bêtises hors de la page d'accueil, mais je n'ai pas encore eu à le faire. Je n'aurais pas prédit que la page d'accueil tiendrait aussi bien, et je ne suis pas sûr de pourquoi elle l'a fait. Peut-être que seuls les utilisateurs plus réfléchis se soucient suffisamment de soumettre et de voter pour des liens, donc le coût marginal d'un nouvel utilisateur aléatoire approche de zéro. Ou peut-être que la page d'accueil se protège, en faisant de la publicité pour le type de soumission qui est attendu.

La chose la plus dangereuse pour la page d'accueil est les choses qui sont trop faciles à voter. Si quelqu'un prouve un nouveau théorème, cela demande un certain travail de la part du lecteur pour décider s'il doit ou non voter pour cela. Un dessin amusant demande moins. Un cri de ralliement comme titre demande zéro, car les gens votent pour sans même le lire.

D'où ce que j'appelle le Principe de Fluff : sur un site d'actualités voté par les utilisateurs, les liens qui sont les plus faciles à juger prendront le dessus à moins que vous ne preniez des mesures spécifiques pour l'empêcher.

Hacker News a deux types de protections contre le fluff. Les types de liens fluff les plus courants sont interdits comme hors sujet. Les images de chatons, les diatribes politiques, et ainsi de suite sont explicitement interdites. Cela éloigne la plupart des fluffs, mais pas tous. Certains liens sont à la fois du fluff, dans le sens d'être très courts, et aussi sur le sujet.

Il n'y a pas de solution unique à cela. Si un lien est juste un rant vide, les éditeurs le supprimeront parfois même s'il est sur le sujet dans le sens où il concerne le hacking, car il n'est pas sur le sujet selon le véritable standard, qui est d'engager sa curiosité intellectuelle. Si les publications sur un site sont caractéristiquement de ce type, je l'interdis parfois, ce qui signifie que les nouvelles choses à cette URL sont automatiquement supprimées. Si un post a un titre accrocheur, les éditeurs le reformulent parfois pour être plus factuels. Cela est particulièrement nécessaire avec les liens dont les titres sont des cris de ralliement, car sinon ils deviennent implicitement des publications "votez si vous croyez que ceci ou cela", qui sont la forme la plus extrême de fluff.

Les techniques pour traiter les liens doivent évoluer, car les liens le font. L'existence d'agrégateurs a déjà affecté ce qu'ils agrègent. Les écrivains écrivent maintenant délibérément des choses pour attirer du trafic des agrégateurs—parfois même des agrégateurs spécifiques. (Non, l'ironie de cette déclaration ne m'échappe pas.) Ensuite, il y a les mutations plus sinistres, comme le linkjacking—publier une paraphrase de l'article de quelqu'un d'autre et soumettre cela au lieu de l'original. Celles-ci peuvent obtenir beaucoup de votes, car beaucoup de ce qui est bon dans un article survit souvent ; en effet, plus la paraphrase est proche du plagiat, plus elle survit. [3]

Je pense qu'il est important qu'un site qui tue des soumissions fournisse un moyen pour les utilisateurs de voir ce qui a été tué s'ils le souhaitent. Cela garde les éditeurs honnêtes, et tout aussi important, rend les utilisateurs confiants qu'ils sauraient si les éditeurs cessaient d'être honnêtes. Les utilisateurs de HN peuvent faire cela en basculant un interrupteur appelé showdead dans leur profil. [4]

Commentaires

Les mauvais commentaires semblent être un problème plus difficile que les mauvaises soumissions. Alors que la qualité des liens sur la page d'accueil de HN n'a pas beaucoup changé, la qualité du commentaire médian a peut-être légèrement diminué.

Il y a deux principales sortes de méchanceté dans les commentaires : la méchanceté et la stupidité. Il y a beaucoup de chevauchement entre les deux—les commentaires méchants sont de manière disproportionnée également susceptibles d'être stupides—mais les stratégies pour y faire face sont différentes. La méchanceté est plus facile à contrôler. Vous pouvez avoir des règles disant qu'il ne faut pas être méchant, et si vous les appliquez, il semble possible de garder un couvercle sur la méchanceté.

Garder un couvercle sur la stupidité est plus difficile, peut-être parce que la stupidité n'est pas si facilement identifiable. Les gens méchants sont plus susceptibles de savoir qu'ils sont méchants que les gens stupides de savoir qu'ils sont stupides.

La forme la plus dangereuse de commentaire stupide n'est pas l'argument long mais erroné, mais la blague stupide. Les arguments longs mais erronés sont en réalité assez rares. Il y a une forte corrélation entre la qualité des commentaires et leur longueur ; si vous vouliez comparer la qualité des commentaires sur les sites communautaires, la longueur moyenne serait un bon prédicteur. Probablement la cause est la nature humaine plutôt que quelque chose de spécifique aux fils de commentaires. Probablement c'est simplement que la stupidité prend plus souvent la forme d'avoir peu d'idées que de mauvaises.

Quoi qu'il en soit, les commentaires stupides tendent à être courts. Et puisque il est difficile d'écrire un commentaire court qui se distingue par la quantité d'informations qu'il transmet, les gens essaient de les distinguer au lieu par leur humour. Le format le plus tentant pour les commentaires stupides est le prétendu put-down spirituel, probablement parce que les put-downs sont la forme d'humour la plus facile. [5] Ainsi, un avantage d'interdire la méchanceté est que cela réduit également ces derniers.

Les mauvais commentaires sont comme le kudzu : ils prennent rapidement le dessus. Les commentaires ont beaucoup plus d'effet sur les nouveaux commentaires que les soumissions n'en ont sur les nouvelles soumissions. Si quelqu'un soumet un article nul, les autres soumissions ne deviennent pas toutes nulles. Mais si quelqu'un poste un commentaire stupide sur un fil, cela donne le ton à la région qui l'entoure. Les gens répondent aux blagues stupides par des blagues stupides.

Peut-être que la solution est d'ajouter un délai avant que les gens puissent répondre à un commentaire, et de faire en sorte que la longueur du délai soit inversement proportionnelle à une certaine prédiction de sa qualité. Alors les fils stupides croîtraient plus lentement. [6]

Personnes

Je remarque que la plupart des techniques que j'ai décrites sont conservatrices : elles visent à préserver le caractère du site plutôt qu'à l'améliorer. Je ne pense pas que ce soit un biais de ma part. C'est dû à la nature du problème. Hacker News a eu la bonne fortune de commencer bien, donc dans ce cas, il s'agit littéralement d'une question de préservation. Mais je pense que ce principe s'appliquerait également à des sites d'origines différentes.

Les bonnes choses dans un site communautaire proviennent des gens plus que de la technologie ; c'est principalement dans la prévention des mauvaises choses que la technologie entre en jeu. La technologie peut certainement améliorer la discussion. Les commentaires imbriqués le font, par exemple. Mais je préférerais utiliser un site avec des fonctionnalités primitives et des utilisateurs intelligents et sympathiques qu'un site plus avancé dont les utilisateurs seraient des idiots ou des trolls.

Ainsi, la chose la plus importante qu'un site communautaire puisse faire est d'attirer le type de personnes qu'il souhaite. Un site essayant d'être aussi grand que possible veut attirer tout le monde. Mais un site visant un sous-ensemble particulier d'utilisateurs doit attirer juste ceux-là—et tout aussi important, repousser tout le monde d'autre. J'ai fait un effort conscient pour faire cela sur HN. Le design graphique est aussi simple que possible, et les règles du site découragent les titres de liens dramatiques. L'objectif est que la seule chose qui intéresse quelqu'un arrivant sur HN pour la première fois devrait être les idées exprimées là-bas.

L'inconvénient de régler un site pour attirer certaines personnes est que, pour ces personnes, cela peut être trop attrayant. Je suis bien conscient de à quel point Hacker News peut être addictif. Pour moi, comme pour de nombreux utilisateurs, c'est une sorte de place publique virtuelle. Quand je veux faire une pause dans mon travail, je me rends sur la place, tout comme je pourrais le faire à Harvard Square ou University Ave dans le monde physique. [7] Mais une place en ligne est plus dangereuse qu'une place physique. Si je passais la moitié de la journée à traîner sur University Ave, je le remarquerais. Je dois marcher un mile pour y arriver, et m'asseoir dans un café semble différent de travailler. Mais visiter un forum en ligne ne prend qu'un clic, et semble superficiellement très semblable à travailler. Vous pouvez perdre votre temps, mais vous n'êtes pas inactif. Quelqu'un est mal sur Internet, et vous réparez le problème.

Hacker News est définitivement utile. J'ai beaucoup appris des choses que j'ai lues sur HN. J'ai écrit plusieurs essais qui ont commencé comme des commentaires là-bas. Donc je ne voudrais pas que le site disparaisse. Mais j'aimerais être sûr que ce n'est pas un frein net à la productivité. Quel désastre ce serait, d'attirer des milliers de personnes intelligentes vers un site qui les ferait perdre beaucoup de temps. J'aimerais pouvoir être sûr à 100 % que ce n'est pas une description de HN.

J'ai l'impression que l'addictivité des jeux et des applications sociales est encore un problème largement non résolu. La situation actuelle est comme elle l'était avec le crack dans les années 1980 : nous avons inventé de terriblement addictifs nouveaux choses, et nous n'avons pas encore évolué des moyens de nous protéger contre elles. Nous le ferons finalement, et c'est l'un des problèmes sur lesquels j'espère me concentrer ensuite.

Notes

[1] J'ai essayé de classer les utilisateurs par score de commentaire moyen et médian, et la moyenne (avec le score élevé exclu) semblait le prédicteur le plus précis de haute qualité. La médiane peut être le prédicteur le plus précis de faible qualité cependant.

[2] Une autre chose que j'ai apprise de cette expérience est que si vous allez distinguer entre les gens, vous feriez mieux de vous assurer de le faire correctement. C'est un problème où le prototypage rapide ne fonctionne pas.

En effet, c'est l'argument intellectuellement honnête pour ne pas discriminer entre les différents types de personnes. La raison de ne pas le faire n'est pas que tout le monde est le même, mais que c'est mal de mal faire et difficile de bien faire.

[3] Lorsque je repère des publications manifestement linkjackées, je remplace l'URL par celle de ce qu'ils ont copié. Les sites qui pratiquent habituellement le linkjacking sont bannis.

[4] Digg est notoire pour son manque de transparence. La racine du problème n'est pas que les gars qui dirigent Digg sont particulièrement sournois, mais qu'ils utilisent le mauvais algorithme pour générer leur page d'accueil. Au lieu de remonter par le bas à mesure qu'ils obtiennent plus de votes, comme sur Reddit, les histoires commencent en haut et sont poussées vers le bas par de nouvelles arrivées.

La raison de la différence est que Digg est dérivé de Slashdot, tandis que Reddit est dérivé de Delicious/popular. Digg est Slashdot avec des votes au lieu d'éditeurs, et Reddit est Delicious/popular avec des votes au lieu de signets. (Vous pouvez encore voir des fossiles de leurs origines dans leur design graphique.)

L'algorithme de Digg est très vulnérable aux manipulations, car toute histoire qui parvient sur la page d'accueil est la nouvelle histoire principale. Ce qui à son tour force Digg à répondre par des contre-mesures extrêmes. Beaucoup de startups ont un secret sur les subterfuges auxquels elles ont dû recourir dans les premiers jours, et je soupçonne que celui de Digg est l'étendue à laquelle les histoires principales étaient de facto choisies par des éditeurs humains.

[5] Le dialogue dans Beavis et Butthead était composé en grande partie de ceux-ci, et quand je lis des commentaires sur des sites vraiment mauvais, je peux les entendre dans leurs voix.

[6] Je soupçonne que la plupart des techniques pour décourager les commentaires stupides n'ont pas encore été découvertes. Xkcd a mis en œuvre une particulièrement astucieuse dans son canal IRC : ne pas permettre la même chose deux fois. Une fois que quelqu'un a dit "échec", personne ne peut jamais le dire à nouveau. Cela pénaliserait surtout les commentaires courts, car ils ont moins de place pour éviter les collisions.

Une autre idée prometteuse est le filtre stupide, qui est juste comme un filtre anti-spam probabiliste, mais entraîné sur des corpus de commentaires stupides et non stupides à la place.

Vous n'avez peut-être pas besoin de tuer les mauvais commentaires pour résoudre le problème. Les commentaires au bas d'un long fil sont rarement vus, donc il peut suffire d'incorporer une prédiction de qualité dans l'algorithme de tri des commentaires.

[7] Ce qui rend la plupart des banlieues si démoralisantes, c'est qu'il n'y a pas de centre vers lequel marcher.

Merci à Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear, et Fred Wilson d'avoir lu des brouillons de ceci.

Comment sur cet essai.