Twitter dévoile une partie de son code source, dont son algorithme de recommandation

Comme promis à plusieurs reprises par le PDG de Twitter, Elon Musk, Twitter a ouvert une partie de son code source à l’inspection publique, y compris l’algorithme qu’il utilise pour recommander des tweets dans les fils d’actualité des utilisateurs.

Sur GitHub, Twitter a publié deux référentiels contenant du code pour de nombreuses parties qui font fonctionner le réseau social, y compris le mécanisme utilisé par Twitter pour contrôler les tweets que les utilisateurs voient sur la chronologie For You. Dans un article de blog, Twitter a qualifié cette décision de “première étape pour être[ing] plus transparent » tout en même temps «[preventing] risque » pour Twitter lui-même et les personnes sur la plate-forme.

Lors d’une session Twitter Spaces aujourd’hui, Musk a précisé:

“Notre version initiale du soi-disant algorithme va être assez embarrassante, et les gens vont trouver beaucoup d’erreurs et, mais nous allons les corriger très rapidement”, a déclaré Musk. « L’analogue, ici, auquel nous aspirons est le grand exemple de Linux en tant que système d’exploitation open source… On peut, en théorie, découvrir de nombreux exploits pour Linux. En réalité, ce qui se passe, c’est que la communauté identifie et corrige ces exploits.

Sur ce deuxième point du billet de blog sur la prévention des risques, les versions open source n’incluent pas le code qui alimente les recommandations publicitaires de Twitter ou les données utilisées pour former l’algorithme de recommandation de Twitter. De plus, ils incluent peu d’instructions sur la façon d’inspecter ou d’utiliser réellement le code, ce qui renforce l’idée que les versions sont strictement axées sur les développeurs.

“[We excluded] tout code qui compromettrait la sécurité et la confidentialité des utilisateurs ou la capacité de protéger notre plate-forme contre les mauvais acteurs, y compris saper nos efforts de lutte contre l’exploitation et la manipulation sexuelles des enfants », a écrit Twitter. “Nous [also took] des mesures pour garantir que la sécurité et la confidentialité des utilisateurs seraient protégées.

Twitter indique qu’il travaille sur des outils pour gérer les suggestions de code de la communauté et synchroniser les modifications apportées à son référentiel interne. Vraisemblablement, ceux-ci seront mis à disposition à une date ultérieure – il n’y a aucun signe d’eux à l’heure actuelle.

À première vue, l’algorithme est assez complexe – mais pas nécessairement surprenant d’un point de vue technique. Il est composé de plusieurs modèles, y compris un modèle pour détecter les contenus “non sûrs pour le travail” ou abusifs, la probabilité qu’un utilisateur de Twitter interagisse avec un autre utilisateur et le calcul de la “réputation” d’un utilisateur de Twitter. (On ne sait pas exactement à quoi «réputation» fait référence; la documentation de haut niveau n’est pas claire.) Plusieurs réseaux de neurones sont chargés de classer les tweets et de recommander les comptes à suivre, tandis qu’un composant de filtrage masque les tweets pour – pardonnez le jargon – “Soutenir la conformité légale, améliorer la qualité des produits, accroître la confiance des utilisateurs, protéger les revenus grâce à l’utilisation de traitements de produits visibles et à filtrage strict et à un déclassement grossier.”

Dans une ingénierie article de blogTwitter en révèle plus sur le pipeline de recommandations, qui, selon lui, s’exécute environ cinq milliards de fois par jour :

“Nous essayons d’extraire les 1 500 meilleurs tweets d’un pool de centaines de millions… Aujourd’hui, la chronologie For You se compose de 50% [tweets from people you don’t follow] et 50% [tweets from people you follow] en moyenne, bien que cela puisse varier d’un utilisateur à l’autre », a écrit Twitter. “Classement [tweets] est réalisé avec un réseau de neurones d’environ 48 millions de paramètres qui est continuellement formé sur les interactions des tweets pour optimiser l’engagement positif (par exemple, les likes, les retweets et les réponses).

La publication du code source intervient après des controverses impliquant des modifications de l’algorithme de recommandation de Twitter. Selon Platformer, en février, Elon Musk a fait appel aux ingénieurs de Twitter pour reconfigurer l’algorithme afin que ses tweets soient plus largement consultés. (Twitter est ensuite revenu sur ce changement – un peu.) Un changement précédent

Comme promis à plusieurs reprises par le PDG de Twitter, Elon Musk, Twitter a ouvert une partie de son code source à l’inspection publique, y compris l’algorithme qu’il utilise pour recommander des tweets dans les fils d’actualité des utilisateurs.

Sur GitHub, Twitter a publié deux référentiels contenant du code pour de nombreuses parties qui font fonctionner le réseau social, y compris le mécanisme utilisé par Twitter pour contrôler les tweets que les utilisateurs voient sur la chronologie For You. Dans un article de blog, Twitter a qualifié cette décision de “première étape pour être[ing] plus transparent » tout en même temps «[preventing] risque » pour Twitter lui-même et les personnes sur la plate-forme.

Lors d’une session Twitter Spaces aujourd’hui, Musk a précisé:

“Notre version initiale du soi-disant algorithme va être assez embarrassante, et les gens vont trouver beaucoup d’erreurs et, mais nous allons les corriger très rapidement”, a déclaré Musk. « L’analogue, ici, auquel nous aspirons est le grand exemple de Linux en tant que système d’exploitation open source… On peut, en théorie, découvrir de nombreux exploits pour Linux. En réalité, ce qui se passe, c’est que la communauté identifie et corrige ces exploits.

Sur ce deuxième point du billet de blog sur la prévention des risques, les versions open source n’incluent pas le code qui alimente les recommandations publicitaires de Twitter ou les données utilisées pour former l’algorithme de recommandation de Twitter. De plus, ils incluent peu d’instructions sur la façon d’inspecter ou d’utiliser réellement le code, ce qui renforce l’idée que les versions sont strictement axées sur les développeurs.

“[We excluded] tout code qui compromettrait la sécurité et la confidentialité des utilisateurs ou la capacité de protéger notre plate-forme contre les mauvais acteurs, y compris saper nos efforts de lutte contre l’exploitation et la manipulation sexuelles des enfants », a écrit Twitter. “Nous [also took] des mesures pour garantir que la sécurité et la confidentialité des utilisateurs seraient protégées.

Twitter indique qu’il travaille sur des outils pour gérer les suggestions de code de la communauté et synchroniser les modifications apportées à son référentiel interne. Vraisemblablement, ceux-ci seront mis à disposition à une date ultérieure – il n’y a aucun signe d’eux à l’heure actuelle.

À première vue, l’algorithme est assez complexe – mais pas nécessairement surprenant d’un point de vue technique. Il est composé de plusieurs modèles, y compris un modèle pour détecter les contenus “non sûrs pour le travail” ou abusifs, la probabilité qu’un utilisateur de Twitter interagisse avec un autre utilisateur et le calcul de la “réputation” d’un utilisateur de Twitter. (On ne sait pas exactement à quoi «réputation» fait référence; la documentation de haut niveau n’est pas claire.) Plusieurs réseaux de neurones sont chargés de classer les tweets et de recommander les comptes à suivre, tandis qu’un composant de filtrage masque les tweets pour – pardonnez le jargon – “Soutenir la conformité légale, améliorer la qualité des produits, accroître la confiance des utilisateurs, protéger les revenus grâce à l’utilisation de traitements de produits visibles et à filtrage strict et à un déclassement grossier.”

Dans une ingénierie article de blogTwitter en révèle plus sur le pipeline de recommandations, qui, selon lui, s’exécute environ cinq milliards de fois par jour :

“Nous essayons d’extraire les 1 500 meilleurs tweets d’un pool de centaines de millions… Aujourd’hui, la chronologie For You se compose de 50% [tweets from people you don’t follow] et 50% [tweets from people you follow] en moyenne, bien que cela puisse varier d’un utilisateur à l’autre », a écrit Twitter. “Classement [tweets] est réalisé avec un réseau de neurones d’environ 48 millions de paramètres qui est continuellement formé sur les interactions des tweets pour optimiser l’engagement positif (par exemple, les likes, les retweets et les réponses).

La publication du code source intervient après des controverses impliquant des modifications de l’algorithme de recommandation de Twitter. Selon Platformer, en février, Elon Musk a fait appel aux ingénieurs de Twitter pour reconfigurer l’algorithme afin que ses tweets soient plus largement consultés. (Twitter est ensuite revenu sur ce changement – un peu.) Un changement précédent