Un ingénieur de Netflix crée une appli pour alléger ses factures d'IA, puis l'ouvre à tout le monde

Tejas Chopra, ingénieur senior chez Netflix, a bricolé un petit logiciel appelé Headroom qui s'attaque à un poste de dépense devenu douloureux dans toutes les boîtes qui carburent à l'IA : la facture en tokens, ces unités que les modèles de langage facturent au passage et qui correspondent en gros à des morceaux de mots.

Son constat de départ est sévère. Près de 90% de ce qu'on balance à un grand modèle de langage, le type d'IA qui fait tourner ChatGPT, serait selon lui de la redondance pure, du remplissage que la machine paie au prix fort sans en tirer la moindre valeur.

Headroom s'installe comme un proxy, c'est-à-dire un intermédiaire qui se glisse entre votre machine et l'IA, et il tourne en local sur le port 8787. Avant que la moindre requête ne file vers le modèle, il intercepte tout ce qui gonfle le contexte, l'historique de conversation, les logs (les journaux d'activité techniques de la machine), les sorties d'outils, les bouts de documentation que le système a jugés utiles, et il compresse l'ensemble.

Un routeur devine d'abord le type de contenu, puis l'envoie vers le bon compresseur. Du code part vers un module qui le réduit à sa structure logique, son arbre syntaxique si vous voulez. Le JSON et le HTML, eux, passent à la moulinette pour virer tout le code de remplissage répétitif.

Et si le modèle réclame finalement la version complète ? Headroom garde les originaux de côté dans une petite base locale, Redis ou SQLite, et laisse l'IA aller les rechercher à la demande grâce à des marqueurs et au protocole MCP, ce standard récent qui permet à un modèle d'appeler des outils extérieurs tout seul.

Les taux de compression dépendent de la matière. Les logs serveur fondent de 90%. Les sorties d'outils MCP, bourrées de JSON répétitif, perdent à peu près 70%.

Présenté la semaine dernière à l'Open Source Summit, Headroom aurait déjà épargné quelque 700 000 dollars à ses utilisateurs, soit 200 milliards de tokens récupérés pour servir ailleurs.

Le projet reste officieux. Plusieurs équipes de Netflix s'en servent, mais ce n'est pas un produit maison estampillé par le studio.

À noter que Chopra a une explication assez simple à ce succès : beaucoup de ses utilisateurs sont des gens qui se sont fait sérieusement échauder par le coût des tokens, plus que par n'importe quoi d'autre.

Voir un ingénieur régler son propre problème de facture puis filer la solution gratuitement, plutôt que d'en faire une startup, c'est suffisamment rare pour qu'on le souligne.

Source : The Register

RTK - Le proxy Rust qui vous fait économiser jusqu'à 90% de tokens

Si vous utilisez Claude Code au quotidien, vous connaissez ce goût de sang qui vous monte dans la bouche lorsque, sans prévenir, cette putain de limite de quota imposée par Anthropic vous explose à la gueule ! Et le pire c'est que vous n'avez pas l'impression d'avoir fait grand chose.

En réalité, la vraie raison c'est surtout le "bruit" de toutes vos sorties shell. Un git log, un cargo test, un npm build... votre agent IA ingère tout ça comme du petit lait alors qu'il n'a besoin que d'une fraction pour comprendre ce qui se passe.

Breeef, c'est pas ouf quoi.

Heureusement pour vous RTK (Rust Token Killer) vient régler en partie ce problème. RTK c'est développé par un Français et c'est un proxy CLI en Rust qui s'intercale entre votre shell et votre agent IA, intercepte les commandes courantes et compresse leur sortie avant qu'elle n'atterrisse dans le contexte de votre agent.

Comme ça plutôt que de massacrer vos prompts ou de changer vos habitudes (et dieu sait que vous avez horreur de changer d'habitudes..lol), il attaque le bruit à la source grâce à 4 stratégies de compression : un filtrage du boilerplate, un regroupement des lignes similaires, une troncature intelligente et de la déduplication des répétitions.

Et tout ça s'intègre merveilleusement bien via un hook pour Claude Code, GitHub Copilot, Cursor, Gemini CLI, Windsurf, Cline, Codex... soit une bonne dizaine d'outils supportés !

Ainsi, votre git status devient rtk git status sans changer quoi que ce soit à vos habitudes... RTK fait tout le filtrage dans votre dos, ce qui est parfait ! C'est un outil qu'on installe et qu'on oublie.

Par exemple un git diff passe de 12 000 tokens à 960, soit 92% d'économie, un npm test tombe de 6 000 à 600 tokens et une session de refactoring sur 12 fichiers passe de 74 700 à 6 960 tokens d'après les benchmarks. En pratique, les utilisateurs constatent des économies autour de 70% sur l'ensemble d'une journée de boulot, ce qui représente plusieurs millions de tokens par semaine pour ceux qui bossent avec des agents IA à plein régime.

Moi ça fait plusieurs mois que je le teste et voici mes stats. Ça donne quand même 81,5 % d'économie de tokens !!

L'installation se fait en une commande : brew install rtk sur macOS, ou un script curl pour les autres plateformes, ou cargo install --git https://github.com/rtk-ai/rtk si vous préférez compiler ça vous-même.

Avec la commande rtk gain vous verrez un tableau comme ci-dessus avec les statistiques par commande, et rtk gain --history donnera l'historique détaillé. Y'a plus de 100 commandes couvertes, de git aux runners de tests en passant par AWS CLI, kubectl et docker. Par contre, ça marche pas super bien si vos sorties de commandes sont déjà très courtes. Ça ne fera pas de miracle mais pour des diffs volumineux ou de suites de tests qui crachent 3 000 lignes à chaque fois, c'est tip top !

Si vous utilisez des agents en mode autonome où une boucle tourne sans intervention, c'est même encore plus pertinent car chaque itération accumule du bruit de façon cumulative, et du coup le contexte se remplit de trucs inutiles à vitesse grand V. Moins de bruit grâce à RTK, c'est donc une économie de tokens mais c'est également un meilleur signal pour votre agent.

RTK est dispo en open source sur GitHub sous licence Apache 2.0.