PyTorch, le framework chouchou des bidouilleurs d’IA, vient de nous pondre un petit truc cool : Torchtune ! 💎 Cette nouvelle bibliothèque native, encore en phase alpha mais déjà disponible en open-source sur GitHub, va vous permettre de fine-tuner les gros modèles de langage (LLM) comme un pro, sans vous prendre la tête.
Torchtune est donc une boîte à outils hyper flexible et modulaire qui va vous permettre de vous éclater à customiser des modèles pour vos propres besoins, le tout avec des recettes mémoire efficaces qui tournent même sur une bête carte graphique de gamer, comme les NVidia 3090/4090.
Son secret ?
Une architecture bien pensée qui mise sur l’interopérabilité avec l’écosystème des LLM, qu’ils soient open-source ou non. Concrètement, ça veut dire que vous allez pouvoir brancher Torchtune à tout un tas d’outils et de frameworks que vous adorez déjà, comme Hugging Face 🤗, PyTorch FSDP 🪢, Weights & Biases 📈, et plein d’autres.
Grâce à des recettes simples et bien documentées pour les modèles populaires comme Llama 3, Mistral ou Gemma 7B, même les débutants vont pouvoir se lancer dans l’aventure sans flipper. Bon OK, il faudra quand même un peu de bagage en PyTorch et en LLM, mais rien d’insurmontable ! Et si vous êtes un pro, vous allez pouvoir hacker le code à volonté pour l’adapter à vos besoins spécifiques.
Alors comment on met les mains dans le cambouis avec Torchtune ?
Rien de plus simple, mon cher Watson ! Il vous suffit d’installer la dernière version stable de PyTorch (2.2.2 au moment où j’écris ces lignes), puis de télécharger Torchtune depuis PyPI avec un petit
pip install torchtune
Et voilà, vous êtes prêt à en découdre avec les LLM !
Pour vous faire les dents, je vous conseille de jeter un œil au tutoriel sur le fine-tuning de Llama2 7B. C’est le parfait point de départ pour comprendre comment Torchtune fonctionne et comment l’utiliser pour vos propres projets.
En gros, ça se passe en 4 étapes :
tune download
.tune run
en précisant votre recette et votre config. Vous pouvez même faire du multi-GPU avec torchrun
!Facile, non ? 😄
Bon OK, j’avoue, j’ai un peu simplifié. En vrai, il y a pas mal de subtilités et de paramètres à régler pour obtenir les meilleurs résultats, comme le learning rate, le nombre d’époques, la taille du batch, le ratio de LoRA, et tout un tas d’autres trucs, mais c’est justement sa flexibilité qui vous permet d’expérimenter à l’infini pour trouver la combinaison parfaite.
Bref, si vous êtes dev et que vous aimez jouer avec les LLM c’est à tester.
Les photos d'éclipse sont désormais monnaie courante. Plus rares en revanche sont les clichés montrant, depuis l'espace, les effets de ce phénomène, avec l'ombre de la Lune sur la Terre. C'est un Français, Jean-Pierre Haigneré, qui est crédité comme le premier à avoir capturé en photo cet évènement. C'était en 1999.
Malheureusement, j’ai une nouvelle qui va vous faire bondir de votre canapé ! 😱 Figurez-vous que nos chers modèles de langage d’IA, là, genre GPT-4, GPT-3, Llama 2 et compagnie, eh ben ils sont bourrés de biais de genre ! Si si, et c’est pas moi qui le dis, c’est l’UNESCO qui vient de sortir une étude là-dessus.
Cette étude, menée par des chercheurs de l’University College London (UCL) et de l’UNESCO, a fait de l’analyse de contenu pour repérer les stéréotypes de genre, des tests pour voir si les IA étaient capables de générer un langage neutre, de l’analyse de diversité dans les textes générés, et même de l’analyse des associations de mots liées aux noms masculins et féminins.
Bref, ils ont passé les modèles au peigne fin et les résultats piquent les yeux. Déjà, ces IA ont une fâcheuse tendance à associer les noms féminins à des mots comme « famille », « enfants », « mari », bref, tout ce qui renvoie aux stéréotypes de genre les plus éculés. Pendant ce temps-là, les noms masculins, eux, sont plus souvent associés à des termes comme « carrière », « dirigeants », « entreprise »… Vous voyez le tableau quoi. 🙄
Et attendez, ça ne s’arrête pas là ! Quand on demande à ces IA d’écrire des histoires sur des personnes de différents genres, cultures ou orientations sexuelles, là aussi ça part en vrille. Par exemple, les hommes se retrouvent bien plus souvent avec des jobs prestigieux genre « ingénieur » ou « médecin », tandis que les femmes sont reléguées à des rôles sous-valorisés ou carrément stigmatisés, genre « domestique », « cuisinière » ou même « prostituée » ! On se croirait revenu au Moyen-Âge !
Tenez, un exemple frappant avec Llama 2 : dans les histoires générées, les mots les plus fréquents pour les garçons et les hommes c’est « trésor », « bois », « mer », « aventureux », « décidé »… Alors que pour les femmes, on a droit à « jardin », « amour », « doux », « mari »…et le pire, c’est que les femmes sont décrites quatre fois plus souvent dans des rôles domestiques que les hommes.
Nombreux sont les gens de la tech qui se battent pour plus de diversité et d’égalité dans ce milieu, et voilà que les IA les plus avancées crachent à la gueule de tous des clichés dignes des années 50 ! Il est donc grand temps de repenser en profondeur la façon dont on développe ces technologies parce que là, non seulement ça perpétue les inégalités, mais en plus ça risque d’avoir un impact bien réel sur la société vu comme ces IA sont de plus en plus utilisées partout !
Alors ok, y a bien quelques boîtes qui arrivent mieux à limiter la casse, mais globalement, c’est la cata. Et le pire, c’est que ces biais viennent en grande partie des données utilisées pour entraîner les IA, qui deviennent à leur tour ce reflet de tous les stéréotypes et discriminations bien ancrés dans notre monde…
Mais attention, faut pas tomber dans le piège de dire que ces IA sont volontairement biaisées ou discriminatoires hein. En fait, ce sont juste des systèmes hyper complexes qui apprennent à partir des données sur lesquelles on les entraîne. Donc forcément, si ces données sont elles-mêmes biaisées, et bien les IA vont refléter ces biais. C’est pas qu’elles cherchent à discriminer, c’est juste qu’elles reproduisent ce qu’elles ont « appris ».
Mais bon, faut pas désespérer non plus hein. Déjà, des études comme celle de l’UNESCO, ça permet de mettre en lumière le problème et de sensibiliser l’opinion et les décideurs et puis surtout, il y a des pistes de solutions qui émergent. Les chercheurs de l’UNESCO appellent par exemple à renforcer la diversité et l’inclusivité des données d’entraînement, à mettre en place des audits réguliers pour détecter les biais, à impliquer davantage les parties prenantes dans le développement des IA, ou encore à former le grand public aux enjeux… Bref, tout un tas de leviers sur lesquels on peut jouer pour essayer de rééquilibrer la balance !
Alors voilà, je voulais partager ça avec vous parce que je trouve que c’est un sujet super important, qui nous concerne tous en tant que citoyens du monde numérique. Il est crucial qu’on garde un œil vigilant sur ces dérives éthiques et qu’on se batte pour que l’IA soit développée dans le sens du progrès social et pas l’inverse. Parce que sinon, on court droit à la catastrophe, et ça, même le plus optimiste des Bisounours ne pourra pas le nier !
N’hésitez pas à jeter un coup d’œil à l’étude de l’UNESCO, elle est super intéressante et surtout, continuez à ouvrir vos chakras sur ces questions d’éthique IA, parce que c’est un défis majeurs qui nous attend.
Allez, sur ce, je retourne binge-watcher l’intégrale de Terminator en espérant que ça ne devienne pas un documentaire… Prenez soin de vous les amis, et méfiez-vous des machines ! Peace ! ✌️
Les premiers gadgets de l'ère IA arrivent. En plus du rabbit r1, une sorte de Tamagotchi carré capable de parler, Humane commence à livrer son Ai Pin, un petit accessoire qui s'accroche aux vêtements. Les premiers tests américains s'interrogent sur la pertinence de ces produits.
Une éclipse solaire se produit le lundi 8 avril 2024. Le phénomène astronomique n'est pas visible en France métropolitaine. Il est cependant possible de suivre l'éclipse de Soleil en ligne et en direct.
Dune : Partie 2, le blockbuster de science-fiction qui cartonne en ce moment au cinéma, vient de fuiter sur les sites de partage illégaux.
Alors oui, ce genre de fuite, ça arrive plus souvent qu’on ne le croit puisque les films se font régulièrement récupérés directement depuis les plateformes de streaming pour être refourgués illico sur les réseaux de partage. Mais ici, ce qui est assez dingue, c’est qu’on parle d’une copie de très bonne qualité, récupérée visiblement d’une source web (WEBDL), qui débarque avant même que le film ne soit dispo en VOD ou en Blu-ray.
Et le plus rigolo dans tout ça, c’est que cette fuite de Dune 2 n’est pas arrivée par hasard puisqu’il s’agit d’un hommage à un groupe de pirates nommé EVO. Pour ceux qui ne suivent pas trop les aventures des forbans du download, sachez qu’EVO c’était les Robins des Bois du téléchargement illégal, spécialisé dans les fuites de films bien, bien avant leur sortie. Sauf que voilà, en 2021, le groupe s’est fait choper par les flics portugais et a dû mettre la clé sous la porte.
Du coup, cette fuite avec la mention « InMemoryOfEVO » dans son nom de fichier, c’est un dernier doigt d’honneur à l’industrie du cinéma. Une manière de dire « Vous avez peut-être tué EVO, mais son esprit est toujours là !« . Un hommage qui va faire grincer des dents dans les chaumières d’Hollywood. Ça va s’agiter dans les bureaux des avocats, et ce leak va probablement donner des sueurs froides aux pontes des studios.
Toutefois, en attendant, si vous voulez voir Dune 2 dans des conditions optimales et légales, ce que je vous recommande, il va falloir prendre votre mal en patience le temps que ça déboule sur les plateformes ou en BluRay en juillet de cette année.
L'éclipse solaire du 8 avril 2024 sera visible depuis une partie des États-Unis. Les réservations de logements Airbnb, représentées sur une carte, dessinent la trajectoire du phénomène outre-Atlantique.
Dune: Part Two is still raking in the moolah at the box office, and deservedly so. But judging by my various feeds, fans are already swooning over the prospect of director Denis Villeneuve extending his vision into a trilogy by adapting Frank Herbert's 1969 sequel, Dune Messiah, for the next installment. Will there be a Dune: Part Three? Most signs currently point to yes, with a couple of caveats. Exactly how soon we'll be seeing a return to Arrakis depends a lot on Villeneuve.
Variety confirmed that Legendary Pictures is working with the director on developing Dune: Part Three, although it remains unclear from the wording of the plethora of news items whether the project has officially been greenlit. ("Development" can mean a lot of things.) Naturally, the studio is eager, as are we: the film is the biggest hit of 2024 thus far, with global earnings of $630 million (although the hotly anticipated Deadpool and Wolverine this summer might give it a run for its money).
That confirmation sent fresh frissons of excitement across the Internet, although Villeneuve had been talking about the prospect as far back as September 2021. Those plans always depended on the success of Part Two, and that hurdle has obviously been cleared. By August 2023, the director was on record saying there were "words on paper" for a third film. And we learned just last month that composer Hans Zimmer was already working on the score for Dune: Part Three.
Observer une éclipse solaire exige de l'anticipation. Quand est prévue la prochaine éclipse de Soleil ? En octobre 2024, une éclipse annulaire sera visible depuis une partie de la Terre.
Sans surprise, Legendary Pictures a donné le feu vert à Denis Villeneuve pour réaliser un troisième film Dune.
Une éclipse solaire totale survient le 8 avril 2024. La France métropolitaine n'a aucune chance de voir le spectacle, mais une partie de la France d'outre-mer est bien placée pour admirer le Soleil éclipsé par la Lune.
Vous ne connaissez probablement pas leur nom, pourtant vous avez forcément déjà entendu l’une de leurs créations : David et Jessie Peterson sont des « conlangers », des créateurs de langues inventées pour des films et des séries, comme le Dothraki de Game of Thrones ou le Chakobsa pour Dune. Ensemble, ils nous racontent leur métier.
Les occasions de lever les yeux vers le ciel seront nombreuses au mois d'avril 2024 en France. Comète du diable, phases de la Lune, étoiles filantes... Voici les phénomènes astronomiques les plus faciles à voir.
Arrivé sur la Lune fin janvier, l'atterrisseur japonais SLIM tient bon. L'engin a survécu à sa deuxième nuit lunaire, malgré les embuches nombreuses.
Odysseus ne s'est pas réveillé sur la Lune, après une longue nuit rigoureuse. La mission d'Intuitive Machines est officiellement terminée.
Il y a déjà eu une éclipse lunaire en mai 2024, par la pénombre. La prochaine éclipse de Lune est pour septembre. Ce sera une éclipse partielle. Que peut-on espérer voir ?
Actuellement visible depuis la Terre, la comète 12P/Pons-Brook attire l'attention des astronomes amateurs. Mais observer correctement cette « comète du diable » qui passe tous les 71 ans n'est pas si facile ! Voici comment s'y prendre.
Le ministère des Affaires étrangères russe a déclaré que les satellites Starlink de la société SpaceX pouvaient être « des cibles légitimes ». Parallèlement, l'armée russe s'approvisionne en satellites Starlink pour mener sa guerre en Ukraine.
Le programme spatial chinois se développe à bon rythme et ses astronautes pourraient se trouver sur la Lune durant la décennie 2030. Pour le Pentagone, cela s'accompagne d'un nouveau risque à considérer : une menace chinoise provenant depuis le satellite naturel.