Connexion
PyTorch, le framework chouchou des bidouilleurs d’IA, vient de nous pondre un petit truc cool : Torchtune ! 💎 Cette nouvelle bibliothèque native, encore en phase alpha mais déjà disponible en open-source sur GitHub, va vous permettre de fine-tuner les gros modèles de langage (LLM) comme un pro, sans vous prendre la tête.
Torchtune est donc une boîte à outils hyper flexible et modulaire qui va vous permettre de vous éclater à customiser des modèles pour vos propres besoins, le tout avec des recettes mémoire efficaces qui tournent même sur une bête carte graphique de gamer, comme les NVidia 3090/4090.
Son secret ?
Une architecture bien pensée qui mise sur l’interopérabilité avec l’écosystème des LLM, qu’ils soient open-source ou non. Concrètement, ça veut dire que vous allez pouvoir brancher Torchtune à tout un tas d’outils et de frameworks que vous adorez déjà, comme Hugging Face 🤗, PyTorch FSDP 🪢, Weights & Biases 📈, et plein d’autres.
Grâce à des recettes simples et bien documentées pour les modèles populaires comme Llama 3, Mistral ou Gemma 7B, même les débutants vont pouvoir se lancer dans l’aventure sans flipper. Bon OK, il faudra quand même un peu de bagage en PyTorch et en LLM, mais rien d’insurmontable ! Et si vous êtes un pro, vous allez pouvoir hacker le code à volonté pour l’adapter à vos besoins spécifiques.
Alors comment on met les mains dans le cambouis avec Torchtune ?
Rien de plus simple, mon cher Watson ! Il vous suffit d’installer la dernière version stable de PyTorch (2.2.2 au moment où j’écris ces lignes), puis de télécharger Torchtune depuis PyPI avec un petit
pip install torchtune
Et voilà, vous êtes prêt à en découdre avec les LLM !
Pour vous faire les dents, je vous conseille de jeter un œil au tutoriel sur le fine-tuning de Llama2 7B. C’est le parfait point de départ pour comprendre comment Torchtune fonctionne et comment l’utiliser pour vos propres projets.
En gros, ça se passe en 4 étapes :
Lateo.net - Flux RSS en pagaille (pour en ajouter : @ moi) tune download.tune run en précisant votre recette et votre config. Vous pouvez même faire du multi-GPU avec torchrun !Facile, non ? 😄
Bon OK, j’avoue, j’ai un peu simplifié. En vrai, il y a pas mal de subtilités et de paramètres à régler pour obtenir les meilleurs résultats, comme le learning rate, le nombre d’époques, la taille du batch, le ratio de LoRA, et tout un tas d’autres trucs, mais c’est justement sa flexibilité qui vous permet d’expérimenter à l’infini pour trouver la combinaison parfaite.
Bref, si vous êtes dev et que vous aimez jouer avec les LLM c’est à tester.
Malheureusement, j’ai une nouvelle qui va vous faire bondir de votre canapé ! 😱 Figurez-vous que nos chers modèles de langage d’IA, là, genre GPT-4, GPT-3, Llama 2 et compagnie, eh ben ils sont bourrés de biais de genre ! Si si, et c’est pas moi qui le dis, c’est l’UNESCO qui vient de sortir une étude là-dessus.
Cette étude, menée par des chercheurs de l’University College London (UCL) et de l’UNESCO, a fait de l’analyse de contenu pour repérer les stéréotypes de genre, des tests pour voir si les IA étaient capables de générer un langage neutre, de l’analyse de diversité dans les textes générés, et même de l’analyse des associations de mots liées aux noms masculins et féminins.
Bref, ils ont passé les modèles au peigne fin et les résultats piquent les yeux. Déjà, ces IA ont une fâcheuse tendance à associer les noms féminins à des mots comme « famille », « enfants », « mari », bref, tout ce qui renvoie aux stéréotypes de genre les plus éculés. Pendant ce temps-là, les noms masculins, eux, sont plus souvent associés à des termes comme « carrière », « dirigeants », « entreprise »… Vous voyez le tableau quoi. 🙄
Et attendez, ça ne s’arrête pas là ! Quand on demande à ces IA d’écrire des histoires sur des personnes de différents genres, cultures ou orientations sexuelles, là aussi ça part en vrille. Par exemple, les hommes se retrouvent bien plus souvent avec des jobs prestigieux genre « ingénieur » ou « médecin », tandis que les femmes sont reléguées à des rôles sous-valorisés ou carrément stigmatisés, genre « domestique », « cuisinière » ou même « prostituée » ! On se croirait revenu au Moyen-Âge !
Tenez, un exemple frappant avec Llama 2 : dans les histoires générées, les mots les plus fréquents pour les garçons et les hommes c’est « trésor », « bois », « mer », « aventureux », « décidé »… Alors que pour les femmes, on a droit à « jardin », « amour », « doux », « mari »…et le pire, c’est que les femmes sont décrites quatre fois plus souvent dans des rôles domestiques que les hommes.
Nombreux sont les gens de la tech qui se battent pour plus de diversité et d’égalité dans ce milieu, et voilà que les IA les plus avancées crachent à la gueule de tous des clichés dignes des années 50 ! Il est donc grand temps de repenser en profondeur la façon dont on développe ces technologies parce que là, non seulement ça perpétue les inégalités, mais en plus ça risque d’avoir un impact bien réel sur la société vu comme ces IA sont de plus en plus utilisées partout !
Alors ok, y a bien quelques boîtes qui arrivent mieux à limiter la casse, mais globalement, c’est la cata. Et le pire, c’est que ces biais viennent en grande partie des données utilisées pour entraîner les IA, qui deviennent à leur tour ce reflet de tous les stéréotypes et discriminations bien ancrés dans notre monde…
Mais attention, faut pas tomber dans le piège de dire que ces IA sont volontairement biaisées ou discriminatoires hein. En fait, ce sont juste des systèmes hyper complexes qui apprennent à partir des données sur lesquelles on les entraîne. Donc forcément, si ces données sont elles-mêmes biaisées, et bien les IA vont refléter ces biais. C’est pas qu’elles cherchent à discriminer, c’est juste qu’elles reproduisent ce qu’elles ont « appris ».
Mais bon, faut pas désespérer non plus hein. Déjà, des études comme celle de l’UNESCO, ça permet de mettre en lumière le problème et de sensibiliser l’opinion et les décideurs et puis surtout, il y a des pistes de solutions qui émergent. Les chercheurs de l’UNESCO appellent par exemple à renforcer la diversité et l’inclusivité des données d’entraînement, à mettre en place des audits réguliers pour détecter les biais, à impliquer davantage les parties prenantes dans le développement des IA, ou encore à former le grand public aux enjeux… Bref, tout un tas de leviers sur lesquels on peut jouer pour essayer de rééquilibrer la balance !
Alors voilà, je voulais partager ça avec vous parce que je trouve que c’est un sujet super important, qui nous concerne tous en tant que citoyens du monde numérique. Il est crucial qu’on garde un œil vigilant sur ces dérives éthiques et qu’on se batte pour que l’IA soit développée dans le sens du progrès social et pas l’inverse. Parce que sinon, on court droit à la catastrophe, et ça, même le plus optimiste des Bisounours ne pourra pas le nier !
N’hésitez pas à jeter un coup d’œil à l’étude de l’UNESCO, elle est super intéressante et surtout, continuez à ouvrir vos chakras sur ces questions d’éthique IA, parce que c’est un défis majeurs qui nous attend.
Allez, sur ce, je retourne binge-watcher l’intégrale de Terminator en espérant que ça ne devienne pas un documentaire… Prenez soin de vous les amis, et méfiez-vous des machines ! Peace ! ✌️
Dune : Partie 2, le blockbuster de science-fiction qui cartonne en ce moment au cinéma, vient de fuiter sur les sites de partage illégaux.
Alors oui, ce genre de fuite, ça arrive plus souvent qu’on ne le croit puisque les films se font régulièrement récupérés directement depuis les plateformes de streaming pour être refourgués illico sur les réseaux de partage. Mais ici, ce qui est assez dingue, c’est qu’on parle d’une copie de très bonne qualité, récupérée visiblement d’une source web (WEBDL), qui débarque avant même que le film ne soit dispo en VOD ou en Blu-ray.
Et le plus rigolo dans tout ça, c’est que cette fuite de Dune 2 n’est pas arrivée par hasard puisqu’il s’agit d’un hommage à un groupe de pirates nommé EVO. Pour ceux qui ne suivent pas trop les aventures des forbans du download, sachez qu’EVO c’était les Robins des Bois du téléchargement illégal, spécialisé dans les fuites de films bien, bien avant leur sortie. Sauf que voilà, en 2021, le groupe s’est fait choper par les flics portugais et a dû mettre la clé sous la porte.
Du coup, cette fuite avec la mention « InMemoryOfEVO » dans son nom de fichier, c’est un dernier doigt d’honneur à l’industrie du cinéma. Une manière de dire « Vous avez peut-être tué EVO, mais son esprit est toujours là !« . Un hommage qui va faire grincer des dents dans les chaumières d’Hollywood. Ça va s’agiter dans les bureaux des avocats, et ce leak va probablement donner des sueurs froides aux pontes des studios.
Toutefois, en attendant, si vous voulez voir Dune 2 dans des conditions optimales et légales, ce que je vous recommande, il va falloir prendre votre mal en patience le temps que ça déboule sur les plateformes ou en BluRay en juillet de cette année.
Sérif or not sérif, là est la question. En général, les typographes sont des gens qui ont de grosses lunettes et qui ont très très mal à la tête, car ils réfléchissent fort fort fort, toute la journée, à l’empattement du prochain « A » minuscule qu’ils vont inventer. Et bien sûr, comme ils souffrent d’être incompris, ils aiment se soulager en méprisant sur les réseaux sociaux, les gens qui utilisent encore du Comic Sans MS en 2023. Non, mais rendez-vous compte !!! Quels connares !!!
Maintenant, parlons peu, mais parlons bien. Si vous aussi, vous voulez rejoindre le club très fermé des typographes, voici LE site dont vous avez besoin. Il s’agit de Karektar qui vous permet de dessiner pixel par pixel, la future police de vos rêves, que Microsoft ne rachètera probablement pas et que vous serez obligé de vendre en ligne sous des licences cheloues d’utilisation. Mais peu importe, car toutes les polices ont le droit d’exister.
J’ai donc pris ma plus belle écriture virtuelle pour vous proposer Tagada, ma police patte de mouche que les médecins vont bientôt tous utiliser pour faire leurs ordonnances numériques. C’est sûr.
Et voilà le rendu final ! Pas de quoi rougir tellement c’est beau.
Et vive le Comic Sans MS, quoi qu’en disent les z’élites.
Imaginez, vous roulez tranquillement à vélo sur la route, et soudain une voiture autonome s’approche de vous.
Que va-t-il se passer ? Le stress !!
Comment peut-on être sûr qu’elle ne va pas vous écraser ? Comme savoir si la rencontre avec ce véhicule d’un futur de plus en plus proche se déroulera sans embûches ni accidents ?
Honnêtement, aujourd’hui on n’en sait rien. C’est pourquoi il est essentiel pour les voitures autonomes d’apprendre à « parler » le langage des cyclistes pour assurer la sécurité de tous sur les routes.
C’est la conclusion d’une étude récente menée par l’Université de Glasgow qui propose la mise au point d’un système capable d’interpréter et de reproduire les interactions sociales complexes entre les conducteurs humains et les cyclistes en furie 😉 .
Les chercheurs ont donc observé attentivement ces interactions durant les heures où le trafic est intense (notamment tôt le matin comme en fin d’après midi). Puis ils ont équipé une douzaine de volontaires avec des lunettes spéciales permettant suivre la trajectoire oculaire (la direction de leurs yeux quoi…) ainsi qu’une caméra montée sur leur casque afin de voir ce qui se passe devant eux durant un parcours bien embouteillé.
Et ils estiment que dans quelques décennies, on devrait voir arriver toute une série de recommandations concernant la manière dont ces bolides automatiques respecteront l’espace personnel des cyclistes et interpréteront les mouvements du corps, les regards ou les bras tendus.
L’équipe derrière cette recherche a même proposé d’aller encore plus loin avec certaines solutions plutôt originales :
J’avoue c’est un peu tiré par les cheveux, mais ils en fument de la bonne à l’université de Glasgow.
De mon point de vue, je pense qu’avec les progrès en IA, notamment du côté de chez Comma, les voitures autonomes apprendront directement de nous. On n’aura pas donc besoin de les former spécifiquement au sujet « vélo » ou au sujet « piéton ». Elles seront formées de manière naturelle comme durant un énorme stage de conduite où elles pourront apprendre de toutes les situations.
Mis au point par Jeff Parsons qui a eu le plaisir de découvrir l’informatique dans les années 70/80, PCjs est un code en javascript qui est capable d’émuler toute une série de matos et de logiciels comme la calculatrice TI-57, le premier Space Invaders (1978), évidemment Multiplan d’IBM (1982), Windows 1.0 jusqu’à 95 ou encore des jeux comme Wolfenstein 3D (1992) ou Dune II (1992).
Cela va vous permettre de vive l’expérience de ces vieux coucous avec leurs CPU ultra pas rapides, des sons bippés à couper le souffle et leurs interfaces hautes en couleurs, tout ça sans avoir à quitter votre navigateur. Et oui car tout est accessible directement via ce site : https://www.pcjs.org.
L’idée évidemment est de préserver un petit peu de ce patrimoine informatique et logiciel et bien sûr de se faire plaisir sans galérer à retrouver de vieilles disquettes ou même un logiciel de virtualisation compatibles.
Voici tout ce que vous allez expérimenter sur PCjs :
Toutes les sources du projet sont sur Github et vous pouvez contribuer. Chacune de ces machines est codée entièrement en javascript et utilisent un format XML qui défini les composants à activer ou non, donc vous pouvez aussi vous approprier le truc et créer vos propres machines assez simplement.
Tags de l’article
