Bienvenue sur IA Pulse Weekend. En vous abonnant, vous recevez tous les samedis matin, l’essentiel de ce qu’il s’est passé cette semaine autour de l’IA : un coup de gueule édito, une sélection de 3 articles avec pour chacun un résumé rapide à lire, plus 1 article de fond pour ouvrir l’esprit et réfléchir, et pour finir 1 podcast à écouter.
⏱️Temps de lecture de cette newsletter par une unité carbone : 9 mins
Bonjour. Cette semaine c’est le 50ème numéro d’IA-Pulse Weekend. Ce qui a démarré comme un jeu pour amuser quelques amis - et pour tester des outils et des modèles de mon côté, a pris au cours du temps une importance que je n’avais pas prévue. Vous êtes ce matin 1 676 abonnés. Pour ceux qui savent calculer le samedi matin - il y en a, je vous vois - cette newsletter hebdomadaire va fêter son premier anniversaire dans quelques numéros - oui c’est bien, bravo, tu as correctement approximativement calculé Olivier.
Ce prochain anniversaire va être l’occasion de modifier un peu la forme d’IA-Pulse Weekend et de faire des ajustements. Le triptyque “3 actus, 1 réflexion et 1 podcast” va rester, mais les résumés des 3 actus seront plus courts, et l’article qui fait réfléchir va peut-être prendre une nouvelle direction. Un quatrième élément va faire son apparition : il sera plus ‘pratique-utile’ - coucou JS, coucou Dim - et peut-être même multiple. Quant à cet édito, pas certain qu’il survive sous cette forme. On en reparle bientôt. N’hésitez pas à m’envoyer vos réflexions, remarques, attentes, besoins, et surtout vos critiques. Mon email est à la fin de la newsletter.
Cette semaine dans l’actu, c’est Apple qui semble vouloir nouer un partenariat avec Google (ou OpenAI ou Baidu) pour intégrer un LLM déjà tout prêt dans ses systèmes. Une nouvelle étude montre encore une fois que Facebook préfère recommander des contenus totalement faux produits par l’IA que d’autres contenus, en particulier ceux des médias. Pour terminer l’actu de la semaine, parlons de Common Corpus et des personnes qui veulent à tout prix respecter les droits d’auteur pour entrainer un modèle - quelle drôle d’idée, nous dit Sam de Californie.
Pour réfléchir ce weekend, arrêtons-nous sur la Chain-of-Thought, cette méthode qui permet souvent, mais pas tout le temps, d’obtenir de meilleurs résultats de la part d’un LLM.
Cette semaine la partie de cette newsletter gérée par l’IA, les 3 premiers résumés d’articles, a été générée par Claude-3-Haiku. Comme d’habitude trop souvent j’ai fait quelques beaucoup de modifications - ce modèle est le moins puissant de la famille Claude-3 et ça se ressent, mais j’ai aussi laissé quelques tournures typiques des modèles de langage. Et bien entendu, mes commentaires éventuels sont en italique dans ces résumés. Le texte de “l’article qui fait réfléchir” est issu d’un ping-pong entre Claude-3-Opus et votre serviteur. L’image d’illustration ci-dessous est générée par Midjourney.
📰 Les 3 infos de la semaine
🎰 Apple and Google Are Discussing a Deal to Bring Generative A.I. to iPhones
The New York Times, 19/3/2024
Apple et Google discutent actuellement d'un partenariat visant à intégrer les capacités d'intelligence artificielle générative de Google aux futurs iPhone. Bien que ces pourparlers soient encore préliminaires, ils s'inscrivent dans une longue collaboration entre les deux entreprises.
En effet, depuis le lancement de l'iPhone en 2007, Google a été un contributeur essentiel au succès du smartphone - et des finances - d'Apple, en fournissant notamment ses services de moteur de recherche par défaut. Un accord sur l'IA générative serait donc la nouvelle étape de ce partenariat fructueux pour les deux parties.
Pour Apple, ce projet revêt une importance stratégique majeure. Contrairement à ses concurrents la firme de Cupertino a pris du retard dans le développement de ses propres capacités d'IA générative - attendez ! MM1 arrive et ce modèle multimodal va vous étonner. Ce retard a même contribué à la perte de sa place de première entreprise la plus valorisée au profit de Microsoft, plus agressive sur cette technologie - selon certains grands analystes qui font salon sur X, de toutes les façons l’action Apple était trop chère.
Un accord avec Google permettrait donc à Apple de combler ce retard en intégrant le modèle d'IA Gemini à ses futurs iPhone. Cela donnerait également à Google un accès à une base d'utilisateurs considérable, renforçant ainsi sa position face à son principal concurrent, OpenAI et son chatbot ChatGPT - et Microsoft principal support d’OpenAI. Mais chez Apple, on n’aime pas mettre ses œufs dans le même panier. Dans les milieux autorisés, on s’autorise à dire que la firme discute en parallèle aussi avec OpenAI et Baidu. De quoi ravir certains certains conservateurs.
Quelle que soit sa réelle nature à la fin, un tel partenariat soulèvera des interrogations auprès des autorités de la concurrence, qui devront s'assurer qu'il ne porte pas atteinte à un marché sain et équitable.
🤑 Facebook’s Algorithm Is Boosting AI Spam That Links to AI-Generated, Ad-Laden Click Farms
404 Media 19/3/2024
Un phénomène préoccupant s'est récemment développé sur les réseaux sociaux, en particulier sur Facebook. Des pages utilisant des outils d’intelligence artificielle pour générer du contenu se répandent à grande vitesse, profitant des algorithmes de recommandation de la plateforme - étonnant...
Ces pages publient une quantité incroyable d'images irréalistes et étranges, comme par exemple des représentations de Jésus sous forme de crevette - LSD forever. Loin d'être de simples curiosités, ces images servent un but plus insidieux : attirer les utilisateurs vers des sites web remplis de publicités et de contenus de piètre qualité - qui font cliquer.
Les responsables de ces pages ont développé des stratégies élaborées pour contourner les algorithmes de Facebook - ça doit être très très très compliqué, comme par exemple en plaçant les liens dans les commentaires - ah non, ce n’est pas très très très compliqué. Ils tirent parti du fait que de nombreux utilisateurs interagissent avec ce type de contenu déconcertant, sans réaliser qu'il s'agit d'IA - c’est sûr : une image représentant Jésus sous forme de crevette semble totalement légitime.
Des chercheurs ont identifié des centaines de ces pages, opérant depuis diverses régions du globe. Leurs analyses montrent que ces pages générant du contenu IA ont vu leur niveau d'interactions exploser, dépassant largement celui des pages utilisant du contenu traditionnel.
Malgré ces constats alarmants, Facebook semble pour l'instant incapable ou - plutôt - réticent à s'attaquer efficacement à ce problème. Mais pour fermer le robinet vers les médias, aucun problème.
🏦 Here’s Proof You Can Train an AI Model Without Slurping Copyrighted Content
Wired, 20/3/2024
L'industrie de l'IA est confrontée à une épineuse question : est-il vraiment impossible de créer de bons modèles de langage sans utiliser des contenus protégés par le droit d'auteur ? Deux projets récents remettent en cause cette affirmation d'OpenAI et ouvrent la voie à une approche plus éthique.
Tout d'abord, des chercheurs français - coucou Pierre-Carl Langlais et Pleais, ont publié ce qui est considéré comme le plus grand jeu de données composé uniquement de textes dans le domaine public. Baptisé Common Corpus, cette collection de 500 milliards de "tokens" (unités de texte) pourrait servir à entraîner des modèles de langage de pointe. Une ressource précieuse pour les développeurs soucieux de respecter les droits de propriété intellectuelle - et ils existent, j’en ai rencontrés.
De leur côté, les responsables de Fairly Trained, une organisation à but non lucratif, ont certifié leur premier grand modèle de langage développé de manière éthique. Baptisé KL3M, ce modèle a été entraîné par une startup spécialisée dans les technologies juridiques, uniquement sur des documents dont les droits sont maîtrisés. Une approche qui tranche avec les pratiques controversées de "glanage" à grande échelle de contenus protégés.
Ces deux projets démontrent qu'il est possible de concevoir des modèles d'IA puissants, sans recourir à l'utilisation non autorisée de données protégées. Une voie à suivre pour une IA plus responsable et soucieuse du respect du droit d'auteur - coucou Sam.
🧠 L’article qui fait réfléchir - et qu’il faut absolument lire
How Chain-of-Thought Reasoning Helps Neural Networks Compute
Whop whop whop
Les modèles de langage les plus avancés, comme ceux qui font tourner les agents conversationnels tels que ChatGPT, sont plus efficaces pour résoudre des problèmes lorsqu'ils utilisent une technique appelée "raisonnement en chaîne de pensée" (Chain-of-Thought). Plutôt que de donner directement la réponse finale, ils génèrent la solution étape par étape, en montrant tout leur cheminement - nous savons empiriquement que cette technique fonctionne, et fonctionne même très bien dans de nombreux cas. Mais pourquoi exactement… Des chercheurs tentent de comprendre les raisons du succès de cette méthode en utilisant les outils de la théorie de la complexité, une branche de l'informatique théorique qui étudie les ressources nécessaires pour résoudre des problèmes de calcul.
L'objectif de ces chercheurs est de déterminer les capacités et les limites fondamentales des transformers, l'architecture de réseau de neurones artificiel sur laquelle reposent les modèles de langage modernes. Pour ce faire, ils considèrent les transformers comme des ordinateurs programmables et étudient les types de fonctions qu'ils peuvent calculer en principe, indépendamment de la façon dont ils ont été entraînés.
Les premiers travaux théoriques suggéraient que les transformers pouvaient être aussi puissants que les machines de Turing, un modèle abstrait inventé par Alan Turing dans les années 1930 pour définir la notion de calcul. Une machine de Turing consiste en un ruban infini divisé en cases, une tête de lecture/écriture et un ensemble fini de règles. Malgré sa simplicité, ce modèle est dit "universel" car il peut simuler n'importe quel algorithme. Cependant, les résultats établissant l'équivalence entre transformers et machines de Turing reposaient sur des hypothèses peu réalistes.
Des recherches plus récentes ont affiné ces hypothèses pour mieux refléter le fonctionnement concret des transformers. Elles ont montré que la structure parallèle des transformers, essentielle pour permettre leur entraînement sur d'immenses quantités de données, peut paradoxalement limiter leur puissance de calcul lorsqu'ils doivent fournir une réponse immédiate à une question.
C'est là qu'intervient le raisonnement en chaîne de pensée. En permettant aux transformers de réutiliser les résultats des étapes intermédiaires de leur raisonnement, cette approche leur permet de contourner en partie les limites imposées par leur structure parallèle. Cependant, cette méthode a un coût : elle nécessite une puissance de calcul très importante, qui augmente rapidement avec la taille et la difficulté du problème à résoudre - le contexte, toujours le contexte.
Bien entendu, ces résultats théoriques ne capturent pas toute la complexité des modèles de langage réels. Néanmoins, ils aident à mieux comprendre leurs limites intrinsèques, une question cruciale à mesure que ces modèles sont déployés dans un nombre croissant d'applications concrètes.
Au-delà, ces recherches ouvrent la voie à l'analyse d'autres architectures de réseaux de neurones qui pourraient surmonter certaines des limitations des transformers. Si une analyse théorique venait à montrer la supériorité d'un nouveau type de réseau, cela pourrait orienter les efforts visant à développer des modèles de langage encore plus performants. Les découvertes issues de l'informatique théorique pourraient ainsi avoir un nouvel impact majeur sur l'avenir de l'intelligence artificielle.
📻 Le podcast de la semaine
Challenges - Deeptechs : Voyage au cœur de la machine Open AI
Romain Huet a joué un rôle central dans des évolutions technologiques clés récentes. Cofondateur de Jolicloud en 2009, il a ensuite rejoint Twitter à Londres, contribuant à sa croissance, puis Stripe dans la Silicon Valley pour les relations avec les développeurs. Depuis septembre, il est chez OpenAI, en charge de l'expérience développeurs. Un épisode qui raconte de l’intérieur une partie de l’histoire récente d’OpenAI.
N’hésitez à me contacter si vous avez des remarques et suggestions sur cette newsletter, ou si dans votre entreprise vous cherchez à être accompagnés dans l’intégration d’outils IA et d’IA générative : olivier@255hex.ai
Partagez cette newsletter
Et si vous n’êtes pas abonné, il ne tient qu’à vous de le faire !
Bon weekend.