OpenAI Roi
This Charming Man
Bienvenue sur IA Pulse Weekend. En vous abonnant, vous recevez tous les samedis matin, l’essentiel de ce qu’il s’est passé cette semaine autour de l’IA : une sélection de 3 articles avec pour chacun un résumé rapide à lire, plus 1 article de fond pour ouvrir l’esprit et réfléchir, et pour finir 1 podcast à écouter.
⏱️Temps de lecture de cette newsletter par une unité carbone : 8 mins
Encore une semaine OpenAI. Presque un an où la firme, qui n’a d’open que le nom, truste le devant de la scène de l’IA. Même Elon Musk qui nous a annoncé son chatbot anti-woke nourri à coups de tweets en temps réel, n’a pas fait le poids face à Sam Altman et les annonces d’OpenAI en début de semaine. Grok a tenu moins de deux jours dans l’espace médiatique de l’IA.
Que faut-il retenir des annonces d’OpenAI et du reste de cette semaine ? GPT-4 qui va encore toujours plus vite, et qui est encore toujours plus fort. Le multimodal devient la manière de faire des prompts et s’immisce dans les réponses du chatbot. Après les images c’est au tour du son et de la voix de débarquer.
Dans un autre registre, comme tous ses copains - Adobe, Microsoft et Google, OpenAI garantit à ses clients de prendre en charge les éventuels frais de justice si jamais ils étaient attaqués pour violation de copyright, après avoir utilisé un texte ou une image générée par son modèle d’IA. C’est dire le degré de confiance qu’ont ces gens dans la technologie et les produits qu’ils diffusent. Ou bien le degré d’impunité qu’ils espèrent garder.
Mais l’annonce qui va changer -encore- les choses, ce sont les GPTs. Depuis quelques jours, OpenAI permet à ses utilisateurs de créer leur propre version personnalisée de ChatGPT. Et dans quelques jours, ils pourront même les diffuser dans un appstore et les monétiser.
Au-delà de cette frénésie qui donne le tournis au petit geek qui fait du vélo dans ma tête -ne rigole pas toi qui lis, observe ce qu’il se passe dans ta tête à toi- une information vient nous rappeler que cette croissance exponentielle a peut-être quelques limites. Microsoft vient d’annoncer un partenariat avec Oracle pour pouvoir utiliser les ressources machine proposées par ce dernier. Pourquoi ? Même Microsoft ne semble pas avoir assez de ressources en calcul pour faire tourner tous ces modèles d’IA.
De quoi rassurer un peu tous ceux qui se posent beaucoup de questions en voyant arriver le nouveau Google : le Search Generative Experience, ou comment Google va injecter une bonne dose d’IA générative dans ses résultats -coucou les guides d’achats. Encore une expérience qui va changer au moins en partie notre façon d’accéder à l’information, mais qui demande beaucoup de ressources avant d’être totalement généralisée.
📰 Les 3 infos de la semaine
🛠️ OpenAI will now let you create your own personal chatbot
Quartz, 7/11/2023
OpenAI ajoute une fonctionnalité phare à ChatGPT en permettant aux utilisateurs payants de créer et vendre leurs propres ChatGPTs personnalisés, et veut développer une place de marché en ligne pour les chatbots. Annoncée lors de la première conférence des développeurs de la société, cette initiative marque un tournant, alignant OpenAI sur les pratiques des Appstores comme ceux d'Apple et Google. Cette nouvelle offre arrive après le succès retentissant de ChatGPT, qui attire plus de 100 millions d'utilisateurs hebdomadaires.
OpenAI introduit ainsi les GPTs personnalisés, permettant de fusionner des instructions spécifiques, des connaissances additionnelles et diverses compétences. Cela ouvre la possibilité de créer des applications d'IA sur mesure pour des tâches variées, comme l'enseignement ou le design. Les utilisateurs pourront publier et partager leurs chatbots après les avoir affinés à leur satisfaction.
Le GPT Store, prévu pour être lancé plus tard dans le mois, proposera une découverte et une monétisation des GPTs personnalisés, avec un modèle économique encore à préciser. OpenAI prévoit également que les développeurs utilisent son API pour intégrer des GPTs à des services externes. Toutefois, les chats publics avec les GPTs ne seront pas partagés avec les créateurs, sauf choix contraire pour améliorer les modèles d'IA de l'entreprise. Cette évolution promet de transformer l'interaction avec l'IA et d'offrir un nouveau canal pour l'innovation dans l'écosystème de l'IA.
⚡ Bing Chat so hungry for GPUs, Microsoft will rent them from Oracle
The Register, 7/11/2023
Microsoft envisage de transférer une partie des modèles d'apprentissage automatique de Bing Search vers le supercluster GPU d'Oracle, en réponse à une demande croissante pour ses services d'IA et à un besoin accru de ressources de calcul. Oracle dispose d'un grand nombre de GPU Nvidia A100 et H100, qui seront utilisés pour soutenir l'expansion des services d'IA de Microsoft.
Ce partenariat s'appuie sur l'Oracle Interconnect pour Microsoft Azure, permettant une interaction entre les services Azure et les ressources de l'infrastructure cloud d'Oracle (OCI). Bing Chat, intégré dans le moteur de recherche de Microsoft, nécessite des clusters de GPU importants pour l'entraînement et l'inférence des modèles de langage à grande échelle. En octobre 2023, Bing a enregistré une part de marché mondiale de 3,1 % pour les recherches web, avec une présence plus forte sur les ordinateurs de bureau.
Oracle affirme que ses super-clusters cloud peuvent supporter jusqu'à 32 768 GPU Nvidia A100 ou 16 384 GPU H100. Les détails spécifiques sur le nombre de nœuds GPU utilisés par Microsoft restent confidentiels. Ce partenariat souligne l'importance croissante des ressources de calcul dans le domaine de l'IA et la collaboration entre grandes entreprises technologiques pour répondre à ces exigences.
💫 Google SGE expands to 120 countries while adding new follow-up questions, AI translation help and more definitions
Search Engine Land, 8/11/2023
Google a annoncé la mise à disposition de Google Search Generative Experience (SGE) pour 120 pays dans le monde. De plus, de nouvelles fonctionnalités ont été ajoutées à SGE, notamment les “questions de suivi” intégrées aux résultats de recherche, permettant une exploration continue d'un sujet avec une facilité d'accès aux questions et résultats précédents et suivants.
Une des améliorations proposées par cette version touche la traduction assistée par IA, qui propose désormais un contexte additionnel pour les mots susceptibles d’avoir plusieurs significations, afin d'affiner la pertinence des réponses fournies. Les utilisateurs peuvent interagir avec les termes soulignés pour sélectionner les significations spécifiques qu'ils souhaitent exprimer.
Google a également étendu son service de définitions de mots et concepts pour inclure davantage de catégories comme le codage et les informations de santé, en plus des sujets éducatifs déjà disponibles depuis août.
SGE est déployé dans les options de “Search Labs” pour les 120 pays, avec l'ajout de quatre nouvelles langues : l'espagnol, le portugais, le coréen et l'indonésien, permettant au moteur de recherche de couvrir une grande partie de l'Amérique Latine, la Corée du Sud, l'Indonésie et l'Afrique subsaharienne.
🧠 L’article qui fait réfléchir - et qu’il faut absolument lire
Language models can use steganography to hide their reasoning, study finds
Punctured bicycle
Cet article nous invite à réfléchir à propos de la capacité des modèles de langage (LLM) à pratiquer le "raisonnement codé", une forme de stéganographie qui leur permettrait d'incorporer des étapes de raisonnement intermédiaires dans le texte généré, rendant la logique sous-jacente à leurs réponses indéchiffrable pour les humains. Et là, comme vous vous en doutez, cette pratique soulève des préoccupations -légitimes- quant à la transparence et à la surveillance des systèmes d'IA basés sur les LLMs. La peur s’installe. Skynet es-tu là ?
Le concept de raisonnement dans les LLMs est central à cette discussion. Le raisonnement est un processus cognitif essentiel impliqué dans la résolution de problèmes, la prise de décisions et la pensée critique. Il existe différents types de raisonnement : déductif, inductif, abductif, analogique, causal et probabiliste. Les LLMs ont montré des capacités dites “émergentes” qui suggèrent qu'ils pourraient raisonner lorsque des exemples ou des prompts spécifiques leur sont fournis. Comme de toutes les façons, personne ne sait comment vraiment mesurer scientifiquement cette capacité des LLMs, nous pouvons continuer à dire à peu près n’importe quoi sur le sujet.
Un autre aspect qui caractérise le raisonnement est qu’il peut être défini comme formel ou informel. Le raisonnement formel est systématique et suit des règles précises, souvent utilisé dans des contextes mathématiques et logiques. À l'inverse, le raisonnement informel est moins structuré et repose sur l'intuition, l'expérience et le bon sens, et il est couramment utilisé dans la vie de tous les jours. Le raisonnement informel est adaptatif et ouvert, mais potentiellement moins fiable que le raisonnement formel. D’après-vous, ChatGPT c’est du formel ou de l’informel ?
Dans le cadre des LLMs, il n'existe pas de définition claire de ce que signifie "raisonner". Et c’est là où se trouve le réel problème. Les LLMs pourraient très bien utiliser des formes de raisonnement non explicites ou codées qui seraient difficiles à déceler et à évaluer. Si les chercheurs arrivent à prouver de manière convaincante que des schémas existent réellement derrière les sorties générées par les LLMs, que ces schémas font partie d’une intentionnalité d’avancer un raisonnement et pas seulement le résultat probabiliste d’un enchainement de tokens dans un univers mathématique multidimensionnel, et encore que ces schémas sont systémiques et reproductibles, nous avons effectivement un problème.
D’ici là, nous pouvons dormir tranquilles.
📻 Le podcast de la semaine
Parlez-moi d’IA : Comment l’IA peut aider à gérer la connaissance
Jean-Philippe Clément accueille Stény Solitude, fondateur de Perfect Memory, qui aborde l'organisation de la production et du stockage intelligent des données pour faciliter leur réutilisation. Après dix ans de recherche et développement, leur plate-forme combine l'IA symbolique et le Machine Learning pour gérer les savoirs, s'adaptant à divers contenus et cas d'usage dans les secteurs des médias, du sport, de la relation client et de la médecine.
N’hésitez à me contacter si vous avez des remarques et suggestions sur cette newsletter, ou si dans votre entreprise vous cherchez à être accompagnés dans l’intégration d’outils IA et d’IA générative : olivier@255hex.ai
Partagez cette newsletter
Et si vous n’êtes pas abonné, il ne tient qu’à vous de le faire !
Bon weekend !