Le comeback des modèles open source américains ? (Meta, Thinking Machines, Grok..)
25 minAudio
Face à la pression des modèles open source chinois qui grappillent des part de marché, les entreprises américaines se recentrent sur le modèles open source afin de les concurrencer. Rejoins le Discord: https://discord.gg/UvhcUyvbn
Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.
Transcript
From the show. Tap a time to play from there.
Bonjour à tous, bienvenue dans ce nouveau podcast de Génération IA. Et je suis très heureux de vous retrouver aujourd 'hui en plein mois d 'août. Peut -être que vous êtes en vacances, peut -être que vous revenez de vacances. Dans tous les cas, j 'espère que vous êtes bien reposés. Peut -être que vous ne prenez pas de vacances, puisque en ce moment dans l 'IA, il y a énormément de choses à faire, comme depuis quelques années, mais ça s 'accélère. Et donc... J 'aimerais revenir dans ce podcast sur l 'épisode précédent et notamment
faire une sorte d 'extension sur l 'épisode puisque il y a eu pas mal de nouvelles depuis deux semaines qui en fait parlent de ce dont j 'avais parlé dans l 'épisode précédent. Donc j 'aimerais revenir là -dessus, notamment sur les modèles open source. J 'ai eu pas mal de questions à ce propos sur le Discord du podcast. Merci à ceux qui ont rejoint. Je vous mets le lien dans la description de l 'épisode. Vous pouvez me poser directement toutes
vos questions. Et l 'idée, c 'est de construire une communauté autour de ce podcast afin de s 'entraider. Vous savez qu 'il y a énormément d 'informations, que ça bouge très vite, que c 'est très difficile à suivre. Et donc, grâce à ce Discord, on va pouvoir tous ensemble échanger. Donc, n 'hésitez pas à rejoindre. N 'hésitez pas également à mettre la note de 5 étoiles à ce podcast, ça aide énormément au développement. Et donc on passe tout de suite au sujet du jour
puisque j 'avais beaucoup parlé, les deux derniers épisodes précédents d 'ailleurs, des modèles fermés contre les modèles ouverts qui s 'apparentaient à une espèce de guerre entre les modèles américains et les modèles chinois. Or, Depuis l 'épisode précédent, on a eu Meta, l 'entreprise fondée par Mark Zuckerberg, qui a sorti ses propres modèles. Vous savez que Meta a créé une sorte
de laboratoire en interne qui s 'appelle Meta Superintelligence Lab. J 'avais reçu Stéphane Collot sur ce podcast qui a travaillé trois ans chez Meta. qui a participé au développement des modèles LAMA de META et donc ils viennent de sortir... Stéphane nous annonçait déjà le modèle META Muse Spark qui était en cours de construction avec ce laboratoire dirigé par Alexander Wong qui est un personnage intéressant dont on avait
parlé avec Stéphane et Ils avaient recruté les plus grosses pointures, vous savez, à coups de millions, comme si c 'était un mercato de football où se battaient les meilleurs chercheurs. Ils avaient démarché certains chercheurs de l 'entreprise Thinking Machines, d 'autres de Google DeepMind, etc. Même potentiellement d 'Anthropik et d 'OpenAI, même si quitter Anthropik, c 'est pas forcément un bon move. Il y a plus de gens qui rejoignent et qui quittent parce que la valorisation explose.
Mais Meta à Cook, comme on dit, ils ont cuisiné, ils ont travaillé, ils ont sorti Meta Muse Spark et ils ont sorti un autre modèle qui s 'appelle Muse Glimmer qui est adapté pour en fait les tâches agentiques, c 'est -à -dire des tâches qui demandent l 'appel à des outils, qui demandent d 'avoir une continuité dans le raisonnement à travers les différents appels successifs parce qu 'au final, Un agent, c 'est simplement un
LLM qui est appelé de façon récursive sur lui -même et qui peut appeler des outils. J 'avais déjà expliqué tout ça dans d 'autres épisodes, donc n 'hésitez pas à revenir un peu en arrière si nécessaire. Et donc Meta se relance dans la course Aliyah, mais contrairement à OpenAI Anthropiq et même Google, même si Google a fait... Gemma, qui est un modèle aussi open source, est très petit. Mais tous les modèles Gemini ne sont pas
open source. Et bien Meta, eux, ont choisi la stratégie open source. Comme je l 'avais dit, c 'est souvent une stratégie d 'outsider, parce que quand on est un peu derrière, ça fait plaisir à la communauté, chacun peut le déployer sur son infrastructure, être propriétaire de ses données. Et donc, les États -Unis en général, qui voient qu 'ils sont en train de perdre la course puisque l 'écart entre les frontières modèles américains qui sortent et les modèles
chinois se réduisaient de jour en jour, décident de sortir des modèles open source. Et on a aussi Sinking Machines, l 'entreprise fondée par l 'ancienne CTO d 'Open AI, je crois qu 'elle est albanaise qui s 'appelle Mira Murati. qui aura 35 ans et qui était CTO d 'OpenAI, donc vraiment une femme vraiment forte et très influente. 37 ans, pardon. Je viens de voir l 'information sous mes yeux. Et une femme inspirante, puisqu
'il y a peu de femmes dans la tech, dans les postes à responsabilité en général. Elle en fait partie, donc c 'est possible de le faire. Et donc, n 'hésitez pas. S 'il y a des femmes qui écoutent ce podcast, vous avez votre place. autant que les hommes et Mira Murati en est un parfait exemple. Être CTO à 35 ans d 'OpenAI puis monter son entreprise qui s 'appelle Thinking Machines et qui est valorisée à des milliards de dollars en à peine un an, franchement respect. Et d 'ailleurs
j 'aime beaucoup son approche de Thinking Machines. Elle avait commencé par créer une API pour entraîner, fine tuner des modèles pour les chercheurs. Donc elle avait identifié un problème au sein d 'OpenAI qu 'elle a résolu, qui devait être certainement le manque de compute, le manque de GPU, etc. pour entraîner les modèles pour les chercheurs. Et il n 'y avait pas forcément de solution adaptée à leur use case à eux. Donc elle a créé cette entreprise, puis ils ont sorti leur propre modèle
en open source qui s 'appelle... Alors, je ne l 'ai pas sous les yeux, je fais la recherche en direct. Je ne l 'ai pas. tester celui -là, mais il était multimodal. Il s 'appelle Inkling. Il y a une version plus petite, donc avec moins de paramètres et donc potentiellement plus rapide, mais un peu moins intelligente. Donc, voilà pour Sinking Machines, qui est une entreprise vraiment à suivre. On avait aussi l 'entreprise Safe Super
Intelligence, je crois. qui s 'appelle comme ça, et qui, elle, était aussi fondée par un ancien directeur d 'Open AI, qui est Ilya... Je me souviens plus exactement de son nom. Ah oui, Ilya Sudskéver, c 'est un peu difficile à prononcer, il est d 'origine russe. Il avait travaillé au Canada, je crois. Et lui, c 'était un peu le cerveau... derrière la recherche d 'OpenAI, il a aussi créé son entreprise Safe Super Intelligence levé des
milliards de dollars et n 'est pas encore sorti du bois, comme on dit, c 'est à dire qu 'il n 'a pas encore sorti ses premiers modèles, etc. Donc ça fait peut -être un an qu 'il bosse dessus également. Il a trop de neuf ans, donc lui aussi est relativement jeune. Et donc quand ils vont sortir quelque chose, ça va faire mal parce qu 'ils doivent travailler dans l 'ombre depuis des années. Il a levé peut -être un milliard de dollars également. Donc c 'est également une entreprise à suivre. Il l 'a appelé Safe Super
Intelligence. Donc potentiellement, il avait identifié des problèmes d 'alignement potentiel au sein d 'OpenAI. Alignement des modèles. Et donc... ça démultiplie les entreprises qui créent des modèles d 'intelligence artificielle. D 'ailleurs, ça devient un problème à gérer tous ces modèles. On s 'en sort plus tellement en tant qu 'ingénieur IA. Parce que si on veut faire une évaluation sur certains modèles, il y a tellement de fournisseurs que du coup, on ne peut pas tous les évaluer.
Ça coûterait trop cher. Donc on doit avoir des critères de sélection. Mais en tout cas, très intéressant à suivre. Le comeback des US dans l 'open source, et notamment au niveau des frontières Models, c 'est assez intéressant. On a aussi GROK, les modèles développés par XAI, qui est maintenant SpaceX AI, avec GROK 4 .5 qui a été sorti, maintenant GROK 4 .6 qui est quasiment
un Frontier Models, donc quasiment le meilleur. Et je ne crois pas qu 'il est open source, cependant, Il y a pas mal de contributions open source de SpaceX AI. Ils ont mis en open source leur propre harness de coding qui s 'appelle GrokBuild, qui est l 'équivalent de Cloud Code, mais en open source et en Rust, donc potentiellement ils ont voulu maximiser la vitesse d 'exécution. Je l
'ai testé, je le trouve plutôt correct, même si Cloud Code reste très très compétitif là -dessus. Mais SpaceX AI aussi met beaucoup d 'open source dans leurs algorithmes, etc. Donc il y a pas mal de contributions. Je pense qu 'il y a aussi des questions de sécurité quand on met des modèles open source. Il y a des gardes fous qu 'on peut mettre en place, qu 'on doit mettre en place. Donc ça prend parfois plus de temps que nécessaire.
Mais bon, on a SpaceX AI qui revient aussi très fort dans la course. Et derrière, on a OpenAI qui est très actif parce qu 'ils ont sorti leur GPT 5 .6, etc. qui sont très forts. Codex, leur app codex qui est très forte également. Et leur modèle Astra qui n 'est pas encore sorti mais qui prouve des théorèmes mathématiques à la pelle. C 'est super intéressant. D 'ailleurs... EnthroPic
aussi a revendiqué qu 'il y a un modèle de Claude qui a apporté des améliorations de précision dans un théorème mathématique qui s 'appelle l 'hypothèse de Riemann. Il ne l 'a pas encore prouvé, mais on est passé de 44 % à 60 % en termes de donner des couvertes. Donc je ne suis pas un expert sur ce théorème, mais en tout cas,
ce modèle d 'IA d 'Anthropyck a considérablement avancé la recherche sur l 'hypothèse de Riemann, qui est un des problèmes les plus mythiques du siècle. Vous savez que dans le dernier épisode, j 'ai expliqué que les modèles d 'OpenAI avaient démontré des théorèmes et ça continue. Et donc dans le papier d 'Anthropyck qui explique comment ils sont... obtenu les résultats avec l 'hypothèse de Riemann, écoutez bien, c 'est un chercheur qui a simplement encouragé le modèle en lui disant
par exemple tu es capable, tu peux le faire, continue jusqu 'à ce que le modèle trouve des solutions et je trouve ça fascinant parce que le chercheur n 'a pas guidé le modèle en termes mathématiques, ne lui a pas donné des pistes d 'exploration. et par contre il a dû l 'encourager comme si l 'IA se comportait vraiment comme un humain et avait besoin d 'encouragement pour aller plus loin dans ses résultats et c 'est
assez fascinant et lunaire de voir ça donc on peut l 'appliquer dans nos techniques de prompt lorsque l 'IA bloque sur un problème on peut l 'encourager faites -le une ou deux fois en follow -up si ça marche pas Bon l 'idée c 'est pas non plus de cramer énormément de tokens en recherchant dans tous les sens mais je trouve ça méga intéressant et donc j 'ai mené une expérience la semaine dernière j 'ai utilisé mon abonnement
codex à 200 euros par mois j 'ai utilisé tous les tokens pour démontrer un théorème donc je lui ai demandé de chercher un problème non résolu et je lui ai cherché de demander un problème qui intuitivement est difficile à résoudre par IA pour pas qu 'il travaille sur les mêmes problèmes que les autres choisiraient et donc j 'ai itéré comme ça en l 'encourageant toute la semaine ou en le relançant à chaque fois qu 'il arrivait à un résultat et puis je suis allé très très
loin à tel point que j 'ai aussi obtenu des résultats qui ne sont pas encore publiés mais qui ont été vérifiés par un logiciel qui s 'appelle Lean je crois et qui permet de vérifier des preuves mathématiques donc Lean a bien confirmé ses résultats donc c 'était pas un gros théorème mais c 'était des certaines avancées par exemple une refactorisation d 'un problème compliqué en problème simple et
donc Le modèle de A à Z a travaillé 100 % en autonomie, je lui ai simplement de trouver un problème à résoudre qui potentiellement n 'est pas intuitif et que d 'autres personnes ne travaillent pas forcément dessus et d 'essayer de le résoudre. Donc il a divisé son travail en sous tâches, trouver un problème, chercher une solution, regarder la littérature, etc. J 'ai fait ça sur Codex. qui est le coding harness de OpenAI, mais ça
peut potentiellement marcher sur d 'autres harnesses. D 'ailleurs, je conseille généralement d 'utiliser des agents qui sont agnostiques au niveau des modèles, c 'est -à -dire sur lesquels on peut pluger n 'importe quel modèle d 'IA, parce qu 'il n 'y a aucune fidélité de l 'utilisateur dans le modèle. C 'est ce qu 'on a remarqué. Les utilisateurs, ne sont pas attachés à un modèle en particulier à tel point que si un modèle plus puissant qui sort d 'un concurrent une semaine
après ils sont très bien capables d 'abandonner un modèle pour un autre pour avoir plus de performance qui est logique mais un peu surprenant qu 'il n 'y ait pas forcément de fidélité ou fournisseur du point de vue de l 'utilisateur final et donc c 'est bien d 'utiliser des outils qui sont compatibles avec tous les modèles pour pouvoir changer rapidement si jamais on souhaite changer de modèle. Et ce problème de fidélité de l 'utilisateur, c 'est un problème énorme pour OpenAI et Anthropic. C 'est à dire que les gens sont prêts à switcher
pour un modèle open source chinois du jour au lendemain, même s 'ils utilisent les modèles d 'Anthropy Cloud depuis deux ans, par exemple. Et donc du jour au lendemain, il suffit qu 'il y ait un concurrent chinois qui sorte un modèle puissant peuvent perdre 10 % de leurs utilisateurs en 48 heures. Peut -être que j 'exagère, mais on n 'en est pas loin et c 'est complètement fou pour eux. Il y a beaucoup de gens qui annoncent que ces deux entreprises sont à risque parce qu 'elles n 'ont pas de business model. Il y avait carrément le CEO de Palantir qui avait
accusé les labs de voler les données de leurs clients pour pouvoir même les concurrencer, ce qui est complètement fou. Mais effectivement, ils n 'ont pas de business model sur le papier. C 'est pour ça qu 'ils créent plein de verticales avec, par exemple, Claude qui avait sorti Claude Design pour concurrence et Figma, etc. Sauf que du coup, tout est fait un peu moyennement. Construire un bon produit, ça demande vraiment du focus, de la détermination, de la résilience et d 'itérer avec les utilisateurs pendant des mois et des
mois pour avoir un produit qui convienne parfaitement à un cas d 'usage. Et donc, en voulant concurrencer certains produits, mais un peu tout en même temps, il y a des gens dont j 'en fais un peu partie qui pensent que ça va être très compliqué pour eux de réussir dans ces domaines -là. Même Cloud Code, qui est un outil formidable dont j 'ai commencé à parler il y a plus d 'un an dans les podcasts, peut complètement être disrupté. On a vu qu 'il y a GrokBuild qui est sorti, il y
a DeepSec qui sortent à Arnes en open source également. Il y a OpenCode qui est un logiciel open source modèle agnostique qui marche très bien aussi pour avoir un équivalent de code code. Donc ça, c 'est un très gros problème pour ces énormes acteurs. Et c 'est pour moi ce qu 'on appelle la bulle IA. C 'est vraiment ça. Pour moi, il n 'y a pas de bulle IA au sens où les gens pensent qu 'il y a une bulle IA. L 'adoption
est réelle. Les entreprises sont en train de se transformer, les entreprises veulent de l 'IA, les particuliers, quoiqu 'on en dise, également. Il y a peut -être un milliard d 'utilisateurs de Tchadié Pété, Geména et etc. Bien que certains râlent contre l 'IA, et je peux comprendre pourquoi sous certains aspects, c 'est totalement légitime, mais il ne faut pas tout confondre. Il y a une demande pour l 'intelligence artificielle et c 'est pour ça que les infrastructures sont en train d 'être construites. Donc, il n 'y a pas de bulles de l 'IA là -dessus. L 'IA générative
est en train de révolutionner le monde comme l 'électricité l 'a fait avant. C 'est toute la biographie de ce podcast, la description de ce podcast en général, où j 'explique ça. Et donc, il n 'y a pas de bulles de l 'IA à proprement parler, mais il y a une bulle autour de OpenAI et Anthropiq qui, et tous ceux qui font des modèles fondationnels, qui n 'ont pas de business model. à proprement parler ou qui peuvent se faire concurrencer via une technique qui s 'appelle la distillation
ou un modèle puissant entraîne un modèle moins puissant à faire la même chose mais en moins cher. Et donc, il y a une bulle autour de ces deux acteurs. Alors, un scénario optimiste est probable et qu 'ils vont se faire racheter OpenAI potentiellement par Microsoft, par exemple, et Anthropic par Amazon. qui sont eux -mêmes des investisseurs historiques de ces deux entreprises. Il y a un autre scénario où ils perdent la course
et c 'est Google, SpaceX et AI qui gagnent cette course aux Etats -Unis. En tout cas, il n 'y aura pas forcément de la place pour tout le monde. On va voir ce qui va se passer. Mais voilà où on en est dans cette course folle alia. Alors, du côté de l 'Europe, on a Mistral. J 'ai presque envie de dire, on avait Mistral. Mistral, malheureusement, ou heureusement d 'ailleurs, ne continue pas
la course des frontières Models LLM. Ils sortent d 'autres modèles. Là, j 'ai vu un modèle de modération, un OCR pour détecter des textes dans des documents, etc. qui sont très forts et qui sont très utiles. Mais on peut regretter qu 'ils aient un peu abandonné cette course. pour faire les meilleurs LLM à tel point qu 'ils vont maintenant proposer le modèle chinois GLM 5 .2 sur leur propre serveur parce que ce modèle est open source donc ils peuvent le déployer sur leur infrastructure
et le proposer à leur client ce qui est très bien pour leur client mais un petit aveu d 'échec pour Mistral qui déploie un modèle chinois sur son infrastructure au lieu de ses propres modèles mais d 'un côté Est -ce qu 'on peut leur en vouloir, sachant qu 'on vient d 'expliquer qu 'il n 'y a pas vraiment de business model à faire ces modèles frontières uniquement ? Et donc Mistral a choisi de se recentrer plutôt sur les infrastructures. Est -ce qu 'on peut leur en vouloir ? Le revenu explose, ils s 'implantent dans toutes les entreprises
en Europe et ça reste un énorme acteur, même si l 'ordre de grandeur sur lequel ils veulent opérer n 'a rien à voir avec les ordres de grandeur des compagnies américaines ou chinoises. Dans la Silicon Valley, on parle déjà de data center dans l 'espace, etc. pendant que nous, on va en construire bel et bien sur Terre. Mais c 'est déjà bien, j 'ai envie de dire. Mais pas suffisant si on veut être le leader de cette course. Et voilà, je pense qu 'il y aura quand même de la place pour Mistral parce que c 'est très, très
important d 'être souverain là -dessus et d 'avoir ces données en Europe, si on opère en Europe, etc. et donc ne pas dépendre de puissance étrangère sur l 'IA, c 'est primordial. Mais voilà, à voir comment ça évolue, l 'écosystème américain avec les Google Cloud, AWS, est quand même bien ancré dans toutes les entreprises, y compris européennes. Donc c 'est une bataille qui n 'est pas facile à gagner, loin de là. Et d 'autant plus qu 'au
niveau des investissements dans les startups, ça n 'a rien à voir entre l 'Europe et les États -Unis malheureusement. J 'en profite d 'ailleurs pour vous annoncer une plutôt bonne nouvelle, c 'était que je vais participer à un événement dans l 'incubateur Y Combinator qui est le meilleur incubateur de start -up du monde et donc je vais participer le week -end prochain à un hackathon sur le thème du futur de l 'ingénierie logicielle.
avec mon équipe à Manifest, avec Bruno et Seb. Donc on va à San Francisco vendredi pendant quelques jours et je lance un appel sur ce podcast. Si vous êtes dans le coin, si vous voulez qu 'on aille boire un café ou si vous voulez m 'introduire à des gens qui sont à San Francisco et qui travaillent dans les startups IA, n 'hésitez pas à me contacter. Ce serait avec grand plaisir et ça peut même faire... un invité pour le podcast puisque j
'avais des invités, j 'en aurais à nouveau. Ne vous inquiétez pas, à la rentrée, je continue et j 'aurai certainement des invités super intéressants. Mais c 'est toujours une bonne opportunité de se rencontrer, donc voilà, n 'hésitez pas à me mettre en contact et je vous ferai un épisode pour vous raconter cette aventure à San Francisco et à Y Combinator. C 'est la mec de l 'IA, donc je pars un peu en pèlerinage avec mon bâton de pèlerin. Et autant vous dire, je suis très très content. Et un petit peu stressé parce que c
'est un événement à Caton qui va se dérouler là -bas avec vraiment les meilleurs du monde. Donc ça va être génial. Et il va falloir que je me donne à fond là -dessus. Je vous ferai un petit débrief sur ce qu 'on construit parce que c 'est dans le thème de l 'IA. Parce que je trouve ça intéressant que quand on parle de ça, on soit aussi les mains dedans. quand on fait un podcast sur l 'IA, sauf si on a des invités en permanence, c 'est toujours bien de mettre
les mains dedans et de savoir de quoi on parle. Vous avez l 'exemple de certains candidats à la présidentielle qui n 'ont jamais utilisé par exemple ne serait -ce que Tchadjipiti ou une seule fois en 2023. Et donc, ils ne savent vraiment pas de quoi ils parlent. C 'est assez inquiétant, sachant que c 'est un des plus gros sujets à venir. Donc, c 'est toujours important de... de manipuler, de mettre les mains dedans. Je vous encourage vraiment à tester le maximum de choses. Ça prend du temps, c 'est chronophage,
mais vous pouvez tourner ça à votre avantage sur un projet qui vous plaît. N 'hésitez pas, si vous avez des idées, par exemple, vous avez des enfants, vous voulez les aider à faire leur devoir avec l 'Illya, vous pouvez très bien Vibe Coder un petit logiciel pour faire ça. On a tous des problématiques et on peut faire des micro logiciels pour faire ça. tester des modèles, tester des outils, écouter ce podcast, lire. Restons informés, il y a beaucoup de bruit. Mais voilà, super content de vous partager cette nouvelle.
Et donc voilà, je vais m 'arrêter là. Je vous souhaite encore des bonnes vacances. Je vous dis à bientôt. Rejoignez le Discord pour qu 'on discute directement. C 'était Guillaume, dans Génération IA. Ciao.
Jensen Huang, la chute du patron de Nvidia Dans cet épisode solo, je reviens sur la démission de Jensen Huang, fondateur et patron de Nvidia depuis plus de 30 ans, après une affaire personnelle qui touche aussi à...
Dans cet épisode solo, je fais le point sur une année où tout a basculé: les IA sont devenues bien meilleures que nous en mathématiques, les agents IA sont enfin autonomes, et Mistral sort avec Mistral 4 un modèle open...
Dans cet épisode, j'ai le plaisir de recevoir Christophe Aulnette, ancien patron de Microsoft France, aujourd'hui investisseur chez Seven2 et administrateur de Wavestone. On parle d'employabilité à l'ère de l'IA:...
L'IA démontre-t-elle déjà des théorèmes? Comment change-t-elle la recherche scientifique? Avec Laurent Daudet, directeur exécutif de l'IA à l'École normale supérieure, physicien et cofondateur de LightOn, on parle de ce...
Dans cet épisode, j'ai le plaisir de recevoir Vincent Godbert pour parler d'entrepreneuriat à l'ère de l'IA. Vincent dirige Elevation, un nouvel accélérateur de startups tech. Il nous partage sa vision de...