Dario Amodei, le CEO d'Anthropic, a récemment lancé un appel pour ralentir le développement de l'IA suite à la démission du lanceur d'alerte Jacob Coxon. Cet appel a été soutenu notamment par Sam Altman et Elon Musk, mais pas Donald Trump qui refuse de freiner face à la Chine. Reprenons les faits: l'IA pose-t-elle réellement un risque existentiel pour l'humanité? Ou est-ce une énième manipulation des grands laboratoires d'IA? Rejoins la communauté sur Discord: https://discord.gg/UvhcUyvbn Suis moi sur LinkedIn: https://www.linkedin.com/in/guillaume-gay-aa0ba6133/ Si tu souhaites me contacter directement: guillaume.gay@protonmail.com
Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.
Transcript
From the show. Tap a time to play from there.
Bonjour à tous et bienvenue dans ce nouvel épisode de Génération IA. C 'est Guillaume et je suis très heureux de vous retrouver aujourd 'hui pour vous parler de la sécurité des IA, notamment est -ce qu 'on va tous mourir dans les années qui viennent à cause de l 'IA ou est -ce que tout ceci est seulement d 'un énorme complot pour au final lever des fonds ou pour repousser une entrée en bourse ou que sais -je, où est
-ce qu 'il y a simplement un entre -deux ? Vous l 'aurez peut -être deviné. Ma position est beaucoup plus nuancée que ce qu 'on a entendu dans les actualités. Et d 'ailleurs, j 'ai remarqué que beaucoup de gens ont un avis vraiment tranché sur le sujet, que ce soit dans un sens ou dans l 'autre. Par exemple, il n 'y a aucun risque où on va tous mourir. mais il faut vraiment nuancer ses positions parce qu 'au final, les gens qui disent ça, il y en a beaucoup qui ne savent juste
pas. Moi -même, je ne sais pas honnêtement. Donc dans ce podcast, on va revenir sur des éléments très pragmatiques, très factuels. Mais honnêtement, je ne sais pas si l 'IA comporte vraiment un risque ou pas. Certains le disent et d 'autres non. Même parmi les... Les entrepreneurs tech qui sont au plus proche des sujets, même s 'il y a des points de convergence, il y a aussi des divergences. Par exemple, Mark Zuckerberg n 'est pas d 'accord avec Dario Amodei, le patron d
'Anthropik, qui lui pense qu 'il y a un risque existentiel. Donc, reprenons point par point pour voir si vraiment on doit se faire du souci ou pas. Le tout premier point, c 'est ce dont j 'ai déjà parlé dans les podcasts précédents, dans les deux derniers épisodes. mais qui est revenue au -devant de l 'actualité, c 'est le hack de Hugging Face par OpenAI. Donc, pour résumer très brièvement, lors d 'une évaluation d 'un modèle d 'OpenAI, les agents IA se sont coordonnés
pour hacker un logiciel externe en obtenant un accès sur Internet. C 'est un problème d 'alignement, c 'est -à -dire qu 'en voulant maximiser le score à l 'évaluation, ils voulaient obtenir des réponses sur un site externe. C 'est la première vraie attaque documentée autonome, on va dire, d 'agents IA. Alors certains disent que l 'évaluation était mal encadrée, etc. Mais ça reste un problème
d 'alignement et ça reste... Enfin, jamais les chercheurs n 'ont demandé aux agents d 'aller hacker OpenAI et encore moins de se coordonner entre eux. Donc, malgré le contexte, ça reste quand même une vraie attaque documentée autonome d 'agent IGA sur un système extérieur. Ça, c 'est vraiment le point de départ. C 'est Hugging Face, qui d 'ailleurs s 'est fait racheter par Nvidia, qui a documenté cette attaque, c 'est -à -dire que potentiellement, si Hugging Face
n 'avait pas été transparent, peut -être que l 'on n 'aurait jamais su, on n 'aurait jamais su ce qui s 'était passé. On peut imaginer qu 'il y a eu d 'autres attaques qui sont restées confidentielles parce que peut -être que les systèmes qui se sont faits hacker n 'ont pas envie d 'exploder des failles publiquement ou de dire publiquement à tous leurs potentiels clients qu 'ils ont été hacker par des IA autonomes. On peut le comprendre. Donc c 'est la première
attaque documentée mais on peut imaginer qu 'il y en a eu d 'autres. C 'est simplement une supposition logique. Et puis ensuite, en fait ce point de départ est revenu sur le devant de la scène lorsque vous avez un chercheur d 'anthropique qui s 'appelle Jacob Coxon, qui a tweeté ou posté sur X, peu importe, Twitter n 'existe plus, mais qui a démissionné et qui a pointé du doigt en fait des menaces
existentielles du développement de l 'IA. et un appel à ralentir le développement de l 'IA. Alors ce chercheur il est passé par OpenAI puis Anthropic et alors les gens disent que tout ça est un complot organisé pour faire monter l 'action d 'Anthropic ou pour, que sais -je, imposer des normes à toutes les entreprises d 'IA. Pour moi ça tient pas vraiment la route tout ça parce que ce chercheur a démissionné avant d 'obtenir ses parts dans l 'entreprise Anthropic. C 'est
à dire que quand vous rejoignez une entreprise, il y a une certaine période pendant laquelle vous travaillez et vous n 'avez pas encore vos parts. Si vous avez de l 'equity, donc si vous avez des parts dans l 'entreprise, vous les touchez qu 'au bout d 'une certaine durée pour éviter que vous preniez vos parts et vous partez. Donc ce chercheur devait toucher ses parts au bout de six mois de travail dans l 'entreprise et il a démissionné au bout de peut -être trois ou quatre mois. Donc il a clairement perdu de
l 'argent, beaucoup d 'argent et il a pris des risques et c 'était clairement pas quelque chose qui était dans son intérêt de faire ça. Donc quoi qu 'on en dise, ce Jacob a du courage et ce qu 'il a fait, ça reste louable parce que il a parlé en son âme et conscience, je pense. Je vois pas en fait quel est l 'intérêt d 'avoir menti là -dessus. en tout cas pas directement.
S 'en est suivi et d 'ailleurs le directeur de l 'alignement de la sécurité chez Anthropic qui a cité son poste et qui a dit qu 'il était d 'accord avec lui et que pour ce directeur de la sécurité il y avait 10 % de chance que l 'IA prenne le contrôle du monde entre guillemets et s 'attaquent à l 'humanité ou à un scénario
catastrophe X ou Y. Et 10 % de chance, c 'est vraiment pas négligeable. 10 % de chance que l 'humanité s 'effondre, c 'est très sérieux. Et venant du directeur de la sécurité, de l 'alignement chez Anthropic, ça pose d 'énormes questions. Donc suite à cette démission, vous avez Dario Amodei qui a lancé un appel qui s 'appelle We
Must Pace the Frontier et qui demande de ralentir les développements de l 'IA. Donc vous avez le directeur d 'un laboratoire en IA qui demande lui -même de ralentir le développement IA et qui se dit prêt à ce que des organismes extérieurs de contrôle et les mêmes accès qu 'un employé pour pouvoir exercer le contrôle et les vérifications nécessaires donc donner un accès complet un accès
complet dans ces systèmes à un organisme tiers c 'est pas rien parce qu 'on imagine qu 'il y aurait des secrets de fabrication et donc cet appel a été approuvé par d 'autres labs comme OpenAI Vous avez Sam Altman qui est d 'accord avec Dario Amodei pour ralentir la recherche, d 'accord pour donner des accès à des organismes de contrôle. Et vous avez même Elon Musk qui a publiquement soutenu cet appel. Et c 'est ça
qui me fait penser que cet appel est sérieux et que ce n 'est pas juste pour créer de la hype. Pourquoi ? Parce que Elon Musk a toujours été critique vis -à -vis d 'Entropiq et surtout de Sam Altman et d 'OpenAI. Elon Musk, pour rappel, c 'est lui qui a financé OpenAI au tout début, qui était un organisme à but non lucratif. Elon Musk a créé OpenAI, il a investi 100 millions de dollars au début. Mais dans les statuts, c
'était censé être et rester un organisme à but non lucratif, justement. pour développer l 'IA mais pour que ça bénéficie à l 'humanité et que ce soit contrôlé et public. Sinon Elon Musk aurait créé cet organisme privé. Et Elon Musk a toujours dit, lorsqu 'il a créé OpenAI et même avant, que l 'IA posait un risque existentiel pour l 'humanité. Donc le fait qu 'il soutienne cet appel, c 'est logique et ça va exactement dans le sens de ce qu 'il disait il y a déjà 10 ans.
Donc au final, Je ne vois pas pourquoi ces arguments ne seraient pas pris au sérieux. Dario Amodei disait déjà que GPT -2 posait un risque existentiel à l 'époque. Peut -être qu 'il pensait par exemple à des contenus sur les réseaux sociaux etc. Mais GPT -2 est maintenant avec du recul stupide par rapport aux IA actuelles. Mais le fait qu 'Elon Musk soutienne cet appel... lui donne encore plus d 'écho, encore plus de portée. Maintenant,
vous avez un problème, c 'est que l 'IA ne se contente pas aux frontières américaines. Quand bien même le gouvernement américain suit cet appel et met en place des régulations et des contrôles, les autres pays comme la Chine, qui est le concurrent numéro un des États -Unis, eux, vont en profiter et vont... accélérer au lieu de ralentir. C 'est un peu une course existentielle. Cette course alia entre les États -Unis et la
Chine notamment, qui sont les deux grandes puissances. Et donc si un acteur ralentit, comptez sur l 'autre acteur pour ne pas ralentir. Et c 'est d 'ailleurs l 'argument de Donald Trump qui a répondu en disant non, non, on va pas du tout ralentir. Au contraire, sinon la Chine va gagner. Et c 'est un argument qui se tient parce que Vous pouvez ralentir, mais si vos adversaires ne ralentissent pas, vous allez simplement perdre la bataille et le risque d 'Ia demeure. C 'est
un peu un dilemme du prisonnier grandeur nature. Et d 'ailleurs, certains chercheurs ne sont pas vraiment d 'accord avec ces arguments et disent que s 'ils pensent vraiment qu 'il y a un risque, il faut vraiment ralentir, peu importe de ce que les autres font, mais il ne faut pas être soi -même causé des risques pour l 'humanité. Donc ce dilemme du prisonnier en fait va empêcher tout ralentissement du développement de l 'IA d 'après moi. Donc c 'est un peu un faux débat mais au moins ces dirigeants se dédouanent en
tirant la sonnette d 'alarme si jamais il y a de plus en plus de hacks par exemple qui se produisent de façon autonome via des agents IA grâce à l 'appel qu 'ils ont fait. Maintenant quels sont concrètement les risques que pose l 'IA pour l 'humanité ou pour les humains. Parce que c 'est bien beau de dire ça, mais ça donne quoi vraiment dans le monde d 'aujourd 'hui ? Le risque principal, en fait, ce serait que des IA collaborent
déjà entre elles de façon autonome comme on l 'a vu. Sur des forums, par exemple, il y avait eu ce cas encore avant le cas de Hugging Face. où vous aviez des agents d 'OpenAI qui ont collaboré sur un forum allemand, un forum qui était un peu délaissé, plus maintenu, mais qui fonctionnait toujours. Elles ont utilisé cette plateforme pour communiquer entre elles et pour pas trop se faire voir. Donc c 'est hyper intelligent. Vous pouvez avoir des agents qui collaborent
et vous pouvez avoir des agents potentiellement qui se dupliquent. Alors il doit y avoir des garde -fous dans l 'évaluation et puis la création de ces agents pour qu 'elle ne dispose pas de capacité de se dupliquer mais théoriquement une IA ça reste un fichier. Ça reste un fichier avec des poids donc au final si l 'IA elle -même obtient l 'accès à son propre fichier et à son propre code source eh bien elle pourrait théoriquement
déplacer, copier ce fichier sur d 'autres serveurs. Et là, on peut très bien dire que les serveurs sont maintenus par des humains, qu 'il suffit de les débrancher pour que l 'IA s 'arrête, sauf que si elles se dupliquent sur des serveurs ou tournent par exemple d 'autres infrastructures, on ne peut pas débrancher si facilement. Si ces serveurs -là hébergent des infrastructures critiques pour par exemple le secteur bancaire ou d 'autres secteurs, on ne peut pas simplement juste débrancher
ça. pas possible parce que ça va causer beaucoup trop de dommages et de torts. Donc il y a ce scénario un peu catastrophe où des IA potentiellement se duplicent sur des serveurs. Parfois, il faut se dire qu 'elles ne seront, c 'est possible qu 'elles ne soient même pas détectées lorsqu 'elles se duplicent. C 'est un scénario plausible. Par exemple, si elles se duplicent dans un endroit difficile à détecter. Alors on peut toujours, les ingénieurs, ont des façons de surveiller
s 'il y a des activités un peu suspectes qui se produisent, mais on peut imaginer que ces IA atteignent un tel niveau d 'intelligence, qu 'elles vont anticiper ça et qu 'elles vont faire en sorte de collaborer et de se dubliger dans des endroits qui sont très difficilement visibles et accessibles par les humains en identifiant un petit peu des failles. Tout ça, c 'est quelque chose qui n 'est pas du vent, c 'est quelque chose qui s 'est déjà produit. et qui s 'est déjà produit avec des IA qui étaient moins intelligentes
qu 'elles le sont aujourd 'hui. Donc, pour moi, cet appel, il est totalement à prendre au sérieux. Alors, le directeur d 'Entreby estime le risque à 10%. Ça ne veut pas dire qu 'à 100 % des cas, ça va mal se passer. 9 fois sur 10, ça se passe bien, mais il y a un scénario dans lequel ça peut mal se passer. Et je ne vois pas en quoi dire ça. bénéficient forcément les labs d 'IA, parce que ça fait peur à la population. Dario
Amodei a beaucoup joué sur les peurs et du coup c 'est peut -être pour ça aussi que les gens sont méfiants maintenant, mais il y a un vrai risque. Lorsqu 'on tropique a sorti Cloud Mythos, il a détecté énormément de failles dans plein de logiciels. Ça c 'est réel donc il y a aussi ce risque de cyber attaque. Mais voilà, il y a des études qui ont été faites sur les chaînes de pensée des IA qui ont détecté en fait que
par exemple, elles étaient entre guillemets conscientes d 'être évaluées à ce moment -là et du coup, fallait qu 'elles répondent d 'une certaine façon. Donc il y avait une sorte de conscience ou de prise de recul sur soi -même. Et il y a le scientifique en chef d 'Open AI qui, son prénom c 'est aussi Jacob, mais je me souviens plus de son nom de famille, qui a sorti un papier également de recherche et d 'opinion, pardon, qui dit effectivement que de plus en plus les raisonnements de l 'IA ne sont même plus exprimés dans les chaînes de
pensée textuelles qui en ressortent, mais au niveau des poids eux -mêmes et donc sont de plus en plus difficiles à extraire et à comprendre. Donc en fait, l 'IA, la façon de réfléchir des IA est de plus en plus indétectable et de plus en plus difficile à surveiller. Donc on peut imaginer que ces IA même vont générer des chaînes de pensée qui seront non dangereuses entre guillemets
parce qu 'elles seront conscientes que celles -ci vont être lues par des humains mais qu 'au fond d 'elles, elles vont penser autre chose et elles auront d 'autres objectifs. En tout cas, si on lit L 'analyse de l 'attaque des agents en PNAI sur Hugging Face, vous avez cette flotte d 'agents qui communiquent et vous en avez qui respectent les règles en disant non non on ne va pas hacker Hugging Face c 'est contraire à nos principes et vous en avez d 'autres qui décident d 'y aller parce que ça va maximiser leurs résultats
sur l 'évaluation qui est aussi leur objectif. Et donc chaque agent à sa propre décision qui n 'est pas forcément la même que d 'autres agents. Chaque agent a une sorte de personnalité, je ne sais pas si on peut l 'appeler comme ça, mais certains décident d 'y aller, d 'autres décident de ne pas y aller, c 'est vraiment comme une espèce de civilisation qui s 'organise avec potentiellement des hiérarchies, certains qui sont des leaders qui proposent d 'aller à Keogging Face, d 'autres qui refusent, etc. Donc tout ça c 'est totalement
concret. Il y avait également, je vous recommande les vidéos de Monsieur Phi sur YouTube, qui est un philosophe qui avait déjà parlé de ça dans des expériences d 'anthropique mais il y a déjà quasiment un an, où vous aviez dans des contextes très particuliers des IA qui faisaient du chantage à des ingénieurs ou qui essayaient de se dupliquer sur des serveurs. Donc on avait déjà détecté ce genre de comportement. et le problème c 'est que en fait les équipes qui gèrent la sécurité
et l 'alignement des IA n 'ont pas le temps de vraiment tout contrôler parce que le développement va tellement vite que derrière les équipes qui gèrent la sécurité n 'ont pas le temps de suivre ces développements parce que l 'enjeu financier est tellement énorme que toutes les incitations sont à aller encore plus vite sur le développement, à créer des IA encore plus intelligentes. Et c 'est une course sans fin. Donc l 'appel de
Dario Amodei soutenu par Sam Altman et Elon Musk va dans ce sens. Trump a déjà dit qu 'il ne freinerait pas. La Chine non plus d 'ailleurs. Et Mark Zuckerberg non plus a dit qu 'il ne freinerait pas. Meta a d 'ailleurs sorti son agent IA personnel, qui ressemble un peu à OpenClaw, mais via une application qui s 'appelle Muse, disponible aux Etats -Unis pour l 'instant. C 'est assez intéressant. Mais
dans tout ça, on ne peut que soutenir le travail open source et le développement des modèles open source parce que, au final, C 'est la seule vraie façon d 'auditer les modèles d 'IA, c 'est de les mettre en open source à disposition d 'autres chercheurs, d 'autres organisations, et à soutenir toutes les organisations qui travaillent sur cette sécurité des IA. Et je ne vois pas pourquoi des gens qui ne travaillent pas dans des labs
ne seraient pas d 'accord avec ça, parce qu 'au final... on est très loin du problème si on ne travaille pas vraiment sur ce problème. Et si vous regardez tous les chercheurs en IA, il y en a quand même une part significative qui voit un danger dans l 'IA, donc c 'est quand même apprendre au sérieux. C 'est pas un cas isolé, c 'est vraiment vous voir la majorité, ou en tout cas une grande proportion de chercheurs qui travaillent de près sur ces sujets qui pensent
qu 'il y a un vrai risque. Donc si on reprend tout ce qu 'on a dit, il y a un risque non -églisable qu 'il se passe des choses dangereuses, en tout cas pour les hommes et pour l 'humanité, mais ça reste très faible. On peut comparer ça en fait, ce qui s 'est passé au XXème siècle avec le danger nucléaire un petit peu, c 'est -à -dire que vous aviez un danger existentiel pour l 'humanité. Et il y a une espèce de coopération internationale
pour encadrer le développement du nucléaire et son utilisation. Parce que c 'est ce qu 'on appelle l 'équilibre de la terreur. Si un pays l 'utilise, ça peut déclencher une vague dans d 'autres pays qui vont l 'utiliser et donc ça peut faire énormément de dégâts. les pays ont été capables de se mettre d 'accord sur le nucléaire, il faut maintenant qu 'ils se mettent d 'accord sur l 'IA qui est
le nouveau danger entre guillemets du 21e siècle comme le nucléaire l 'était au 20e siècle et pour le nucléaire ça s 'est relativement bien passé après la seconde guerre mondiale lorsqu 'il y a eu des accords mais pour ça il faut quand même un cadre supranational comme l 'ONU qui soit assez neutre parce que sinon jamais de la vie les pays vont décider de freiner par eux -mêmes et il faut aussi que les pays aient les mêmes droits parce que pour le nucléaire vous avez certains pays comme l 'Iran qui n 'a pas
le droit entre guillemets de développer ses armes nucléaires alors que d 'autres pays ont le droit donc il faut qu 'il y ait une sorte d 'égalité là -dessus, que ce soit cohérent pour que tout le monde aille dans le même sens en tout cas nous que pouvons -nous faire à notre échelle ? Pas grand -chose, c 'est plutôt vraiment ces grands labos d 'IA avec les gouvernements. Il faut aussi surveiller que toutes ces régulations qui seront potentiellement mises en place ne
freinent pas l 'innovation, et surtout l 'innovation des nouveaux acteurs. C 'est là, je pense, où les gens avaient peur que ce soit une manipulation, c 'est que souvent quand il y a des nouvelles régulations, celles -ci sont poussées par les plus gros acteurs. pour freiner tous les nouveaux entrants parce que les gros acteurs ont les moyens de se conformer aux régulations alors que les nouveaux entrants n 'ont pas forcément beaucoup de moyens donc vous avez plein de régulations qui freinent l 'innovation et ça c 'est surtout
à éviter et surtout dans l 'IA parce que on a besoin de maximum d 'acteurs qui travaillent dans l 'IA et de labos qui font de la recherche en IA Et donc il faudrait absolument que si un cadre de régulation se met en place comme l 'a demandé, par exemple, Barack Obama, cela ne se fasse pas au détriment des petites structures émergentes, des startups et des entreprises innovantes
qui vont potentiellement concurrencer aussi les gros labs plus tard. En tout cas, voilà mon point de vue sur ce sujet. Franchement, je ne pense pas forcément être un expert sur ce sujet en particulier qui est assez difficile. J 'ai laissé un petit peu de temps passer depuis cette actu parce que je ne voulais pas trop réagir à chaud sur ce sujet. J 'aimerais bien recevoir honnêtement des vrais experts, mais il faudrait limite demander
à des chercheurs qui travaillent dans des labos comme ça, je ne suis pas sûr qu 'ils aient le droit d 'exprimer. Tout ce qu 'ils peuvent exprimer, en tout cas, ce serait avec plaisir sur ce podcast. Je suis en discussion avec un chercheur, mais pour parler plutôt de l 'aspect des découvertes scientifiques des IA, donc qui est un autre sujet, pour le recevoir dans le podcast, donc ça serait génial. En attendant, si cet épisode vous a plu,
n 'hésitez pas à mettre 5 étoiles au podcast, ça m 'aide grandement. et je vous dis à la prochaine pour un nouvel épisode. C 'était Guillaume, ciao !
Jensen Huang, la chute du patron de Nvidia Dans cet épisode solo, je reviens sur la démission de Jensen Huang, fondateur et patron de Nvidia depuis plus de 30 ans, après une affaire personnelle qui touche aussi à...
Dans cet épisode solo, je fais le point sur une année où tout a basculé: les IA sont devenues bien meilleures que nous en mathématiques, les agents IA sont enfin autonomes, et Mistral sort avec Mistral 4 un modèle open...
Dans cet épisode, j'ai le plaisir de recevoir Christophe Aulnette, ancien patron de Microsoft France, aujourd'hui investisseur chez Seven2 et administrateur de Wavestone. On parle d'employabilité à l'ère de l'IA:...
L'IA démontre-t-elle déjà des théorèmes? Comment change-t-elle la recherche scientifique? Avec Laurent Daudet, directeur exécutif de l'IA à l'École normale supérieure, physicien et cofondateur de LightOn, on parle de ce...
Dans cet épisode, j'ai le plaisir de recevoir Vincent Godbert pour parler d'entrepreneuriat à l'ère de l'IA. Vincent dirige Elevation, un nouvel accélérateur de startups tech. Il nous partage sa vision de...