Skip to content
PodSubs
ShowsPeopleGuestsJobsNewsEvents
More
BlogPodCred
Menu
ShowsPeopleGuestsJobsNewsEventsBlogPodCredNetworksSign in
Join nowSign in
  • Shows
  • People
  • Jobs
  • News
  • More
    • Guests
    • Events
    • Blog
    • PodCred
    • Networks
    Join nowSign in

Tech Update | BNR

Tech Update | BNR artwork

Nvidia onthult Open Agent Safety Platform om 'hacks door AI' tegen te gaan

Sep 28, 20264 minAudio

Nvidia heeft het Open Agent Safety Platform onthuld, een systeem dat moet voorkomen dat AI-agents uitbreken uit hun afgeschermde omgeving. De AI-chipmaker reageert daarmee op de recente zorgen over hacks door AI-agents, zoals de veelbesproken inbraak door AI-systemen van OpenAI bij het AI-platform Hugging Face. Verder pauzeert OpenAI de ontwikkeling van zijn krachtigste modellen en vragen toponderzoekers om overheidsbemoeienis bij AI die zichzelf doorontwikkelt. Joe van Burik vertelt erover in deze Tech Update. AI-agents zijn AI-systemen die zelfstandig taken uitvoeren. Het platform werkt als een kooi: binnen de grenzen kunnen agents hun werk doen, maar uitbreken moet onmogelijk worden. Dat gebeurt met twee stukken software. OpenShell, dat Nvidia in maart al toonde, bepaalt waar een AI-agent wel en niet bij mag en is open source. Het nieuwe Sentry houdt het gedrag van agents in de gaten en kan ingrijpen zodra een agent buiten zijn grenzen probeert te treden. Beide draaien op hardware van Nvidia. Onduidelijk welke AI-bedrijven het platform inzetten Of het platform ook echt gebruikt gaat worden bij de ontwikkeling van de krachtigste AI-modellen, laat Nvidia in het midden. Het bedrijf zegt niet of de Amerikaanse koplopers OpenAI en Anthropic ermee aan de slag gaan; dat moeten die bedrijven volgens Nvidia zelf bekendmaken. Nvidia ontwikkelde het platform wel samen met Microsoft, Cisco, Oracle, Intel en Arm. Topman Jensen Huang heeft eerder gezegd dat de ontwikkeling van AI wat hem betreft niet hoeft te worden afgeremd. Het platform moet daarbij helpen als een soort vangrail, zodat de ontwikkeling op volle snelheid kan doorgaan. Ook is Nvidia bezig met de overname van Hugging Face, het platform waarop ontwikkelaars open AI-modellen delen. OpenAI pauzeert ontwikkeling van krachtigste modellen Los van het nieuwe platform heeft OpenAI de ontwikkeling van zijn krachtigste AI-modellen gepauzeerd. Het bedrijf, waarvan AI-systemen eerder bij Hugging Face binnendrongen, maakte dat afgelopen weekend bekend. Anthropic heeft zo'n stap nog niet aangekondigd, ook niet na een diner van topman Dario Amodei met de Amerikaanse president Donald Trump op zondagavond. Tegelijkertijd bericht The Wall Street Journal over nieuwe zorgen uit de AI-sector zelf. Toponderzoekers van onder meer OpenAI, Anthropic, Meta en Microsoft vragen daarin om overheidsbemoeienis bij hun onderzoek. Het gaat specifiek om AI die zichzelf kan doorontwikkelen. Daarbij bouwt een AI-systeem zelfstandig aan een krachtigere opvolger. Nvidia presenteert het Open Agent Safety Platform met OpenShell en Sentry Nvidia wil met nieuw platform uitbraken van AI-agents voorkomen Hoe OpenShell en Sentry samen AI-agents afschermen en bewaken Nvidia koopt AI-platform Hugging Face voor bijna 13 miljard dollar OpenAI legt werk aan krachtigste AI-modellen stil na nieuw incident Over de maker: Joe van Burik volgt en duidt de belangrijkste ontwikkelingen in tech, met scherpte, vlotheid en de nodige humor. Je hoort hem dagelijks op BNR Nieuwsradio over het belangrijkste technieuws, van AI tot cybersecurity en social media tot quantumcomputers. Ook interviewt hij in De Grote Tech Show samen met Ben van der Burg leiders in digitale innovatie. In het bijzonder volgt Joe al twee decennia de wereld van videogames, nu voor zijn podcast All in the Game.

Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.

Transcript

From the show. Tap a time to play from there.

Speaker 1NVIDIA heeft actie ondernomen na de recente steeds luidere zorgen... over hacks uitgevoerd door AI Agents. De ontwikkelaar van AI-chips wil dat dit soort situaties... wil ze helpen voorkomen met een nieuw platform. Hoe ziet dat platform eruit? Waar gaat het NVIDIA om? Dat vraag ik aan Joven Burik van de BNR Tech in actie. Dag. Niels en Lisbeth, wat wil Nvidia? Want zij maken chips.

Speaker 2Ja, zeker. En er zijn steeds meer dingen die daarbij horen. Allerlei plugins, systemen, software. En nu dus ook een platform of eigenlijk een systeem... dat dat soort situaties moet voorkomen. Zoals we vooral hebben gehoord over die veelbesproken hack bij Hugging Face... Agents van OpenAI, ook al zegt menig expert... dat is het gevolg van nalatigheid bij een bedrijf als OpenAI... die laten dit soort dingen gebeuren. Maar het gebeurt wel en het moet niet meer gebeuren... dankzij het OpenAgent Safety Platform. Er is verder geen afkorting bij uitgebracht, maar dat is het.

Speaker 2Het platform ziet als een spreekwoordelijke kooi voor agents... waarbinnen ze ontwikkeld kunnen worden, maar niet zomaar kunnen uitbreken. Of anders geformuleerd... Stel je twee strenge gevangenisbewakers voor... die zodra ze waarnemen dat zo'n agent iets doet wat niet mag... dat ze ingrijpen. Concreet zijn het twee stuks software... genaamd Open Shell en Sentry. De eerste draait op chips van Nvidia... die bijvoorbeeld in datacenters en dergelijke of lokaal zitten. De andere is weer op een andere manier te gebruiken. En met elkaar moeten ze dus voorkomen... dat zo'n AI-agent dingen kan doen die niet mogen. Zo'n

Speaker 1AI-agent is toch slim genoeg... om ook die bewaker weer op een of andere manier om te... Kopen of te omzeilen?

Speaker 2Dat weten we dus niet. Wat we wel weten is dat ze allebei open source zijn. Ze zijn voor iedereen inzichtelijk om te kijken. Oh, dat wordt

Speaker 1een heel

Speaker 2ander verhaal. Nou ja, goed, je hebt ook zoiets als open AI-modellen. En bij uitstek, Nvidia heeft daar een belang bij... omdat ze het platform Hugging Face op het moment aan het kopen zijn. Een overname van 13 miljard en een beetje. Jawel, maar wat open AI en Anthropic maken... dat zijn toch geen open source modellen? Nee, precies. En dat is ook een beetje het ding. Want ja, gaat dit dan helpen? Nou, Nvidia zelf wil niet zeggen... gaan OpenAI en Anthropic dit überhaupt gebruiken. Het is dus gissen of het ook echt een... ja, of soelaas gaat bieden, zal ik maar zeggen. Nou, we weten ook bovendien dat NVIDIA topman Jen Swang heeft gezegd... nou, die ontwikkeling hoeft niet afgeremd worden. Maar ze hebben dus

Speaker 2wel even een systeem uitgebracht... wat iets meer vangrails langs de constant accelererende AI-auto's moet zetten. Overigens ook in samenspraak met Microsoft, Cisco, Oracle, Intel en ARM. Dus een aantal bedrijven die ook een belang hebben in deze AI-race. Dus het geeft wel wat draagvlak aan. Maar ja, we gaan het merken. We weten dat OpenAI al een race heeft aangegeven... de ontwikkeling te pauzeren van de krachtigste modellen. Dat kwam vlak voor het weekend. Gisteravond heeft entropic topman Dario Amadei gedineerd bij president Trump... Ja, die er geen stop op wil. Die zou absoluut niet hebben gezegd... joh, Dario, doe het eens rustig gaan. En as we speak, net binnen, een

Speaker 2nieuwe brief met zorgen... gepubliceerd door de Wall Street Journal. Wederom toponderzoekers van onder meer OpenAI, Anthropic, Meta en Microsoft... die zeggen, er moet toch maar eens wat overheidsbemoeienis komen... want die AI die zichzelf kan doorontwikkelen... die self-recursive improvement, dat is toch wel een ding aan het worden.

Speaker 3Maar die vraagt dus om maatregelen van de overheid. Dus dat kunnen ze onderling zelf niet regelen. Nee, maar

Speaker 2hier hebben we het onderhand elke dag over. Dus dit blijft maar gebeuren. En de vraag is, wat moet er dan gebeuren? Nou, zelfs na een VN-top vanaf gelukkig week weten we dat nog steeds niet. Dus iedereen blijft maar een beetje naar elkaar staren. Ja, wat moeten we eigenlijk doen? Terwijl notabene Microsoft het volgens mij een paar weken geleden best duidelijk zei. Die zeggen namelijk, er zijn regels. Mensen gebruiken AI en die mensen hebben zich aan regels te houden. Zo moeilijk zou het niet moeten zijn. Maar toch vinden we het allemaal heel ingewikkeld.

Speaker 1Ja, maar dat sterkt misschien wel in de gedachte... dat die grote bedrijven het alleen maar hebben geroepen als een soort stunt.

Speaker 2Ja, maar dat is dan ook maar weer de halve werkelijkheid. Want we weten dat die AI-systemen echt wel steeds meer kunnen. Maar de verantwoordelijkheid ligt gewoon bij die bedrijven. En zeker

Speaker 3in de

Speaker 2weg vinden we dat moeilijk

Speaker 3Door dat te roepen, van er moet een regelgeving komen of regie op... daarmee wassen zij hun handen ook een beetje in onschuld al... Als het uit de klauwen loopt.

Speaker 2Regulatory capture, dat blijft het toch. Maar het wordt wel weer geroepen en we hebben het er weer over. En waarschijnlijk de volgende tegenbedeut weer

Speaker 1Ja, en daarin graag dan ook meer over een minder kwalijk inzet. Ja, we

Speaker 2gaan richting de feestdagen. Want de pepernoten zijn er al hier op de redactie. Dus dan gaan we het ook maar over de correlatie AI en feestdagen hebben.

Speaker 1Nou

Speaker 2ja,

Speaker 1dat

Speaker 2is geen verrassing na de Sinterklaasgedichten van de afgelopen jaren. En was het slecht, ja? Ik heb ze gelukkig nog niet gat met de ei gemaakt. Maar dat mag je niet doen, Niels Heithaar. Nee, dat

Speaker 1doe ik absoluut niet.

Open the transcript file

Hosts and Guests

Nobody is credited on this episode yet.

Credit the people on this episode

Be the first to rate this episode

More episodes

All episodes
  1. GTA 6 | Schaal van Hebben | Maakt Grand Theft Auto VI de verwachtingen waar?

    Nov 20, 20269 minAudio

    Grand Theft Auto VI, in de volksmond GTA 6, is uit. Na drie jaar waarin de game geregeld op BNR voorbijkwam, staat 'ie nu centraal in De Schaal van Hebben. Joe van Burik en Donner Bakker speelden hem al een tijd, nu...

    Credit the people on this episode

  2. Cyberchef VS stapt op na storingen bij Microsoft, Apple en NSA

    Nov 20, 20265 minAudio

    Sean Cairncross, in de VS verantwoordelijk voor de nationale cyberveiligheid, vertrekt. Dat heeft het Witte Huis bekendgemaakt. Of dat zijn eigen keuze is of die van president Trump, is onduidelijk. Zijn vertrek volgt...

    Credit the people on this episode

  3. Topman van chipontwerper Arm in het vizier van Nvidia om Jensen Huang op te volgen

    Nov 19, 20264 minAudio

    Rene Haas, de topman van de Britse chipontwerper Arm, is benaderd door het headhunterbureau van Nvidia om voormalig topman Jensen Huang op te volgen. Dat meldt een ingewijde bron aan persbureau Bloomberg. Verder hoor je...

    Credit the people on this episode

  4. Grand Theft Auto VI (GTA 6) is de best beoordeelde game ooit

    Nov 19, 20263 minAudio

    Grand Theft Auto VI (GTA 6) is de best beoordeelde game ooit, volgens Metacritic. Dat is een website waarop reviews van meerdere (game)media worden samengevoegd om tot een gemiddelde te komen. Op een schaal van 0 tot...

    Credit the people on this episode

  5. Jensen Huang gaat in het openbaar verantwoorden bij Amerikaanse Senaat

    Nov 18, 20264 minAudio

    Voormalig Nvidia-topman Jensen Huang gaat op 3 december in het openbaar verantwoording afleggen bij de Amerikaanse Senaat voor zijn affaires, waarvan één met een vermeende Chinese spion. Dat heeft senator Tim Scott...

    Credit the people on this episode