Skip to content
PodSubs
ShowsPeopleGuestsJobsNewsEvents
More
BlogPodCred
Menu
ShowsPeopleGuestsJobsNewsEventsBlogPodCredNetworksSign in
Join nowSign in
  • Shows
  • People
  • Jobs
  • News
  • More
    • Guests
    • Events
    • Blog
    • PodCred
    • Networks
    Join nowSign in

Daily WTF!

Daily WTF! artwork

Het doorbreken van de muren tussen databases en data-lakes

Oct 2, 202622 minAudio
ShareXLinkedInFacebookWhatsAppEmail

opmerkingen of vragen? laat wat achter in de voicemail Bedrijven investeren elk jaar miljoenen euro's in het opslaan en verwerken van data, maar stuiten vaak op een rigide scheiding tussen twee werelden: razendsnelle operationele databases (zoals PostgreSQL voor webshops en apps) en goedkope, enorme data lakes (zoals Amazon S3 voor historische analyses). Het traditionele verbinden van deze twee systemen vereiste zware, complexe en kostbare ETL-pipelines (Extract, Transform, Load). Deze pipelines kopiëren en dupliceren data, wat veel geld kost, lang duurt en snel crasht wanneer de datastructuur (schema-evolutie) verandert. De AWS-Update van 30 September 2026: AWS heeft een grote update uitgerold voor Amazon Aurora PostgreSQL. Aurora ondersteunt nu rechtstreeks Foreign Tables die wijzen naar Apache Iceberg- en Parquet-bestanden in Amazon S3. Dit maakt het mogelijk om met standaard SQL vanuit je operationele database direct queries uit te voeren op historische data in het data lake, zonder de data eerst te kopiëren of te verplaatsen. De Onzichtbare Motor (DuckDB): Om te voorkomen dat de standaard PostgreSQL-motor (die georiënteerd is op rijen) vertraagt bij het scannen van gigantische analytische bestanden, heeft AWS de DuckDB-engine onder de motorkap ingebed. DuckDB maakt gebruik van vectorized query execution en verwerkt kolomgeoriënteerde data in grote blokken in het geheugen. Ontwikkelaars merken hier niets van: de vertrouwde PostgreSQL-interface en SQL-syntaxis blijven exact hetzelfde, terwijl DuckDB op de achtergrond de loodzware analytische scans uitvoert. Snelheidstechnieken bij het Scannen: Column Pruning: Alleen de kolommen die nodig zijn voor de query worden gelezen uit de S3-bestanden; de rest wordt genegeerd. Predicate Pushdown: Filters worden direct naar de opslaglaag gestuurd, waardoor alleen de strikt noodzakelijke bytes over het netwerk worden verzonden. Geen ETL meer of Direct Materaliseren: Voor veruit de meeste analyses kunnen ontwikkelaars direct de S3-data bevragen via Foreign Tables. Voor extreem vertragingsgevoelige toepassingen (latency-sensitive workloads) biedt de update een materialisatieproces. Met één enkel SQL-commando (CREATE TABLE ... AS SELECT) worden S3-bestanden fysiek in de lokale Aurora-database geladen, zonder dat daar externe orkestratietools (zoals Apache Spark of Airflow) voor nodig zijn. Beschikbaarheid en Kosten: De functionaliteit is per direct wereldwijd beschikbaar in alle commerciële AWS-regio's (vanaf Aurora PostgreSQL versies 17.11 en 18.6) én in de streng beveiligde AWS GovCloud-regio's in de VS. De ingebouwde DuckDB-functionaliteit wordt geleverd zonder extra licentie- of featurekosten (at no additional charge); je betaalt enkel voor de gebruikelijke rekenkracht en opslag. Conclusie / Toekomstperspectief: De frictie en kosten voor het experimenteren met grote datasets naderen nul. Het opent de deur naar een toekomst waarin de database niet meer een fysieke container voor opslag is, maar een slimme, dynamische "lens" waarmee je rechtstreeks naar een universeel datameer kijkt.

Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.

Hosts and Guests

Nobody is credited on this episode yet.

Credit the people on this episode

Be the first to rate this episode

More episodes

All episodes
  1. De Nederlandse bestorming van Alicante: Hoe buitenlands kapitaal de Spaanse woningmarkt op zijn kop zet

    Nov 20, 202621 minAudio

    opmerkingen of vragen? laat wat achter in de voicemail In deze podcast-aflevering duiken de hosts in actuele marktrapporten uit eind 2025 en 2026 om de explosieve stijging van buitenlandse huizenkopers in de Spaanse...

    Credit the people on this episode

  2. Van uitlaat naar remstof: hoe de nieuwe Euro 7-norm de auto-industrie op zijn kop zet

    Nov 20, 202615 minAudio

    opmerkingen of vragen? laat wat achter in de voicemail In deze podcast analyseren de presentatoren de ingrijpende gevolgen van de Europese Euro 7-milieunorm. Decennialang lag de focus op het schoonmaken van...

    Credit the people on this episode

  3. Hoe het nieuwe Europese klimaatsysteem (ETS2) jouw portemonnee raakt

    Nov 20, 202624 minAudio

    opmerkingen of vragen? laat wat achter in de voicemail Vanaf 2028 treedt een nieuw Europees emissiehandelssysteem in werking: ETS2 (Emissions Trading System 2). Waar de oorspronkelijke versie (ETS1) uitsluitend bedoeld...

    Credit the people on this episode

  4. Van spel naar verdienmachine: De duistere economische realiteit achter GTA 6

    Nov 19, 202629 minAudio

    opmerkingen of vragen? laat wat achter in de voicemail Op 19 november 2026 barst de grootste entertainmentlancering uit de geschiedenis los: de release van Grand Theft Auto VI (GTA 6). Hoewel spelers wereldwijd massaal...

    Credit the people on this episode

  5. Hoe de nieuw ontdekte kwetsbaarheid 'PHP AfterShell' servers overneemt

    Nov 19, 202623 minAudio

    opmerkingen of vragen? laat wat achter in de voicemail n deze podcastaflevering duiken de hosts in een alarmerend nieuw beveiligingslek genaamd PHP AfterShell (CVE-2026-126714), op 19 november 2026 gepubliceerd door...

    Credit the people on this episode