AI met een vleugje Groningse nuchterheid

GESCHREVEN DOOR

Mark Vos

Mark Vos

Data architect & engineer

Het gebruik van AI modellen biedt organisaties volop kansen om werk of delen daarvan te automatiseren. Maar hoe verstandig is het om steeds meer werk aan AI over te laten? In deze blog kijkt data-architect Mark Vos met Groningse nuchterheid naar de keerzijde van AI: onvoorspelbare resultaten, verborgen kosten, verlies van kennis en groeiende afhankelijkheid. Lees hier waarom menselijke expertise en gezond verstand onmisbaar blijven.

Onrust

Je hoeft LinkedIn maar te openen en bijna elke post – al dan niet door AI gegeneerd met bijpassend, niet heel erg creatief plaatje – gaat inmiddels over AI. Daarvan vertelt een groot gedeelte dat AI ons werk overbodig maakt of gaat maken. En elke week komen er weer nieuwe posts op onze tijdlijn om the latest and greatest op het vlak van AI te laten zien.

Het kan een gevoel van onrust veroorzaken. De vraag of je het allemaal nog bij kunt benen. En ja, AI kan inmiddels veel, biedt zeker kansen en kan organisaties absoluut helpen. Maar soms is het ook goed om eens uit te zoomen, de roze bril af te zetten, van de hype-train te stappen en met gezonde Groningse nuchterheid naar al deze ontwikkelingen te kijken.

Je kunt AI steeds vragen eenvoudige rekensommen te maken óf je laat AI een rekenmachine voor je bouwen.

Onvoorspelbare uitkomst

“Een Large Language Model zoals GPT, Claude of Gemini baseert haar uitkomst op kansberekening”, sprak collega Oscar Koster, afgestudeerd wiskundige, aan het begin van een training over AI. Woorden die enorm belangrijk zijn. Het model voorspelt op basis van enorme hoeveelheden data wat het volgende woord of woorden in een zin of stuk code gaat zijn. Wanneer je bijvoorbeeld “Oost, west” zou vragen aan een chatbot, dan is de kans groot dat het terugkomt met “thuis best”, maar het zou ook zo maar eens “zuid, noord” kunnen zijn.

Wie denkt aan kansberekening, weet ook dat er een kans bestaat dat de uitkomst niet correct gaat zijn. En daarmee is de uitkomst niet altijd betrouwbaar. De kans bestaat ook dat bij een vergelijkbare vraag de uitkomst anders is dan bij de initiële vraag. En daarmee is de uitkomst dus niet reproduceerbaar.

Vooral in de automatisering wil je dat de output altijd op eenzelfde manier bepaald wordt. Wanneer we kijken naar de accuraatheid van bijvoorbeeld NL2SQL, de techniek die Microsoft gebruikt om natuurlijke taal naar SQL-queries om te zetten, dan geeft Microsoft aan dat de betouwbaarheid op ongeveer 90% zit. Dit zat voorheen op 80%. Dat klinkt veel, maar dat betekent dus ook dat 10% van de code niet juist wordt gegenereerd. Code waarop uiteindelijk beslissingen worden genomen en dus 100% accuraat dient te zijn. Het maakt nogal uit wanneer de gerapporteerde omzet ineens 10x groter is dan daadwerkelijk gerealiseerd. Om tot die 100% te komen zal de code door de ontwikkelaar of gebruiker goed gecontroleerd moeten worden op fouten.

En daar wringt de schoen. Het merendeel is door het ontbreken van kennis niet in staat dit goed te beoordelen. Het deel dat wel in staat is dit te doen, is uiteindelijk veel tijd kwijt aan het doorgronden van de uitkomsten van het AI-model en te bepalen waar eventuele fouten zich manifesteren. Afhankelijk van de complexiteit van de opdracht kan een deel van de tijdswinst dus weer verloren gaan door intensieve controle- en herstelwerkzaamheden.

Mark Vos

Kennis holt achteruit, maar blijft cruciaal

Een AI agent maakt of bouwt wat het gevraagd wordt. Neem nu als voorbeeld het ontwerpen van een huis. Stel de vraag aan AI om een huis te ontwerpen en stel deze vraag ook aan een architect: je krijgt twee compleet verschillende uitkomsten. Een architect houdt rekening, eventueel na het stellen van een aantal kritische vragen, met allerlei randvoorwaardelijke zaken waar een AI agent alleen maar aan ‘denkt’ wanneer je dit expliciet vraagt (prompt). En daar gaat het schuren. Zonder specifieke kennis zal de gebruiker niet de juiste zaken vragen. Een paar voorbeelden:

  • Een architect houdt rekening met het budget van de klant en zal dit gebruiken in onder andere materiaalkeuze. Marmeren vloeren zijn mooi, maar het prijskaartje wat hieraan gekoppeld is, is wat minder mooi.
  • Houten kozijnen zijn prachtig, maar vereisen onderhoud in de vorm van een jaarlijkse of tweejaarlijkse schilderbeurt. Misschien is de toekomstige bewoner niet in staat dit uit te voeren en heeft het als wens een onderhoudsarme woning.
  • AI houdt waarschijnlijk weinig rekening met de plaatsing van de ramen in verband met lichtinval.
  • Misschien willen de uiteindelijke bewoners wel een levensbestendige woning en dienen de voorzieningen hiervoor op de begane grond gerealiseerd te worden.
  • Sloten op de deuren zijn ook best handig wanneer je wilt dat het een veilige woning wordt.

Vertaal je dit alles naar het bouwen van een app of het opzetten van een compleet dataplatform (project Osmos van Microsoft) inclusief rapportage (Fabric Apps, Claude Dashboards), dan zal de basis voor iemand zonder enige kennis er prima uit zien. Maar een expert op dit gebied zal al snel kijken naar de verdere inrichting en zal kritisch kijken naar onder andere:

  • Beveiliging. Wordt gevoelige informatie wel op de juiste manier opgeslagen en verwerkt?
  • Gebruikte standaarden (naamgeving, kleurgebruik, visuals, etc.)
  • Eenduidigheid om overdraagbaarheid mogelijk te maken
  • Performance
  • Herbruikbaarheid van componenten
  • Gebruik van versiebeheer en juiste scheiding tussen bijvoorbeeld een ontwikkel- en een productieomgeving
  • En nog veel meer.

Zonder kennis wordt het probleem tweeledig. Wanneer je iets niet weet, zul je het voorafgaand aan de bouw ook niet kunnen vragen én ben je daarna niet in staat om te beoordelen of dat wat gebouwd is, wel voldoet. Daarnaast is het belangrijk om te kunnen bepalen waar AI wel en waar juist niet voor ingezet moet worden. Je kunt er bijvoorbeeld voor kiezen om eenvoudige rekensommen elke keer aan een AI agent te vragen, maar je kunt er ook voor kiezen om een rekenmachine te gebruiken. Of AI een rekenmachine te laten maken.

Vaak wordt AI ingezet om taken te automatiseren en daar ligt inderdaad de kracht. Maar volgt hetgeen je door AI laat automatiseren herhaalbare patronen en wil je een betrouwbare uitkomst, dan is het in die gevallen beter om AI bijvoorbeeld een programma of service te laten ontwikkelen die deze taak altijd op dezelfde, betrouwbare wijze voor je automatiseert.

Voor je het weet, creëer je een vorm van technical debt, die zonder AI niet meer op te lossen valt.

Hogere kosten door verbruik van tokens

Daarmee komen we op het volgende punt: de kosten van AI. De kosten van het gebruik van een AI model worden bepaald door het aantal daarvoor benodigde tokens. Simpel gezegd wordt de tekst die je in een model stopt, opgeknipt in kleine brokjes, ofwel tokens. De output en elke redeneerstap die het model maakt, bestaan ook uit tokens. Het totaal aan input-, output- en redeneringstokens bepaalt de kosten van AI. Kortom, hoe complexer de taak, hoe meer uitleg (input) en redenering het model nodig heeft, des te hoger de kosten.

Het is echter lastig om hier een goede balans in te vinden. Zonder goede kaders en richtlijnen is er geen grip op het verbruik en komen de verrassingen in de vorm van een gepeperde factuur. De besparingen die je denkt te maken door taken te automatiseren, kunnen al snel teniet worden gedaan door het hoge tokenverbruik. Wat mogelijk het gevolg is van het verkeerd inzetten van AI.

Een simpel voorbeeld vanuit de dagelijkse praktijk; Niet zo lang geleden had ik een dataset met fictieve data nodig om te kunnen gebruiken bij demo’s. Het moest een substantiële dataset worden, dus zeker een aantal miljoen regels. Het moest daarnaast een aantal patronen bevatten (seizoensinvloeden, regionale verschillen, verschillen per leeftijdsgroep, etc). In plaats van AI te gebruiken om deze set te genereren en voor mij in bijvoorbeeld één of meerdere CSV-bestanden klaar te zetten, heb ik ervoor gekozen om AI in te zetten om een stuk Python-code te schrijven die voor mij de set genereert. Zoals verwacht was het resultaat niet in één keer perfect, dus heb ik de Python-code iteratief laten finetunen. Het resultaat is een stuk code dat ik vaker kan gebruiken en elke keer een reproduceerbare, betrouwbare set aan data oplevert. Zonder token-verbruik.

Tokens werden alleen gebruikt voor het genereren van de code en niet van de daadwerkelijke data. Dit scheelt aanzienlijk. Zeker omdat de set met behulp van meerdere iteraties tot stand is gekomen. Had ik de set elke keer door AI laten genereren, dan had ik én meer tokens verbruikt én een set die bij elke iteratie andere data had gehad vanwege de onvoorspelbare uitkomst waar ik het hierboven over had. Dit maakt testen en finetunen haast onbegonnen werk.

Afhankelijkheid (AI lock-in)

Als architect vind ik het belangrijk dat een oplossing, in mijn geval een dataplatform, grotendeels leverancieronafhankelijk wordt gerealiseerd. Volledige onafhankelijkheid is een utopie. Voorstanders van open source oplossingen zullen dat betwisten, maar ook daar kleven voor- en nadelen aan. Die discussie bewaren we voor later.

Een leverancier zal altijd de intentie hebben dat klanten zo lang mogelijk gebruik maken van zijn dienst of product en zal dus functionaliteit inbouwen die het lastiger maakt om over te stappen naar een andere leverancier. Kijken we naar de ontwikkeling van dataplatformen dan is er een periode geweest dat de producten low-code / no-code waren; met een grafische userinterface was het mogelijk om complete dataplatformen te bouwen. Dit vereiste weinig technische skills. Het nadeel hiervan was dat het resultaat moeilijk tot niet te migreren is naar vergelijkbare oplossingen van andere leveranciers. Het leverde uiteindelijk code op die proprietary was en daarmee leverancier gebonden was. Migratie betekende vaak complete herbouw van het dataplatform waarmee gedane investeringen teniet werden gedaan.

In de dataplatformoplossingen die wij klanten aanbieden, vind ik het dus belangrijk dat zoveel mogelijk van de code overdraagbaar is naar andere leveranciers. Wanneer een klant zou willen overstappen van Microsoft Fabric naar Databricks of zelfs naar open source, dan moet dit zo vlekkeloos mogelijk gaan. In werkelijkheid zal dit nooit helemaal het geval zijn, maar 80% is wat mij betreft een goed streven. Deze wens heb ik niet alleen, maar leeft ook bij klanten. Begrijpelijk, omdat men niet afhankelijk wil zijn van één leverancier en controle wil houden over keuzes.

Deze wens van onafhankelijkheid zou je ook moeten kunnen doorvertalen naar de toepassing van AI. Wanneer je ervoor kiest om grote delen van je IT (bijvoorbeeld programmatuur en software) door AI te laten genereren, is de kans namelijk zeer groot dat het ook door AI beheerd en aangepast moet worden, aangezien de kennis over wat er is gegenereerd nu waarschijnlijk ontbreekt.

Voor leveranciers van AI modellen is dit uiteraard het verdienmodel en voor klanten bestaat het risico dat zij gaandeweg steeds afhankelijker worden van AI-ondersteuning. Kennis om zaken zelf aan te passen is niet meer aanwezig en het wordt steeds moeilijker om zelfstandig keuzes te maken of systemen te onderhouden. Dit gaat uiteindelijk ook weer leiden tot hogere kosten zoals ik eerder heb benoemd.

Waar momenteel thema’s als digitale soevereiniteit hoog op de agenda staan, zou dit zeker moeten gelden voor de afhankelijkheid van AI. Voor je het weet, creëer je een vorm van technical debt die zonder AI niet meer op te lossen valt. Je zult er als organisatie dus verstandig aan doen om te blijven investeren in menselijke kennis.

mark vos

Last but not least; het menselijke aspect

En dat brengt me bij het meest belangrijke onderdeel in dit gebeuren: het menselijke aspect. Ik ben ervan overtuigd dat we als mens het vermogen hebben om ons aan te passen aan deze veranderende realiteit. En de realiteit is dat AI absoluut een rol gaat spelen in ons werk en ons leven. Dat kunnen we niet ontkennen. Maar hóe en in welke mate is iets waar we zelf invloed op hebben. Bovendien hebben we hierin ook een verantwoordelijkheid te nemen. We moeten ervoor waken dat we niet alles overlaten aan AI. Het zet namelijk een rem op onze creativiteit, ons lerend en denkend vermogen. Hetzelfde vermogen wat paradoxaal gezien juíst gebruikt is bij de ontwikkeling van AI.

Blijven investeren in kennis en ook zeker in de overdracht van deze kennis blijft enorm belangrijk. Er zijn organisaties die niet meer investeren in jong talent, omdat gedacht wordt dat hun werk overgenomen kan worden door AI. Maar laten we niet vergeten dat de junioren van nu, de senioren van de toekomst zijn. Dat houdt in dat we moeten blijven investeren in kennisoverdracht en dit ook moeten borgen, zodat junioren uiteindelijk beter in staat zijn om de correcte vragen aan een AI-model te stellen én om de output goed te kunnen valideren. Kortom: om AI goed te kunnen toepassen.

Andersom geldt dit ook. De jonge generatie adopteert nieuwe ontwikkelingen zoals AI sneller dan de oudere generatie en dat is absoluut goed voor de innovatiekracht. Maar ook hier hebben we een plicht om ervoor te zorgen dat er geen kloof ontstaat tussen de AI-koplopers en de mensen die ermee moeten werken. Deze plicht dragen we niet alleen als organisatie, maar zeker ook als samenleving. Het kan nooit de bedoeling zijn dat een technologische ontwikkeling, waar we zelf de controle over hebben, een grote groep mensen buitenspel zet.

Grote voorstanders van AI hoor ik soms het argument gebruiken dat ook de opkomst van internet of de mobiele telefoon destijds door een groep mensen met argusogen werd bekeken, maar een ongegronde angst is gebleken. En dat we daarom ook voor AI niet bang hoeven te zijn. Waar internet en de mobiele telefoon (los van de apps) vooral voor verbinding hebben gezorgd, bestaat bij AI het risico dat verschillen in kennis, vaardigheden en toegang worden vergroot wanneer we daar niet bewust mee omgaan. Juist daarom is het belangrijk om te blijven investeren in mensen, kennisontwikkeling en kennisoverdracht. Laten we hier altijd nuchter en met gezond verstand naar blijven kijken.

Tijd voor een nuchtere kijk op AI binnen jouw organisatie?

Als New Nexus helpen we organisaties om AI op een slimme, betrouwbare en verantwoorde manier in te zetten. Met oog voor menselijke kennis, kosten en onafhankelijkheid.

Ontdek wat we met onze AI Solutions voor jouw organisatie kunnen betekenen.