Wij bij Coney Minds hebben de AI valkuil van dichtbij meegemaakt. Vol enthousiasme doken we in de zoektocht naar een zinvolle toepassing van Large Language Models (LLM’s) in onze auditpraktijk. Het idee dat een AI onze accountantswerkzaamheden kon ondersteunen, klonk schitterend. Maar de praktijk bleek een kostbare les in nederigheid.

Stel je een reeks hectische experimenten voor. We begonnen met een zelf-gehost LLM, zodat alle data binnen onze eigen veilige omgeving zou blijven. Maar al na enkele weken schoten de kosten door het dak.

“Wat, 19.000 euro per LLM-server in een paar weken?!” riepen we verbaasd. En hoeveel servers hadden we eigenlijk draaien? Allerlei modellen waren getest; achteraf dachten we: hadden we niet beter eerst gewoon een paar OpenAI-abonnementen van 20 euro per maand kunnen proberen?

Maar veiligheid stond voorop: we wilden geen gevoelige data via het internet sturen. Ondertussen groeide het aantal betrokken collega’s, werd een extern bureau ingeschakeld… en de resultaten bleven uit. De AI praatte niet met ons auditdossier, begreep onze context nauwelijks en leverde weinig bruikbare output. Onze eerste proefopstelling voelde als een teleurstelling: traag, beperkt en totaal niet in verhouding tot de investering.

Lees ook op CFO.nl: Column – Pieter de Kok: CFO’s met AI-FOMO #1. Hollen zonder helder doel

Dus gingen we door naar plan B. Een nieuwe partij, snellere technologie – dat moest het antwoord zijn. In het begin leek het hoopgevend, maar al snel verzuchtten we opnieuw: “Weer 15.000 euro verder per maand voor een paar simpele pilots – wat was ons budget eigenlijk?”

Plan C, D…
Daarna volgden plan C, plan D… eerlijk gezegd ben ik de tel kwijtgeraakt. Uiteindelijk kwamen we zeker uit bij scenario E. Toen de rook optrok, zagen we dat we veel tijd en geld hadden uitgegeven, maar nog steeds geen concrete killer-app in handen hadden. Het goede nieuws was dat we inmiddels wél inzicht hadden in wat LLM’s kunnen en vooral wat ze (nog) niet kunnen. Maar die wijsheid kwam met een stevig prijskaartje.

Ondertussen explodeerde de AI-hype buiten onze muren alleen maar verder. Op LinkedIn verscheen dagelijks wel een nieuwe “baanbrekende” AI-usecase of een met ChatGPT geschreven artikel. Iedereen leek het er druk mee te hebben. Eerlijk? Ik was die door LLM’s gegenereerde LinkedIn-posts en pseudo-diepzinnige plaatjes op een gegeven moment behoorlijk beu. Het contrast kon niet groter: buiten werd AI gevierd als magie van de toekomst, binnen voelden wij ons soms alsof we sprookjes achterna liepen.

Lees ook op CFO.nl: Michel Wessel (CFO van Royal Talens): “De toekomst is digitaal. Het moment om de eerste stap te zetten in AI is nu.” 

Wat hebben we geleerd?
Wat hebben we geleerd? Allereerst dat niet alles kan met LLM’s – althans, niet op de manier die wij voor ogen hadden. Een AI inzetten die echt onze auditdossiers begrijpt en het werk verlicht, vraagt veel meer dan een model downloaden, databronnen koppelen en het systeem voeden met informatie. We leerden ook dat je je mensen moet meenemen: zonder training en begrip blijft een tool ongebruikt of verkeerd ingezet. En bovenal ontdekten we dat we te veel vanuit technologie dachten en te weinig vanuit het probleem. We waren zo gefocust op “iets met AI doen” dat we vergaten eerst scherp te formuleren wat we precies wilden verbeteren – voor onze klanten én voor ons team.

Terug naar de basis
Dat inzicht dwong ons terug naar de basis. We stelden onszelf vragen als: Waar knelt het werkelijk? Welke taken kosten te veel tijd? Waar zitten fouten of vertragingen? Pas toen we die vragen eerlijk beantwoord hadden, konden we gericht kijken of, en hoe, AI hierbij kon helpen.

Inmiddels experimenteren we nog steeds met LLM’s, maar veel gerichter. De focus ligt nu op concrete bruikbaarheid (in plaats van technologie om de technologie), op het opleiden van onze mensen en op het borgen van veilig gebruik. Die nuchtere herstart heeft ons behoed voor verdere verspilling – en stap voor stap beginnen we wél resultaten te zien die waarde toevoegen.

In Deel #3: de lessen uit onze crash course voor elke CFO: hoe je voorkomt dat AI een hypeproject wordt, en hoe je structureel waarde creëert.

Fintech - The Disruption of Finance by Technology with Prof. Raghu Rau

Understand the impact of automation, AI, big data, and blockchains on finance. Discover how to profit in 3 days. Join the thought-provocative Fintech – The Disruption of Finance by Technology program by Prof. Raghavendra Rau.

Learn more