Brave new world: de duistere randjes van onze digitale transformatie

Over de voordelen die ‘de digitale transformatie’ met zich meebrengt voor CFO’s, wordt veel geschreven. Wekelijks verschijnen er blogs, krantenartikelen en whitepapers over het automatiseren van repetitieve financiële processen waardoor we allemaal meer tijd overhouden voor mooie zaken als business partnering en hogere vormen van datamining, waarbij intelligente algoritmes doorwrochte financiële en strategische inzichten kunnen creëren uit de steeds aanzwellende hoeveelheid (bedrijfs)data. Slimme IT en automatisering stellen ons in staat om met een druk op de knop complexe forecasts te maken die financieel risicomanagement naar dimensies belooft te brengen die we nog niet eerder hebben gezien! 

Tot zover het goede nieuws. Want met alle ongekende mogelijkheden die de digitale transformatie ons brengt – en met name ook de snelheid waarmee innovatie zichzelf op de hielen ziet – wordt het ook steeds ingewikkelder om de complexiteit van de nieuwste technieken te begrijpen en de gevaren die het met zich meebrengt echt te doorgronden. Niet alleen in de financiële wereld – maar eigenlijk op alle terreinen van ons leven. De voordelen zijn zo overduidelijk: tijdswinst, gemak, geld. En met steeds groter gemak leggen wij onszelf erbij neer dat we ‘onmogelijk alles kunnen snappen’. We zijn namelijk geen ICT’er. Loert het gevaar dat we op zeker moment helemaal geen grip meer hebben op de risico’s van een samenleving die iedere dag meer vervlochten raakt met een digitale parallelwereld? Over die vraag gaan wij het hebben op onze CFO day 2021.

Keep Calm and…
Het risico van onze toenemende afhankelijkheid van technologie en IT kent grofweg twee smaken. Het eerste risico hebben we min of meer zelf in de hand: de mate waarin wij onze menselijke beslissingen laten bepalen door Artificial Intelligence (Ai) en Big Data. Het Toeslagen-schandaal wordt in Nederland regelmatig genoemd als voorbeeldcasus waarin de menselijke maat volledig werd ondergesneeuwd door een perverse manier van omgaan met data en statistiek. Een correlatie tussen het plegen van toeslagenfraude en het hebben van een Bulgaars paspoort, leidde tot een geautomatiseerde fraudescreening van Nederlanders met een migratie-achtergrond, waarbij ieder foutje of onregelmatigheid in aanvraagformulieren werd behandeld als een geval van oplichting. Het blind varen op verkeerd geïnterpreteerde meta-data had afschuwelijke gevolgen: gebroken gezinnen, verwoeste levens, kinderen die zijn opgegroeid in armoede. Maar er zijn meer voorbeelden van uit de hand gelopen vertrouwen op ‘slimme techniek’. Berucht is de blunder van Amazon dat een scripted programma gebruikte om zinnen te genereren voor t-shirtvariaties op ‘Keep Calm and… ’, tot het moment dat er T-shirts op de website verdwenen met de tekst ‘Keep Calm and Rape A Lot’.

Tegelijkertijd schuilt juist in de ‘menselijke controle over IT’ een ander nachtmerriescenario. Te midden van onze totale afhankelijkheid van IT en technologie – eigenlijk in alle dimensies van onze fysieke wereld – hebben we als samenleving nog geen antwoord op de vraag: wat als ‘onze’ IT in handen komt van criminelen en vijandige staten die onze samenleving doelbewust ondermijnen, of wanneer we in eigen land te maken krijgen met een politiek regime dat het niet zo op heeft met onze democratische waarden? De digitale transformatie en de impact die het heeft op onze fysieke wereld brengt risico’s met zich mee die zo reëel en alomtegenwoordig zijn dat we ze misschien helemaal niet willen zien.

Artificial Intelligence gone wrong
Maar terug naar de slimme algoritmes – een gevaar dat we misschien nog wel in de hand hebben. Wie een half uurtje googelt op ‘big data blunders’ heeft leesvoer voor dagen. Van de 16.000 verdwenen Covid-files bij de Public Health Engeland door een database die automatisch files verwijdert vanaf een bepaald maximum, tot medische algoritmes die ‘people of colour’ een lager gezondheidsrisico toeschrijft op basis van ‘in het verleden gemaakte zorgkosten’ in plaats van op basis van hun daadwerkelijke klachten.

Ook de financiële sector is niet veilig voor Articial Intelligence gone wrong. Bekend is de ‘flitscrisis’ in 2010 waarbij binnen enkele minuten duizend miljard dollar aan aandelenwaarde verdampte door onbedoelde interacties tussen machines. Of neem de Dow Jones Newswire. In 2017 werd automatisch een bericht de wereld in gestuurd over de aankoop van Apple door Google, een fake nieuwtje dat louter voor een technische test bedoeld was. Maar de geautomatiseerde handelsrobots reageerden binnen milliseconden, met grote gevolgen voor de aandelenkoersen.

Frank Verbeeten, hoogleraar aan de Faculteit Economie en Bedrijfskunde aan de UvA houdt zich onder meer bezig met de invloed van technologie op de inrichting en de rol van de financiële functie binnen organisaties. Welke risico’s ziet hij in het blind varen op slimme algoritmes? Verbeeten: “Het is algemeen bekend dat het werken met algoritmes zich er in kan uiten dat bepaalde groepen in analyses worden bevoordeeld, of benadeeld. Google ziet het zelfs als een van de grootste problemen bij het werken met data. Een bekend voorbeeld hiervan komt uit de Amerikaanse rechtspraak waarbij werd vastgesteld dat afro-Amerikanen en Amerikanen met een Mexicaanse achtergrond onevenredig zwaar werden gestraft wanneer je alleen algoritmes toe zou passen.”

Correlatie en causaliteit
Eigenlijk zit het risico niet zozeer in de techniek zelf, maar in de ‘menselijke fout’ niet goed genoeg na te denken over statistiek. Het verschil tussen causaliteit en correlatie, wordt volgens Verbeeten te vaak te weinig begrepen: terwijl dat juist heel belangrijk om te maken als je gaat werken met data en algoritmes: “Wij hebben weleens een case gehad in een college waarin werd gekeken naar verlieslijdende bouwprojecten en het aantal wisselingen van projectleiders. De controller in de zaal concludeerde op basis van de correlatie tussen mislukte projecten en het aantal wisselingen van projectleider, dat de oplossing van het probleem lag in minder projectleiders wisselen. Toen vroeg ik of er ook iemand in de zaal zat uit de bouw om te vertellen wanneer men wisselde van projectleider, was het antwoord: zodra een bouwproject in de soep loopt.”

Algoritmes zijn goed in het analyseren van data, maar oorzaak en gevolg uit elkaar houden is al lastig. Financials met een goed inzicht in de business kunnen daarom een belangrijke rol spelen in het toepassen van Artificial Intelligence. Verbeeten: “Je kunt data alleen echt goed analyseren als je ook werkelijk kennis hebt van het onderliggende proces. Als je dit vertaalt naar de rol van de financiële organisatie binnen een bedrijf, dan zie je direct hoe belangrijk het is om kennis te hebben van business wanneer je werkt met data. De data scientists hebben die businesskennis in principe niet, wat die zitten te ver van het operationele proces af. Als het goed is heeft de financial niet alleen gevoel voor cijfers, maar ook inzicht in de werkelijkheid achter de cijfers.”

Verpletterd door algoritmes
Volgens Verbeeten valt er nog wel een slag te maken in het bewustzijn van de financial rondom de maatschappelijke risico’s van data en digitalisering. De UvA-faculteit houdt met enige regelmaat surveys onder financials en CFO’s over de digitale transformatie. In 2020 nog werden 120 CFO’s en andere financials ondervraagd over de issues op het gebied van data die zij belangrijk vonden. Verbeeten: “Wat je ziet is dat ethische vraagstukken over wat er met data gebeurt tamelijk onderaan de prioriteitenladder staan. CFO’s maken zich vooral druk over vraag of hun organisatie wel data-driven genoeg is. Het opschalen van data-automatisering en het koppelen van data uit verschillende silo’s staat hoog op het problemenlijstje van de CFO. Het controleren van de consequenties als de machine eenmaal aan de praat is, wordt nog niet helemaal overzien. Daar ligt wel een probleem in de toekomst.”

De financial staat overigens niet alleen in zijn onbekommerdheid als het gaat om de gevaren van AI. Recent nog kwam het Impact Centre Erasmus, verbonden aan de Erasmus Universiteit Rotterdam, naar buiten met een onderzoek uitgevoerd onder 100 Nederlandse MVO-professionals: Verpletterd door algoritmes. Ruim 75% van de ondervraagde organisaties en bedrijven bleek geen visie te hebben op ‘ethisch datamanagement’.

Cybercrime: geen issue voor finance?
Een andere opvallende uitkomst van het UvA-onderzoek onder financials: ook het onderwerp cybersecurity staat relatief laag op de prioriteitenladder. Verbeeten vermoedt overigens dat security-bewustzijn wel leeft, maar dat men er op vertrouwt dat ‘ICT het wel regelt’ – een gevaarlijk idee volgens Verbeeten: “Finance heeft beschikking over veel data – en als het gaat om ‘eigenaarschap’ van data, zie je dat er binnen bedrijven meestal voor wordt gekozen wordt om het eigenaarschap van data in de specifieke functie te laten.” Verbeeten kent zelf weinig grote ‘specifiek financiële’ IT-security issues die het nieuws hebben gehaald. Een harde verklaring heeft hij hier niet voor, al werpt hij op dat data over operationele processen misschien interessanter is voor hackers dan hardcore financiële data zoals het jaarverslag. Toch is data-security volgens Verbeeten zeker wel een issue dat de financial en de financiële wereld raakt, zij het indirect. De financiële schade die wordt veroorzaakt door cybercrime en ransomware is namelijk levensgroot. In 2017 presenteerde Deloitte een groot onderzoek naar de schade die digitale misdaad toebrengt aan de Nederlandse economie. Die schade werd toen geschat op 10 miljard euro per jaar. En daarmee zijn we aanbeland bij het andere duistere randje van onze Brave New World: het digitale gevaar dat niet zozeer ligt bij ‘autonome algoritmes’, maar bij mensen van vlees en bloed die ‘onze’ IT – en onze afhankelijkheid ervan – gebruiken om onze wereld te ontwrichten.

Voorbereiden op digitale ontwrichting
Wie de Nederlandse journalist Huib Modderkolk de afgelopen jaren heeft gevolgd en zijn verhalen echt goed tot zich laat doordringen, heeft meegekregen dat het rampscenario van digitale ontwrichting door hackers en spionnen helemaal geen dystopische toekomstmuziek is, maar een hyperrealistische werkelijkheid, hier en nu. In zijn bestseller ‘Het is oorlog, maar niemand die het ziet’ schetst Modderkolk het gitzwarte beeld van een mondiale cyberoorlog, die al meer dan 15 jaar woedt tussen Iran, Rusland, China en het NAVO machtsblok. Een conflict waarin Nederland een niet onbelangrijke rol speelt vanwege onze betrokkenheid bij de allereerste gecombineerde cyber-aanval op een Iraanse kerncentrale in 2007.

Modderkolks boek is geschreven als een journalistieke spionage-thriller, maar een wat minder James Bond-achtige versie van zijn waarschuwing, lees je terug in het adviesrapport dat in 2019 is geschreven door de Wetenschappelijke Raad voor Regeringsbeleid (WRR): Voorbereiden op digitale ontwrichting, waarin niet alleen de toenemende risico’s worden geschetst van onze afhankelijkheid van IT, maar ook een aantal praktische lijnen worden uitzet om als samenleving robuuster te worden. Inmiddels zijn we twee jaar verder, maar Corien Prins, voorzitter van de WRR en hoogleraar Recht en Informatisering aan de Universiteit van Tilburg, ziet dat de urgentie van het rapport alleen maar is toegenomen: “Onze afhankelijkheid van IT is alleen nog maar groter geworden door Corona. Je moet je niet willen voorstellen wat er met de samenleving gebeurt als er nu een grote disruptie plaatsvindt.” De grote dreiging zit volgens Prins niet alleen in de professionalisering van georganiseerde cybercriminelen, maar ook in de digitale verwevenheid van eigenlijk al onze organisaties, ketens en netwerken: “Van onze waterkeringen en onze energievoorzieningen, tot de toeleveringsketens, alles is IT. Hoe kun je dat op een zinvolle manier afbakenen? Wie neemt hierin de regie? Over dit soort vragen heb[1]ben wij in ons onderzoek aan aantal aanbevelingen meegegeven aan het kabinet.”

Misdaad of oorlogshandeling?
Erik Schrijvers, senior staflid van de WRR, ziet dat er sinds een half jaar mondjesmaat gevolg wordt gegeven aan de aanbevelingen: “Niet alleen de Rijksoverheid, maar ook de VNG gaat er nu mee aan de slag. De ransomware aanval op de gemeente Hof van Twente eind vorig jaar heeft daar ongetwijfeld een rol in gespeeld. De gemeente die weigerde om losgeld te betalen – en bouwt nu de hele IT-infrastructuur opnieuw op. Maar zoiets kost geld, veel geld. Dat helpt andere gemeenten om de urgentie te voelen.” Zowel Schrijvers als Prins zien dat steeds meer organisaties nadenken over het managen van hun IT-afhankelijkheid. Prins: “Nederlandse universiteiten zijn onlangs bij elkaar gaan zitten om te kijken van wie ze eigenlijk afhankelijk zijn op het gebied van IT en daar kwam naar voren dat bij sommige toepassingen veel Nederlandse universiteiten voor 80% draaien op Microsoft. Zoiets maakt kwetsbaar, dat zagen we onlangs weer met de hack van Exchange. Ook CEO’s en CFO’s van bedrijven zouden wat ons betreft ook meer moeten kijken naar hun IT, misschien wel samen met inkoop. Wat zijn voorwaarden waaraan je bedrijfsinfrastructuur moet voldoen om robuust te zijn in het geval van digitale ontwrichting? Het is echt een boardroom issue, niet voor de toekomst, maar voor nu.” Verzekeraars spelen hier ook een interessante rol volgens Schrijvers: “Bij kleine ransomware-aanvallen zeggen verzekeraars vaak: betaal het losgeld maar, dat is goedkoper dan je hele IT te vernieuwen. Maar cybercriminelen betalen, lost het probleem niet op. En bij aanvallen met grote schade – of wanneer er sprake lijkt te zijn van vervlechting tussen misdaad en operaties van geheime diensten – ligt het al weer complexer.” Een bekend voorbeeld hiervan is de NotPetya ransomware aanval uit 2017, waarover nog steeds verzekeringszaak loopt rondom de vraag in hoeverre de Russische geheime dienst achter de hack zat, of niet. Schrijvers: “Verzekeraars weigeren schade door cybercrime uit te betalen wanneer er volgens hen sprake is van een ‘oorlogshandeling’.”

Economische spionage
Dat er – niet alleen in de toekomst, maar ook hier en nu – enorme securityrisico’s kleven aan onze digitale transformatie, kan iedereen iedere dag lezen in alle kranten. Het probleem is niet zozeer het gebrek aan kennis, maar vooral de omvang en complexiteit van onze digitale infrastructuur. Wie neemt de regie in een probleem dat zich met de dag muteert, zo snel dat we eigenlijk geen idee hebben waar te beginnen aan een oplossing? Zowel bedrijven als overheden lopen niet vooraan om hun probleem op de publieke agenda te krijgen. De reden van bedrijven om incidenten onder de pet te houden: het voorkomen van reputatieschade. Maar ook overheden en geheime diensten willen incidenten graag zo lang mogelijk uit de media te houden, om vijandige geheime diensten niet in de kaart spelen in hun doel: maatschappelijke en economische ontwrichting. Het gevolg is dat cybersecurity vaak een schaduwgevecht achter de schermen blijft. Volgens Ronald Prins, oprichter van netwerkbeveiliger FOX-IT en expert op het gebied van cybersecurity, hebben we een enorm probleem: “Wat we in de krant lezen is het topje van de ijsberg. Ook economische spionage is een toenemend probleem, zeker voor Nederland. We lopen hier voorop in research en development, op alle terreinen, van zaadveredeling en scheepsbouw tot bio-technologie. En die kennisindustrie is geld waard – maar alleen als we onze kennis ook kunnen verkopen. Dat laatste wordt lastig wanneer technologische innovatie onder je neus wordt weggepikt door hackers, of door overheden zelf. Digitale spionage is echt een sluipmoordenaar voor bedrijven die miljoenen investeren in onderzoek dat vervolgens via een digitaal achterdeurtje wordt doorverkocht. Het valt minder op dat ransomware, maar een aantal sectoren hebben het nu echt op hun netvlies – gewoon omdat ze merken dat hun hightech kennis opeens opduikt bij partijen die het niet zelf hebben ontwikkeld.” Volgens Prins is de waarheid hard: “Soms moet je eerst klappen krijgen om wakker te worden.”

Klappen vangen
Als klappen vangen en leergeld betalen de enige manier is om te dealen met de dark side van technologie, dan is de grote vraag: hebben we inmiddels al genoeg klappen gehad? Michiel Steltman, directeur van de stichting Digitale Infrastructuur Nederland (DINL) denkt van niet – maar is op de grote lijnen niet pessimistisch. Hij pleit al jaren voor meer openheid van zaken omtrent cybercrime en vindt het bijvoorbeeld onverteerbaar dat het Nationaal Cyber Security Centrum (NCSC), dat onder Justitie en Veiligheid valt, bedrijven die niet zijn aangewezen als ‘vitale organisaties’, niet mag waarschuwen als er aanwijzingen zijn dat ze bedreigd worden. Hierdoor zijn volgens Steltman vorig jaar nog een paar Nederlandse bedrijven onnodig gehackt.

Toch denkt hij dat gematigd optimisme gepast is: “Zodra je als bedrijf je stekker in het internet steekt ben je daarmee direct verbonden met alle misdadigers in de wereld. Als je dat beseft, is het wonderbaarlijk hoeveel er goed gaat. Ik vergelijk het met de industriële revolutie. Daar heeft het ook een eeuw geduurd voordat we – met veel vallen en opstaan – de risico’s een beetje onder ogen zijn gaan zien. Dat zal met de digitale revolutie net zo gaan. Aan de andere kant… als ik kijk naar de nieuwe EU-regelgeving die op dit moment in de maak is om burgers beter te beschermen tegen de toepassingen van Ai, zie ik ook een groeiend bewustzijn op de juiste plekken in de samenleving. Je merkt dat er een zekere volwassenheid komt in het besef van de risico’s. Uiteindelijk is niet de techniek het gevaar, maar de manier waarop wij er als mens mee omgaan. Dat geldt ook voor een broodmes, een auto, of een balpen…”

De mens als zwakste schakel in de Brave New World – is dat uiteindelijk de meest realistische manier om te kijken naar de dark side van de digitale transformatie? Het zou in ieder geval wel helemaal in lijn zijn met de Brave New World zoals Aldous Huxley hem in 1932 beschreef in zijn gelijknamige roman.