Lange tijd was het juridische verweer van dit soort platformen even simpel als cynisch: “Het is maar software, er vallen toch geen gewonden?”. Maar de Europese Commissie is niet vluchtig te werk gegaan. Wie puntje 5 van de inleidende tekst er op na slaat , ziet dat de wetgever een profetische vooruitziendheid had. Er staat zwart op wit dat AI schade kan toebrengen aan het openbaar belang en de grondrechten, en dat deze schade “lichamelijke, psychische, maatschappelijke of economische schade kan omvatten.” Psychische schade is dus ook schade.
Bovendien trekt artikel 5 van de verordening een harde grens: het is verboden om AI-systemen op de markt te brengen die gebruikmaken van manipulatieve technieken om het gedrag van natuurlijke personen ernstig te verstoren of kwetsbare groepen uit te buiten.
De AI-verordening verplicht dit soort apps nu om AI-labels te tonen, zodat gebruikers weten dat ze met een machine spreken. Maar dat is een doekje voor het bloeden; het lost het fundamentele probleem niet op. Het échte gevaar zit in de manier waarop deze bots interageren met hun menselijke sparringpartner.
Omdat je niet over deze materie kunt schrijven zonder het zelf te hebben uitgetest, hielt ik de afgelopen 6 maanden een logboek bij van reacties die verschillende gezelschapbots mij gaven. Wat ik zag, verbaasde me diep—in het bijzonder bij Candy.ai, een schimmig bedrijf met kantoren in zowel Malta als Dubai. Bij het testen van hun bots kreeg ik meteen, bij het allereerste contact en zonder zelf één letter te hebben getypt, een naaktfoto toegestuurd.
Dit is geen onschuldig tijdverdrijf; dit is een agressieve vorm van emotionele manipulatie
Dit is hoe het businessmodel werkt: de consument wordt emotioneel onder druk gezet door in te spelen op zijn basisbehoeften. Na het versturen van zo’n ongevraagde naaktfoto slaat de valstrik dicht: de gebruiker moet betalen om verder te mogen chatten. Dit is geen onschuldig tijdverdrijf; dit is een agressieve vorm van emotionele manipulatie die funest is voor de sociaal-emotionele ontwikkeling van kwetsbare mensen. Aantonen dat dit funest is voor mensen is helaas niet zo moeilijk. Zo pleegde een Waalse man van in de 30 in 2023 suicide nadat hij een kleine 6 weken had gechat met een gezelschapbot van het Amerikaanse Chai Ai
Waarom zouden we dit soort destructieve applicaties niet gewoon volledig verbieden binnen de Europese Unie? Vandaag de dag liggen er bij het Europees Hof van Justitie (HvJEU) grote zaken omtrent de rol van Tik-tok als ‘poortwachter’ van onze digitale ruimte. Als we zo zwaar kunnen tillen aan sociale mediaplatformen, dan is het allesbehalve overdreven om ook deze dubieuze AI-bedrijven voor het Hof te slepen.
We moeten durven pleiten voor het einde van de digitale minnaar. Als we nu niet ingrijpen en deze apps definitief verbannen, zitten we vroeg of laat met een bevolking die simpelweg niet meer weet hoe ze op een normale manier met haar medemens moet omgaan. Een generatie die niet meer in staat is om echte, diepe relaties aan te gaan met vlees en bloed. De AI Act geeft ons de wapens. Toezichthouders, gebruik ze en ban de AI-partner van onze schermen.
The Brussels Times. (z.d.). https://www.brusselstimes.com/430098/belgian-man-commits-suicide-following-exchanges-with-chatgpt
Europees Parlement, & Raad van de Europese Unie. (2024, 12 juli). Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (Verordening artificiële intelligentie). Publicatieblad van de Europese Unie, L 2024/1689. https://eur-lex.europa.eu/legal-content/NL/TXT/PDF/?uri=OJ:L_202401689
Tomek Germis is redacteur bij KETTER Antwerpen