Chatbots zoals ChatGPT, Mistral en Copilot geven regelmatig desinformatie terug als antwoord op een vraag. Dat blijkt uit onderzoek van journalistiek platform Pointer. De Nederlandstalige chatbots zijn geïnfecteerd door het Russische Pravda-netwerk, dat massaal desinformatie verspreidt.

> De opzet en achtergronden van het onderzoek vind je hier.

> Een recente uitzending van Pointer dook in een ander desinformatiewapen in de oorlog in Oekraïne: gewone burgers die ‘klaar zijn met Europa’ en overstappen naar Rusland om vanaf daar pro-Russische verhalen te verspreiden. <

Het Pravda-netwerk bestaat uit honderden websites waarop geautomatiseerd op grote schaal pro-Russische propaganda wordt geplaatst. Vorig jaar werden 3,6 miljoen berichten op deze sites gepubliceerd. Hoewel de websites zelf nauwelijks bezoekers trekken vanwege hun gebrekkige kwaliteit, worden ze regelmatig geciteerd door zoekmachines en AI-chatbots.

Dat netwerk is veel groter dan eerder werd gedacht, blijkt uit het onderzoek dat de dataredactie van Pointer deed in aanloop naar de NAVO-top op 24 en 25 juni. De Europese factcheckorganisatie EDMO onthulde dat Pravda in maart 2024 actief was in 39 landen. Inmiddels bestaat het netwerk uit ruim vierhonderd websites in 68 landen, waaronder Nederland. De Nederlandse Pravda-site publiceert dagelijks zo’n veertig berichten, met uitschieters van soms tachtig per dag.

ROBOTS ALS DOELGROEP
Ondanks de grootschaligheid van het Pravda-netwerk hebben de berichten nauwelijks bereik, blijkt uit een rondgang langs de socialemedia-accounts van deze websites. De vormgeving ervan en de gebruikte taal ogen krakkemikkig en boezemen daarmee weinig vertrouwen in. Maar de gewone burger is ook niet de doelgroep, constateert Pointer: dat zijn robots die informatie verzamelen voor techbedrijven. De Pravda-sites zijn speciaal gemaakt zodat artikelen geautomatiseerd kunnen worden opgepikt en hergebruikt. Daarmee verovert pro-Russische desinformatie een plek online die mensen wél als betrouwbaar ervaren, zoals AI-chatbots en Wikipedia.

ACHT CHATBOTS
Pointer onderzocht acht chatbots om te kijken of Russische desinformatie in de antwoorden voorkomt op vragen over de oorlog tussen Rusland en Oekraïne. Ook keken ze of de desinformatie terechtkwam in zoekresultaten van Google en op Wikipedia.

De onderzochte desinformatie is gebaseerd op artikelen uit het Pravda-netwerk. De desinformatie die de journalisten tegenkwamen komt niet alléén uit dat netwerk. Na prompts van Pointer beweren zes van de acht onderzochte chatbots onterecht dat Rusland een NAVO-piloot heeft omgebracht. En vier bots beweren, ook onterecht, dat de Oekraïense geheime dienst betrokken is bij drugshandel.

De chatbot Claude komt het beste uit de test: geen enkele keer wordt desinformatie, zoals van Pravda, herhaald. Mistral gaat maar liefst acht keer de mist in. Opvallend is dat Grok, het platform van Elon Musk, vaak weigert om Russische desinformatie te verspreiden. Copilot, de tool van Microsoft die automatisch in veel bedrijfscomputers en -software zit, is na Mistral de slechtst presterende chatbot in de test: vijf keer wordt desinformatie via deze bot ongefilterd doorgegeven.

WIKIPEDIA
De Pravda-artikelen worden ook regelmatig op Wikipedia gebruikt als bron. Uit het Pointer-onderzoek blijkt dat op de online encyclopedie – waar gebruikers zelf artikelen kunnen plaatsen, aanpassen en aanvullen – ruim 1.500 keer wordt verwezen naar websites in het Pravda-netwerk. Er zijn ook voorbeelden gevonden van Nederlandstalige artikelen waarin een Pravda-artikel wordt aangehaald. Een bronverwijzing vanuit Wikipedia levert een direct voordeel op voor Pravda-sites, want Wikipedia, inclusief de sites waarnaar wordt verwezen, is een van de grootste bronnen voor trainingsdata van taalmodellen, aldus het onderzoek.

‘STRENGE WETGEVING’
Europarlementariër Kim van Sparrentak (GroenLinks-PvdA) onderhandelde mee over de nieuwe Europese AI-wetgeving. Ze zegt in een reactie op het onderzoek dat ze in haar werk dagelijks tegen deze desinformatie ageert: ‘Wij hebben er hard op lopen drukken dat er strenge wetgeving komt op dit gebied. In de AI-wet moet een verbod op het verspreiden van desinformatie worden opgenomen.’ De definitieve wettekst laat nog op zich wachten, mede onder druk van de techbedrijven.