Credits: RNDR
ARTIFICIËLE INTELLIGENTIE ANNE VAN DEN DOOL
Wat gebeurt er wanneer je als fotomuseum je collectie laat bekijken door kunstmatige intelligentie? Dat experiment ging men aan bij het Nederlands Fotomuseum in Rotterdam, met als resultaat ‘een poëtische tentoonstelling over de spannende keuzes van algoritmes’. Wat is ervan geleerd en hoe staat het museum zelf tegenover AI?
Detail van een image cloud uit de installatie.
Normaal gesproken nodigt het Nederlands Fotomuseum een fotograaf uit om uit de rijke collectie van het museum een tentoonstelling samen te stellen, maar tijdens de achtste editie van De Collectie belicht door … ging het anders. Deze keer werd de selectie gemaakt met behulp van artificiële intelligentie. Hoofd Collecties Martijn van den Broek begeleidde het project dat samen met fotograaf Frank van der Salm werd bedacht.
Startpunt van de tentoonstelling waren de 241 foto’s uit het oeuvre van Van der Salm zelf, geprojecteerd in het midden van een vier meter breed scherm. Bij elk van deze beelden werd door het algoritme een foto uit de collectie van het Nederlands Fotomuseum gezocht (linkerdeel scherm) én een afbeelding uit de snelst groeiende beeldcollectie ter wereld: Instagram (rechterdeel scherm). Het resultaat was ‘een poëtische expositie die de kijker uitdaagde de logica van het algoritme te volgen’.
VORMEN VAN BEELDRIJM
De tentoonstelling sloot eind vorige maand: hoe kijkt Van den Broek erop terug? ‘Het was een kunstproject en niet bedoeld als een experiment waarbij AI wordt ingezet om onze collectie te metadateren’, begint hij. ‘Het was eerder onze bedoeling om de kunstzinnige mogelijkheden van een algoritme te verkennen als een associatief algoritme dat foto’s aan elkaar verbindt. Dat gebeurt niet via taal, maar via beeld – dus niet met het gebruik van tags, zoals in Van der Salms eerdere installatie NOWHERE wel het geval was. Het algoritme ging zelf op zoek naar vormen en contrasten. Daardoor pikte de computer er bijvoorbeeld verschillende foto’s uit die allemaal een bepaald raster bevatten.’
De bij elkaar gezochte foto’s hadden soms bijzondere vormen van beeldrijm, zag Van den Broek. ‘Het algoritme keek bijvoorbeeld naar de combinatie van kleuren of de mate van scherpte. Ook nam de computer soms een gemiddelde van alle kleuren op de foto. In sommige gevallen zag je, als je ervoor stond, direct wat het verband was, maar in andere gevallen moest je langer kijken.’
AI-MOGELIJKHEDEN VOOR COLLECTIE
Het Nederlands Fotomuseum is intussen ook zelf de mogelijkheden van kunstmatige intelligentie voor de collectie aan het verkennen. ‘Wij hebben een collectie van 5,6 miljoen foto’s. Daar kun je als mens onmogelijk het overzicht over hebben. We zijn druk bezig met het metadateren van deze foto’s: we geven bijvoorbeeld aan dat er een bekende Nederlander op staat, of een boom of een stad. Nu doen we dat nog met de hulp van registratoren en vrijwilligers, maar in de toekomst kunnen we daar hopelijk AI voor gebruiken. Computers herkennen sommige dingen, zoals complexe emoties, niet per se beter dan mensen, maar merken van auto’s herkennen kan een computer al veel sneller dan het menselijk oog. Die techniek zal de komende jaren alleen nog maar geavanceerder worden.’
NIEUW SOORT ZOEKFUNCTIE
Hoewel het AI-fotoproject vooral esthetisch bedoeld was, liet het bezoekers wel degelijk nadenken over de rol van kunstmatige intelligentie in het herkennen en interpreteren van beeld. ‘Hoe werkt zo’n algoritme precies? Wat betekent het om als mens een computer te corrigeren? Welke software is hiervoor wel of juist niet geschikt? Willen we wel werken met wat Google ons aanreikt, of gaan we op zoek naar een alternatief?’
Van den Broek kan zich voorstellen dat deze poëtische interpretatie van beelden in de toekomst ook aan de basis zou kunnen liggen van een nieuw soort zoekfunctie. ‘Sommige mensen zoeken niet in onze beeldbank om die ene foto te vinden, maar om verrast te worden. Het zou mooi zijn als je kunt zoeken op een bepaalde kleur of emotie. Hoe zien droevige foto’s er bijvoorbeeld uit volgens AI? Daar ben ik heel benieuwd naar.’
Om de complete collectie van het Nederlands Fotomuseum op deze manier te kunnen doorzoeken, is overigens nog wel een digitaliseringsslag nodig. ‘Wij zijn ontstaan vanuit een analoog archief. Er wordt steeds meer gedigitaliseerd, maar dat kost veel geld en tijd. We zitten nog maar op circa 10 procent van onze collectie. Dat betekent dat 90 procent van de collectie online nog steeds onzichtbaar is. De komende jaren streven we ernaar om de digitaliseringsgraad te verhogen tot 25 procent.’
VAN KAARTENBAK NAAR DATABASE
Ook de manier van beschrijven is geëvolueerd: van een kaartenbak of schriftje naar Excel-lijsten en professionele databases. ‘Onze beschrijvingen zijn voorlopig nog steeds heel talig, omdat dat nu eenmaal ook is hoe je als mens zoekt, maar wellicht verschuift dat de komende jaren. Dan hoeven we zelf geen tags meer toe te voegen, maar corrigeren we een computer alleen nog maar als deze een voorwerp niet goed herkent. En misschien gaat dat algoritme ook dingen zien die wij als mensen niet meteen zien, bijvoorbeeld een miniem detail dat op alle foto’s van een specifieke fotograaf terugkomt, zoals een oneffenheid in de lens. Op die manier zouden we ooit zelfs makkelijker kunnen bepalen door wie een foto is gemaakt.’
AI ALS ZWARTE DOOS
Het is een interessant proces, maar ook spannend, vindt Van den Broek. ‘Mensen zijn natuurlijk ook niet objectief, maar we kunnen ze wel vertrouwen. We weten hoe nauwkeurig ze werken en kunnen afspraken met ze maken. Maar wat als we de werkwijze niet meer kunnen controleren omdat het zich in een zwarte doos afspeelt? Ook AI kan bevooroordeeld zijn als zij niet goed wordt getraind. Daarvoor hebben we hulp nodig van bijvoorbeeld universiteiten: als fotomuseum met dertig man personeel hebben we die kennis en capaciteit niet.’
Van den Broek vindt deze expositie een mooi eerste experiment. ‘Het was nog niet feitelijk beschrijvend en efficiënt, maar zo was het ook niet bedoeld. Wel was het poëtisch en bijzonder. Op deze manier willen wij onze collectie als museum naar het nu trekken, zodat oude foto’s ook in het heden betekenis krijgen.’ <
‘Een computer kan merken van auto’s veel sneller herkennen dan het menselijk oog. Die techniek zal alleen nog maar geavanceerder worden’
‘Het zou mooi zijn als je kunt zoeken op een bepaalde kleur of emotie. Hoe zien droevige foto’s er bijvoorbeeld uit volgens AI?
IP | vakblad voor informatieprofessionals | 05 / 2022
Credits: RNDR
Wat gebeurt er wanneer je als fotomuseum je collectie laat bekijken door kunstmatige intelligentie? Dat experiment ging men aan bij het Nederlands Fotomuseum in Rotterdam, met als resultaat ‘een poëtische tentoonstelling over de spannende keuzes van algoritmes’. Wat is ervan geleerd en hoe staat het museum zelf tegenover AI?
ARTIFICIËLE INTELLIGENTIE ANNE VAN DEN DOOL
Detail van een image cloud uit de installatie.
Voor meer foto's
IP | vakblad voor informatieprofessionals | 05 / 2022
Normaal gesproken nodigt het Nederlands Fotomuseum een fotograaf uit om uit de rijke collectie van het museum een tentoonstelling samen te stellen, maar tijdens de achtste editie van De Collectie belicht door … ging het anders. Deze keer werd de selectie gemaakt met behulp van artificiële intelligentie. Hoofd Collecties Martijn van den Broek begeleidde het project dat samen met fotograaf Frank van der Salm werd bedacht.
Startpunt van de tentoonstelling waren de 241 foto’s uit het oeuvre van Van der Salm zelf, geprojecteerd in het midden van een vier meter breed scherm. Bij elk van deze beelden werd door het algoritme een foto uit de collectie van het Nederlands Fotomuseum gezocht (linkerdeel scherm) én een afbeelding uit de snelst groeiende beeldcollectie ter wereld: Instagram (rechterdeel scherm). Het resultaat was ‘een poëtische expositie die de kijker uitdaagde de logica van het algoritme te volgen’.
VORMEN VAN BEELDRIJM
De tentoonstelling sloot eind vorige maand: hoe kijkt Van den Broek erop terug? ‘Het was een kunstproject en niet bedoeld als een experiment waarbij AI wordt ingezet om onze collectie te metadateren’, begint hij. ‘Het was eerder onze bedoeling om de kunstzinnige mogelijkheden van een algoritme te verkennen als een associatief algoritme dat foto’s aan elkaar verbindt. Dat gebeurt niet via taal, maar via beeld – dus niet met het gebruik van tags, zoals in Van der Salms eerdere installatie NOWHERE wel het geval was. Het algoritme ging zelf op zoek naar vormen en contrasten. Daardoor pikte de computer er bijvoorbeeld verschillende foto’s uit die allemaal een bepaald raster bevatten.’
De bij elkaar gezochte foto’s hadden soms bijzondere vormen van beeldrijm, zag Van den Broek. ‘Het algoritme keek bijvoorbeeld naar de combinatie van kleuren of de mate van scherpte. Ook nam de computer soms een gemiddelde van alle kleuren op de foto. In sommige gevallen zag je, als je ervoor stond, direct wat het verband was, maar in andere gevallen moest je langer kijken.’
AI-MOGELIJKHEDEN VOOR COLLECTIE
Het Nederlands Fotomuseum is intussen ook zelf de mogelijkheden van kunstmatige intelligentie voor de collectie aan het verkennen. ‘Wij hebben een collectie van 5,6 miljoen foto’s. Daar kun je als mens onmogelijk het overzicht over hebben. We zijn druk bezig met het metadateren van deze foto’s: we geven bijvoorbeeld aan dat er een bekende Nederlander op staat, of een boom of een stad. Nu doen we dat nog met de hulp van registratoren en vrijwilligers, maar in de toekomst kunnen we daar hopelijk AI voor gebruiken. Computers herkennen sommige dingen, zoals complexe emoties, niet per se beter dan mensen, maar merken van auto’s herkennen kan een computer al veel sneller dan het menselijk oog. Die techniek zal de komende jaren alleen nog maar geavanceerder worden.’
NIEUW SOORT ZOEKFUNCTIE
Hoewel het AI-fotoproject vooral esthetisch bedoeld was, liet het bezoekers wel degelijk nadenken over de rol van kunstmatige intelligentie in het herkennen en interpreteren van beeld. ‘Hoe werkt zo’n algoritme precies? Wat betekent het om als mens een computer te corrigeren? Welke software is hiervoor wel of juist niet geschikt? Willen we wel werken met wat Google ons aanreikt, of gaan we op zoek naar een alternatief?’
Van den Broek kan zich voorstellen dat deze poëtische interpretatie van beelden in de toekomst ook aan de basis zou kunnen liggen van een nieuw soort zoekfunctie. ‘Sommige mensen zoeken niet in onze beeldbank om die ene foto te vinden, maar om verrast te worden. Het zou mooi zijn als je kunt zoeken op een bepaalde kleur of emotie. Hoe zien droevige foto’s er bijvoorbeeld uit volgens AI? Daar ben ik heel benieuwd naar.’
Om de complete collectie van het Nederlands Fotomuseum op deze manier te kunnen doorzoeken, is overigens nog wel een digitaliseringsslag nodig. ‘Wij zijn ontstaan vanuit een analoog archief. Er wordt steeds meer gedigitaliseerd, maar dat kost veel geld en tijd. We zitten nog maar op circa 10 procent van onze collectie. Dat betekent dat 90 procent van de collectie online nog steeds onzichtbaar is. De komende jaren streven we ernaar om de digitaliseringsgraad te verhogen tot 25 procent.’
VAN KAARTENBAK NAAR DATABASE
Ook de manier van beschrijven is geëvolueerd: van een kaartenbak of schriftje naar Excel-lijsten en professionele databases. ‘Onze beschrijvingen zijn voorlopig nog steeds heel talig, omdat dat nu eenmaal ook is hoe je als mens zoekt, maar wellicht verschuift dat de komende jaren. Dan hoeven we zelf geen tags meer toe te voegen, maar corrigeren we een computer alleen nog maar als deze een voorwerp niet goed herkent. En misschien gaat dat algoritme ook dingen zien die wij als mensen niet meteen zien, bijvoorbeeld een miniem detail dat op alle foto’s van een specifieke fotograaf terugkomt, zoals een oneffenheid in de lens. Op die manier zouden we ooit zelfs makkelijker kunnen bepalen door wie een foto is gemaakt.’
AI ALS ZWARTE DOOS
Het is een interessant proces, maar ook spannend, vindt Van den Broek. ‘Mensen zijn natuurlijk ook niet objectief, maar we kunnen ze wel vertrouwen. We weten hoe nauwkeurig ze werken en kunnen afspraken met ze maken. Maar wat als we de werkwijze niet meer kunnen controleren omdat het zich in een zwarte doos afspeelt? Ook AI kan bevooroordeeld zijn als zij niet goed wordt getraind. Daarvoor hebben we hulp nodig van bijvoorbeeld universiteiten: als fotomuseum met dertig man personeel hebben we die kennis en capaciteit niet.’
Van den Broek vindt deze expositie een mooi eerste experiment. ‘Het was nog niet feitelijk beschrijvend en efficiënt, maar zo was het ook niet bedoeld. Wel was het poëtisch en bijzonder. Op deze manier willen wij onze collectie als museum naar het nu trekken, zodat oude foto’s ook in het heden betekenis krijgen.’ <