Tien pop-up- en beweegbare boeken, gebruikt in de observatie- en interviewstudie. 
Afbeelding uit publicatie (bron), Willemijn Elkhuizen et al., 2024

MIXED-REALITYERVARING
Deze karakterisering gebruiken we vervolgens als inspiratie voor het ontwikkelen van een mixed-realityervaring – een ervaring die bestaat uit deels virtuele en deels fysieke componenten. De MR-ervaring maakt gebruik van een gewoon, fysiek boek (zonder pop-ups) met daarin markers; zet je de mixed-realitybril op en blader je door het boek, dan verschijnen er pop-ups op verschillende pagina’s. De diverse bewegende delen van het boek worden geactiveerd door ernaar te kijken, en het verhaal wordt voorgelezen wanneer je de pagina omslaat.

Op drie bladzijden zijn ook extra digitale effecten toegevoegd (zie afbeelding boven en video links), zoals het veranderen van de kleuren van de pagina (b-d), een bladzijde die langzaam veroudert door deze vaker te bekijken (e), of een vliegtuig dat wegvliegt uit de pagina (f). Deze effecten zijn geïnspireerd op de verschillende materiële kwaliteiten van het boek (bijvoorbeeld verouderbaarheid), of proberen bepaalde gerelateerde interacties te versterken (bijvoorbeeld het stimuleren van het open-dicht bewegen van de pagina).

INTERESSANTE AANVULLING
Demonstraties van het mixed-realityprototype bij verschillende gelegenheden leren ons dat de MR-ervaring intuïtief is voor praktisch alle gebruikers – er is weinig uitleg nodig om te snappen hoe het werkt. Daarnaast zien we dat de MR-ervaring bij gebruikers speelse en diverse interacties uitlokt die behoorlijk vergelijkbaar zijn met de interacties met de fysieke boeken. Op basis hiervan concluderen we dat het karakteriseren van de materiële ervaring van (cultureel)erfgoedobjecten rijke en inspirerende inzichten oplevert. We denken dat dit een interessante aanvulling kan zijn op bestaande aanpakken voor het ontwikkelen van erfgoedervaringen, bijvoorbeeld startend vanuit storytelling of vanuit technologische mogelijkheden.

MEER ONDERZOEK
In de toekomst zouden we graag meer onderzoek willen doen naar het ontwerpdeel van het ontwikkelingsproces. In andere woorden: wat voor gereedschappen of raamwerken hebben ontwerpers nodig om dit soort inzichten op een zinnige manier te vertalen naar een VR- of MR-ervaring? Daarnaast zouden we willen kijken naar andere casussen, bijvoorbeeld waarbij geen directe interactie met het erfgoedobject mogelijk is en er bovendien niet makkelijk een substituut voorhanden is. Op welke manier zouden we dan de materiële ervaring van het object kunnen karakteriseren? Ook zal er vervolgontwikkeling nodig zijn om dergelijke ervaringen echt geschikt te maken voor een groter publiek in bibliotheken en musea. <

‘CADEAUTJE UITPAKKEN’
Het bewegen van de pop-ups creëert dynamische visuele effecten, en de boeken worden ervaren als nostalgisch of vergeleken met het ‘uitpakken van een cadeautje’. Dit zorgt voor interacties zoals het herhaaldelijk openen en sluiten van het boek, en het bewegen van het boek en zichzelf rondom het boek om het verder te verkennen. Tegelijk leidt herhaling van mechanismen binnen een boek soms ook tot verveling, waardoor mensen sneller gaan bladeren of pagina’s overslaan. Zoals een deelnemer zegt: ‘Het is leuk om te zien hoe het is opgebouwd, maar na drie pagina’s verrast het me niet meer.’ 

Op eenzelfde manier kunnen andere karakteristieken in verband worden gebracht met de overige vier materiële kwaliteiten. Meer details hierover vind je in de publicatie ‘On the role of materials experience for novel interactions with digital representations of historical pop-up and movable books’ (2024).

Verschillende interacties die deelnemers hebben met de pop-ups in de diverse boeken (volledig overzicht te vinden in dit artikel).

Afbeelding aangepast uit publicatie (bron), Willemijn Elkhuizen et al., 2024

Interacties met pop-ups

Temporale patronen:

> meerdere herhalingen

> snel en langzaam

> gedeeltelijke beweging

Vier pop-up- en beweegbare boeken in VR-ervaring, gebruikt in de observatie- en interviewstudie. 

Afbeelding uit publicatie (bron), Willemijn Elkhuizen et al., 2024

Ook curatoren en tentoonstellings- en experience-ontwerpers erkennen het belang van de materialiteit van erfgoed, die leidt tot een ander soort kennis en begrip van tastbaar erfgoed – dit wordt bijvoorbeeld beschreven in het boek Museum Materialities. Uit de analyse van vele casussen rondom het gebruik van digitale technologie in musea blijkt echter ook dat dit onderwerp tot nu toe niet op een systematische manier is onderzocht of gedocumenteerd. Bovendien geven andere in de literatuur beschreven ervaringen weinig inzicht in wat en hoe materialiteit is meegenomen in het ontwerpen van (digitale) erfgoedervaringen. Vaak ligt de nadruk op de exacte replicatie van de sensorisch ervaring, met als doel om iets ‘zo realistisch mogelijk’ weer te geven, of op de technologiegedreven ervaring, ofwel het uittesten van een technologische innovatie.

NIEUWE, DIGITALE ERVARINGEN
Dit alles leidt tot onze onderzoeksvraag: hoe kunnen we de materiële ervaring van tastbare objecten beschrijven en inzichten hierover gebruiken om nieuwe, digitale ervaringen van die objecten te ontwikkelen, gebruikmakend van bijvoorbeeld virtual reality (VR) of mixed reality (MR)? We starten ons onderzoek dus vanuit het breed omvattende begrip van de materiële ervaring van erfgoedobjecten, dat de inspiratie zal vormen voor nieuwe, digitale ervaringen van deze objecten.

ONLINE COMMUNITIES
Objecten waarbij materiële ervaring een grote rol speelt, zijn bijvoorbeeld (historische) pop-up- en beweegbare boeken, zoals te vinden in de collectie van de KB. Wanneer je zoekt in het Centraal Bestand Kinderboeken vind je korte beschrijvingen (en in sommige gevallen een afbeelding) van enkele duizenden historische en contemporaine pop-up- en beweegbare boeken in de KB-collectie (zie een aantal voorbeelden hiervan in de afbeelding boven). Deze collectie is vanwege haar fragiele karakter maar zeer beperkt toegankelijk, en dat maakt haar des te interessanter om op nieuwe manieren te ontsluiten.

Om ons een beter beeld te vormen van de collectie krijgen we onder begeleiding van Karin Vingerhoets, collectiespecialist Kinderboeken bij de KB, een dwarsdoorsnede te zien van deze bijzondere collectie. Van de oudste kinderboeken uit het begin van de negentiende eeuw, langs populaire boeken uit het midden van de twintigste eeuw, tot zeer uitbundige contemporaine uitgaves. Daarnaast duiken we in online communities van pop-upboekliefhebbers en ontdekken we dat er heel veel YouTube-kanalen bestaan die aan het recenseren (en maken) van pop-upboeken zijn gewijd.

Voor meer beeld 

Als ik zeg ‘pop-upboek’ of ‘flapjesboek’, waar denk je dan aan? Bij praktisch alle mensen die ik dit vraag, beginnen de ogen te twinkelen, en ze verzuchten iets in de trant van: ‘O ja, ik had (een) hele mooie als kind, ‘daar was ik gek op’ en ‘die boeken heb ik helemaal kapot gelezen’. Enigszins toevallig stuiten we tijdens ons researcher-in-residenceonderzoek bij de KB op een breed gedragen – maar latente – liefde voor pop-up- en beweegbare boeken. Wat maakt nou dat veel mensen zich deze boeken zo positief herinneren en zulke nostalgische associaties erbij hebben?

Dit heeft (natuurlijk) te maken met de materialiteit van het object. Een fysiek boek kun je oppakken, omdraaien, openslaan, ruiken, zachtjes over de kaft strelen en horen knisperen. Dergelijke interacties en sensorische impressies leiden tot associaties (het is oud, beschadigd, gedetailleerd, luxueus) en emoties (ik ben geamuseerd, ik bang om het te beschadigen), en visa versa (omdat het boek er fragiel uitziet, blader ik er voorzichtig doorheen). Velen zullen echter zelden zo’n directe ervaring hebben met objecten in een bibliotheek of in een museum.

KENNIS VAN TASTBAAR ERFGOED
Bibliotheken en musea, maar ook archieven, bewaren gigantische collecties aan objecten, maar slechts enkele daarvan krijgt het publiek live te zien. Ze worden tentoongesteld, vaak achter glas, en steeds meer objecten zijn online te vinden in de vorm van afbeeldingen of beschrijvingen in databases, zoals Europeana. Toch is het laten bewegen van figuren in een pop-upboek of het bladeren door een middeleeuws manuscript een heel andere ervaring dan het bekijken van een foto van hetzelfde object op een scherm of het turen ernaar achter glas.

GEBRUIKERSONDERZOEK
Vervolgens zetten we een gebruikersonderzoek op, waarbij we een diverse groep deelnemers observeren en interviewen over hun (materiële) ervaringen met pop-up- en beweegbare boeken. Zij krijgen in het onderzoek de kans om te interacteren met een tiental (deels historische) pop-up- en beweegbare kinderboeken. Ook kunnen de (volwassen) deelnemers nog eens vier historische boeken ervaren in een eerder ontworpen VR-ervaring (beschreven in de studie ‘Experimenting with 360° and virtual reality representations as new access strategies to vulnerable physical collections’ in 2021).

Uiteindelijk nemen 27 volwassenen (23-63 jaar) en zeven kinderen (4-10 jaar) deel aan ons onderzoek. Bijna allemaal hebben ze eerdere ervaring met pop-upboeken, en iets meer dan de helft van de volwassenen heeft (enige) eerdere ervaring met virtual reality. 

Op basis van video-opnames kijken we naar de verschillende manieren waarop de deelnemers met de boeken interacteren. De afbeeldingencarroussel onder en de zes filmpjes boven laten een kleine selectie zien van de verschillende interacties die mensen met de pop-ups in de fysieke boeken hebben. Daarnaast karakteriseren we op basis van interviews wat bijvoorbeeld hun visuele, auditieve en tactiele ervaringen zijn, en welke associaties en emoties de boeken oproepen.

MATERIËLE KWALITEITEN
Vervolgens clusteren we deze uitkomsten rondom zogenoemde ‘materiële kwaliteiten’ van pop-up- en beweegbare boeken. Er komen vijf belangrijke materiële kwaliteiten naar voren: vouwbaarheid, schuifbaarheid, verouderbaarheid, scheurbaarheid en printbaarheid (van papier, waar de boeken voornamelijk uit bestaan). Neem bijvoorbeeld de ervaringen gerelateerd aan de vouwbaarheid van papier. Deze hebben betrekking op het vermogen van papier om van een platte stapel (dat wil zeggen: een dicht boek) naar een driedimensionale scène te kunnen veranderen wanneer een pagina wordt omgeslagen. Een van de deelnemers omschrijft deze verandering als een ‘3D-wereld die beweegt wanneer je de pagina’s een beetje opent en sluit’. Deze eigenschap van papier roept emoties op als verrassing en plezier, onder andere op basis van de verwachting wat de volgende pagina zal brengen.