FAME (FAce MEtadata)

Culturele organisaties slagen er onvoldoende in om omvangrijke collecties foto’s en video’s van goede metadata te voorzien. Dit tekort belemmert de online toegang en bevraging, alsook het hergebruik van digitale foto’s en video’s. Het FAME-project ontwikkelt best practices om personen op die foto’s en video’s te identificeren via (semi-)geautomatiseerde gezichtsherkenning. Daarnaast onderzoekt FAME ook hoe bestaande metadata de accuraatheid van de gezichtsherkenning kunnen verbeteren.

Projectresultaten

Het FAME-project heeft geresulteerd in de herkenning van 81.144 gezichten van 2.578 unieke publieke personen in 4 foto- en videocollecties (= 42,4% van personen uit referentieset):

  • 63.397 gezichten van 953 wielrenners (KOERS);
  • 12.225 gezichten van 616 politici;
  • 3.837 gezichten van 176 politici (ADVN);
  • 8.388 gezichten van 553 politici (Archief van Vlaams Parlement);
  • 5.522 gezichten van 1.010 podiumkunstenaars (Kunstenpunt).

Hiermee hebben we de doorzoekbaarheid van de collecties verbeterd. Alle resultaten voor ADVN, Archief van Vlaams Parlement en KOERS zijn door hun medewerkers manueel gevalideerd als geaccepteerd. Bij Kunstenpunt is er minder gevalideerd en is er een kleine marge van 353 gezichten van podiumkunstenaars en 65 unieke podiumkunstenaars die mogelijk foutief herkend zijn. Aanvullend zijn door de medewerkers 98 gezichtsclusters van unieke personen gevonden die niet in de referentieset voorkwamen.

De persoonsnamen zijn gekoppeld aan de Wikidata-identifiers voor de personen. Waar mogelijk hebben de podiumkunstenaars ook identifiers uit de Kunstenpuntdatabank en IMDb meegekregen, de politici identificatiecodes van het Vlaams Parlement en de Belgische Senaat en de wielrenners identifiers van De Wielersite en ProCyclingStats. Ze zijn zo ondubbelzinnig geïdentificeerd.

We hebben een workflow opgezet die bestond uit:

  1. creëren van referentiesets op basis van beschikbare metadata;
  2. automatisch detecteren en lokaliseren van gezichten in zowel de referentie- als onderzoekssets;
  3. kopiëren en apart opslaan van de gedetecteerde gezichten;
  4. omzetten van de kenmerken van elk gedetecteerd gezicht naar een vector;
  5. vergelijken van de vectoren van alle gezichten;
  6. clusteren van alle gezichten met een gelijkaardige vector;
  7. per cluster onderzoeken welke gezichten afkomstig zijn uit de referentiesets;
  8. naam van persoon wiens vectorprofiel de cluster het dichtst benadert, toekennen aan alle gezichten in die cluster;
  9. manueel valideren van de resultaten;
  10. wegschrijven van de bekomen resultaten naar de beheersystemen.

Uit de praktijk blijkt dat deze workflow werkt. De meest tijdsintensieve onderdelen zijn de creatie van de referentiesets en de manuele validatie. We moeten bekijken hoe we die minder tijdsintensief kunnen maken. Bij verdere opschaling stelt zich de vraag in welke mate manuele validatie haalbaar blijft en of referentiesets kunnen worden gedeeld.

De resultaten tonen aan dat metadata gezichtsherkenning kunnen verbeteren. We zijn zeer gericht te werk kunnen gaan dankzij metadata. Dat we 42,4% van personen uit de referentieset hebben herkend illustreert dat we met metadata op voorhand goed hadden bepaald wie we konden herkennen. Het niet op goed geluk proberen om personen te herkennen, heeft de resultaten verbeterd.

We hebben in kaart gebracht hoe best rekening te houden met ethische kwesties. We hebben er een studiedag aan besteed, en ook tijdschriftbijdragen voor FARO en VVBAD over geschreven. FAME heeft tot nieuwe inzichten geleid, die op hun beurt nieuw onderzoek genereren. Dit heeft al geleid tot een traject rond de ethische aspecten van gezichtsherkenning dat in het GIVE-metadataproject wordt opgezet i.s.m. het Kenniscentrum Data & Maatschappij. Ook juridische kwesties hebben we uitgebreid onderzocht. Dat heeft eveneens geresulteerd in de publicatie van een tijdschriftartikel hierover in META.

We hebben de traditionele registratiepraktijk opengebroken door enerzijds met de mooie projectresultaten de koudwatervrees voor gezichtsherkenning als een (semi)geautomatiseerde bijdrage aan objectregistratie weg te nemen en door anderzijds nieuwe soortgelijke initiatieven aan te moedigen en te initiëren. We hebben aan de impact van gezichtsherkenning op de traditionele registratiepraktijk ook een studiedag gewijd.

FAME heeft gefungeerd als een proeftuin. Die wordt ondertussen voortgezet met het GIVE-metadataproject, wat de volgende stap is de creatie van nieuwe meemoo-diensten rond (semi)automatische metadatacreatie.

Partnerorganisaties
  • Projectverantwoordelijke: meemoo
  • Partners:
    • IDLab UGent
    • ADVN | archief voor nationale bewegingen
    • Archief Vlaams Parlement
    • KOERS. Museum van de Wielersport
    • Kunstenpunt
Leden stuurgroep

Stuurgroep:

  • Astrid Vergauwe, Bart Magnus, Ellen Van Keer, Nastasia Vanderperren en Rony Vissers (meemoo);
  • Alec Van den Broeck, Kenzo Milleville en Steve Verstockt (UGent IDLab);
  • Diethard Vlaeminck (KOERS);
  • Niels Plas (Archief van Vlaams Parlement);
  • Phaedra Claeys en Tom Cobbaert (ADVN);
  • Tom Ruette (Kunstenpunt).

Adviesgroep:

  • Alexander Derveaux (FOMU);
  • Dieter Suls (MoMu);
  • Gwenny Dhaese (VAi);
  • Henk Vanstappen (Datable).

Praktische info

Looptijd van
Looptijd tot
Organisatienaam
meemoo, Vlaams instituut voor het archief
Contactpersoon
Rony Vissers
Adres
Ham 175
9000 Gent
Telefoon
09 298 05 01
Financieringsbron(nen)

Het FAME-project ontving een projectsubsidie van 96.000 euro van de Vlaamse overheid.

Meemoo heeft daarnaast niet-subsidieerbare personeelskosten bijgedragen ter waarde van 22.874 euro. De vier contentpartners ADVN, Archief van Vlaamse Parlement, KOERS en Kunstenpunt hebben niet-subsidieerbare personeelskosten bijgedragen ter waarde van 31.160 euro.

Andere projecten

Als kennis- en expertisecentrum rond spel- en speelgoederfgoed ontsluit het Speelgoedmuseum zijn bibliotheekinventaris en een ...

The proposed interdisciplinary EURECA (EUropean Region Enrichment in City Archives and collections) project follows the ...

Het project focust op een inhaalbeweging voor de collectieregistratie van enkele cruciale deelcollecties binnen de ...