KI + metadata = bedre treff

Aksess har testet ut det nye bildesøket og tatt en prat med Arkivverket om løsningen som er den første tjenesten i Digitalarkivets nye og mer brukervennlige design.

Hva er nytt i det nye Digitalarkivet og hva betyr dette for brukerne?

– Vi har laget et nytt bildesøk, hvor vi bruker nye søkemåter og kunstig intelligens, og sammen med en ny utforming, vil vi gi en annen bruksopplevelse enn tidligere. Bildesøket er også starten på det nye Digitalarkivet, slik det vil se ut for de som skal søke og finne arkivmateriale. Vi vil bygge flere av de nye tjenestene på denne formen.

Vi har nå testet ut og implementert en metode av kunstig intelligens, for å se om det kan kompensere for noe av utfordringene det er å gjøre søk i arkivdata og finne frem. Metadataen kan variere i kvalitet og den kan være mangelfull. Vi håper at KI kan hjelpe til med dette, ved å gjenkjenne innhold i bilder og gi brukeren treff til tross for at det ikke er metadata som er registrert på bildet.

Etter hvert vil vi utvikle det nye Digitalarkivet til å omfatte flere typer arkivdata, sånn at brukeren kan søke på tvers av flere kategorier og få treff i foto, lyd, dokumenter med det samme søkeordet. Vi ønsker å lage tjenester som gjør at brukerne blir mer selvbetjente i å søke frem data, og at vi kan få ned noe av kompleksiteten av å finne frem.

Vi er fremdeles tidlig i utviklingsfasen, men vi ønsker å slippe nye tjenester tidlig, få testet dem ut og få tilbakemeldinger.

Er det noe man bør tenke på når man skal gjøre søk ved hjelp av KI?

– Slik teknologien er i dag, er ikke KI-søket god på å fange opp tid og sted for et bilde. Søket med kunstig intelligens vil kunne gi omtrentlig treff på perioder, som «bilder tatt i 1900» og «bilder tatt i 1990», men den kan fort bomme med et tiår eller to. Når det gjelder sted, kan den kjenne igjen kjente landemerker som f.eks. «London Bridge», men stort sett så vil den nok ikke gi topp treff på geografisk lokasjon. Her er vi avhengig av metadata som blir manuelt påført av et menneske, eller at det kommer inn som teknisk metadata i det bildet ble tatt. På et mobilkamera i dag registres dette automatisk i det du tar ett bildet, men på eldre materiale vil dette være annerledes med tanke på teknologien som de hadde tilgjengelig da. Her vil det nok være et skille i hvor lett det er å finne frem, mellom det som er skapt i eldre tid og det som er skapt i nyere tid.

Det kunstig intelligens derimot er god til, er å lese innhold i bildet. Søker du da på «katt med hatt», «personer som sykler», eller «barn som sitter på en knaus» vil den kunne finne bilder som er relevante, uten at et menneske manuelt har påført disse metadataene. Det kan være handlinger som dansing og skigåing eller objekter i bildet som hus og fjell. Den kan også kjenne igjen farger, f.eks. «Rød jakke», og man kan få treff på et veldig spesifikt søk som «smilende liten jente med lyst hår som sitter i en rutete stol og hører på radio».

Tidligere måtte løsningen ha påført slik metadata for at en bruker skulle få treff. Det krever mye manuell jobb og kan svært tidskrevende å gjøre manuelt for alle de aspektene en kan finne i et bilde. Videre er det ikke sikkert at man da hadde klart å påføre all metadataen som et menneske kanskje søker på. Ved bruk av kunstig intelligens reduserer vi behovet for manuell registrering og øker sannsynlighet for noe relevant treff uavhengig av hvilken søkeinput bruken måtte bruke.

Hvordan har dere jobbet med løsningen? Hva slags løsning/programvare ligger bak?

– Når vi har utviklet denne løsningen har vi jobbet tverrfaglig, og det har vært mange fagperspektiver inn. Vi har hatt med både utviklere, designere, fotoarkivarer og de som mediekonverterer fotografier. Design har jobbet med interaksjonsdesign og hvordan løsningen skal se ut med sin nye grafiske profil. Utviklerne har testet ut ny teknologi som har blitt tilgjengeliggjort underveis, og som har svart ut noen av brukerutfordringene. Fagpersoner fra Arkivverket vært tett involvert, for å ivareta arkivfaglige hensyn.

På den tekniske siden, har vi i hovedsak brukt open-source komponenter og åpne standarder. For å levere bilder og metadata til brukergrensesnittet har vi utviklet APIer som implementerer IIIF-standarden. Dette er åpen standard for utveksling av bilder (og andre medieformater) og tilhørende metadata. Til søk bruker vi Elasticsearch. Dette lar oss kombinere AI og tradisjonelle leksikalske søk på en god måte. Det hele kjører på Kubernetes som driftes av drift/plattform-teamet vårt.

Hva slags andre slags funksjoner kommer, og når kan vi vente dem?

– Vi kommer til å jobbe med flere ting framover. Vi vet at noe tar kortere tid å utvikle, mens annet tar lenger tid. I den smidige utviklingen setter vi ikke opp noen dato for når det er ferdig, men vi gjør funksjonene tilgjengelige så snart de er gode nok.

Vi vil videreutvikle bildesøket som vi har lansert. Her skal det komme flere filtreringsmuligheter og mulighet for å navigere mellom bildene. Dette kommer som små leveranser etter hvert.

Så jobber vi med å legge til andre kategorier av arkivdata, slik at brukere kan søke i flere typer arkivmateriale. Videre vil vi og arbeide med det som ligger bak en god søk- og visningstjeneste. Vi trenger jo fremdeles at mennesker påfører noen typer metadata, derfor utvikler vi en løsning hvor man kan påføre de nødvendige metadataene før bildene blir tilgjengeliggjort.

Dere skriver at Arkivverket vil samarbeide med arkiv-, museums- og bevaringssektoren for å utvikle de siste delene slik at det blir en god tjeneste også for dem. Er det lagt noen planer for dette samarbeidet?

– Vi skal blant annet utvikle en redigeringsmodul for metadata, og vi vil la eksterne teste om de får til opplastingen og påføring av metadata. Vi ønsker tett dialog og vil invitere inn til å gå gjennom og teste og gi tilbakemeldinger om hvordan løsningen kan greit fungere for dem.

Vi ønsker jo flere bilder i bildesøket, både fra våre egne arkiv, men også andre arkiv- og bevaringsinstitusjoner. Vi vet at flere aktører venter på å få bruke bildesøket til sine bilder, og vi ønsker legge til rette for det. Derfor ønsker vi å starte en dialog med eksterne for å se på hvordan vi kan tilrettelegge for dette, og vi trenger å kjøre noen stresstester av løsningen med noen eksterne brukere for å undersøke at prosessen fungerer fra opplastning til publisering av fotografier i søk og visningstjenesten.