Hoppa till huvudinnehåll

Månadens profil: Vadym Kulish

Hur gör man hundratusentals handskrivna katalogkort från 1800-talet sökbara – trots att de innehåller symboler som stora språkmodeller inte känner igen? Det undersöker Vadym Kulish, systemutvecklare på Språkbanken, i ett projekt som ska göra arkivtjänsten Folkes omfattande samlingar tillgängliga för forskning.
Vadym Kulish

Vad gör du på jobbet?

– Mitt uppdrag i projektet är att göra materialet i Folke tillgängligt och sökbart för forskare. Arkivet innehåller inskannade texter, fotografier och bilder och mycket av materialet behöver först transkriberas innan det kan analyseras digitalt. Just nu arbetar vi med omkring 630 000 katalogkort som innehåller hänvisningar till källmaterial. Därefter finns cirka en miljon katalogkort till med dialektmaterial och ortnamn samt kartor, arkivmaterial i Folke och annat material som ännu inte scannats. Att transkribera allt manuellt skulle ta orimligt lång tid. Därför använder vi bland annat handskriftsigenkänning (HTR) och optisk teckenigenkänning (OCR) tillsammans med stora språkmodeller för att omvandla materialet till sökbar text.

Nästa steg är att utveckla sökfunktioner som inte bara hittar enskilda ord utan också kan upptäcka teman, samband och relationer mellan olika delar av materialet. Vi använder både stora språkmodeller och lämpliga maskininlärningslösningar för att kategorisera innehållet för vidare bearbetning och identifiera exempelvis informanter, upptecknare och geografiska platser. Målet är att forskare ska kunna utforska ett enormt kulturhistoriskt material på helt nya sätt.

Vilka utmaningar finns?

– En stor utmaning är landsmålsalfabetet, ett fonetiskt, handskrivet alfabet med omkring 220 bokstäver och symboler som har använts för att dokumentera svenska dialekter. Symbolerna finns inte i teckenkodningen som används för att representera bokstäver och andra tecken i datorer, så dagens stora språkmodeller känner inte igen symbolerna. Vi behöver därför hitta nya metoder för att transkribera och tolka dessa texter. En annan utmaning är att Folke innehåller en otrolig mängd material: många olika materialtyper i många olika format av olika kvalitet – från handskrivna dokument till fotografier och ritningar – vilket ställer höga krav på de tekniska lösningarna.

Vad händer framöver?

– Vi har fem månader kvar av projektet. Ambitionen är att under den tiden få så mycket material som möjligt transkriberat och sökbart, liksom att ta fram prototyplösningar och metoder för det fortsatt arbetet efter det att projektet avslutas. Samtidigt ser vi att potentialen är betydligt större än projektets nuvarande omfattning, så förhoppningen är att arbetet ska kunna fortsätta även efter projektperioden.

Vad driver dig?

– Det som motiverar mig mest är att skapa bättre förutsättningar för forskning. Folke innehåller ett unikt material som har samlats in sedan 1800-talet och som kan ge nya insikter om språk, dialekter och kulturhistoria. Jag drivs också av möjligheten att utvärdera stora språkmodeller för att se vad de gör bra och inte och anpassa tekniska och metodiska lösningar så att vi får ett bra resultat utifrån budget och resurser. I dag riktas mycket uppmärksamhet mot de allra största språkmodellerna, men de är resurskrävande och inte alltid det bästa valet. En viktig del av mitt arbete är därför att utvärdera vilka modeller som faktiskt passar uppgiften bäst.

Folke

Folke är en digital arkivtjänst som utvecklas av Isof och Språkbanken.

I Folke finns hundratusentals inskannade äldre folkminnesuppteckningar från Isofs samlingar. Vid årsskiftet 2024-25 var mer än 30 000 sidor transkriberade via medborgarforskning. Materialet är främst insamlat under första hälften av 1900-talet och belyser människors liv och arbete, vardag och fest, erfarenheter och minnen från slutet av 1800-talet och framåt.

Utforska Folke

Det transkriberade materialet på Folke finns numera tillgängligt som en Folkekorpus i verktyget Korp . Korpusen uppdateras kontinuerligt i takt med att transkriberingen av material på Folke fortskrider.

Utforska korpusen