Problemlösare samlades i hackathon: hur kan AI fånga svensk-amerikanernas röster?
På museet Utvandrarnas hus i Växjö finns en samling med 3000 intervjuer med svensk-amerikaner, inspelade på kassettband med skiftande kvalitet. Hur kan detta omfattande material göras tillgängligt och sökbart? Det var uppgiften på ett hackathon, arrangerat i september 2024 av Linnéuniversitetet, Kulturparken Småland och nätverket HUMINFRA.
Under en heldag samlades ett gäng programmerare, humanister och andra problemlösare för ett så kallat hackathon på Utvandrarnas hus i Växjö. Uppgiften var att diskutera hur en av museets största och mest svårarbetade samlingar kan göras tillgänglig för många. Det handlar om kassettband med cirka 3000 intervjuer med svenska emigranter i USA. Intervjuerna gjordes av svensk-amerikanen Lennart Setterdahl, arkivarie på Svenska Emigrantinstitutet, under hans resor i USA under 1960–1990-talen.
Tal blir text med hjälp av AI
Sedan tidigare har museet påbörjat ett arbete med att överföra intervjuerna från kassetter till digitala filer. Nästa steg är att materialet ska bli text, med hjälp av artificiell intelligens (AI).
– Den stora fördelen med AI är dess möjlighet att ta sig an material som är för stora för en människa att arbeta med. Det handlar både om att skapa transkriptioner av materialet och att märka upp texterna för sökningar, säger Daniel Ihrmark, lektor i Digital Humaniora.
Blandning av engelska och ålderdomlig svenska
Men det finns problem på vägen. Intervjupersonerna blandar fritt mellan engelska och en ålderdomlig svenska. De använder språket på ett annorlunda sätt från de moderna versioner av språken som dagens teknologier är byggda runt. Det gör att det kan vara svårt för en AI att förstå vad som sägs. Utöver det är ljudet på inspelningarna ibland av dålig kvalitet, och det kan vara svårt att uppfatta och förstå det som sägs för både människa och maskin.
Tanken med detta hackathon var få in idéer om hur AI kan ta sig an och förstå det här omfattande materialet på ett bra sätt, och hur det kan göras överskådligt och enkelt att ta del av. Uppgiften var också att fundera på vilken information som människor skulle vara intresserade att hitta i materialet.
– Vi kom fram till olika förslag på hur materialet skulle kunna struktureras, och fick se några intressanta exempel på hur olika utfall kan se ut, när det kommer till hur texterna märks upp. Exempel på detta kan vara så kallad XML-annotation, vilken indikerar vilka delar av materialet som är frågor och vilka delar som är svar. Eftersom språket i inspelningarna varierade så testade vi AI-verktyg för både svenska och engelska, vilket resulterade i att olika saker plockades upp från texterna, säger Daniel.
Intressant för släktforskare
För Daniel är drömscenariot att intervjuerna kan finnas tillgängliga i textformat och vara sökbara för både allmänhet och forskare.
– Som språkvetare är de här intervjuerna för mig ett otroligt häftigt exempel på språk från en speciell kontext. Men jag tror också att materialet är spännande för dem som exempelvis sysslar med släktforskning och letar efter platser och människor de har kopplingar till, säger Daniel.