AI Narrator: humanistiske perspektiver på automatiske fortellinger

AI Narrator er en hypotetisk prototype av en autonom forteller basert på kunstig intelligens. Et tverrfaglig seminar i Stavanger har tatt for seg hvordan humanistiske innsikter knyttet til subjektivitet og fortelling best kan benyttes til den kunstig intelligente “fortellermaskinen”.
Publisert: 28. juni 2019

Støtte til seminarvirksomhet fra UH-Nett Vest

I november 2018 gjennomførte forskernettverket TekLab et tverrfaglig seminar i London som tok for seg AI Narrator. AI Narrator er en hypotetisk prototype av en smarttelefon-basert Kunstig Intelligens (eller «Artificial Intelligence») som skal brukes i kombinasjon med AR-briller og øretelefoner.

På grunnlag av støttemidler fra UH-Nett Vest, tildelt høsten 2018, ble det arrangert et nytt seminar i Stavanger, 14. mars og 15. mars 2019. Arrangør var førsteamanuensis i filosofi ved Universitetet i Stavanger, Cato Wittusen. Seminaret i Stavanger gjorde det mulig å fortsette diskusjonene om AI Narrator som ble startet opp under seminaret i London i november 2018.

Seminaret høsten 2018 var finansiert med midler fra NFR, og hadde et internasjonalt fokus og foregikk på engelsk, mens seminaret i mars fokuserte mer på nasjonale aktører og foregikk på norsk. Seminaret i mars inkluderte i hovedsak deltakere fra Universitetet i Stavanger, Universitetet i Bergen, Høgskulen på Vestlandet og Høgskulen i Volda— institusjoner som alle er medlemmer i UH-nett Vest.

Den humanistiske siden av AI Narrator

Seminaret i mars var et samarbeid mellom TekLab, IKT og medier og Universitetet i Stavangers programområde “Filosofi og subjektivitet”, ledet av Cato Wittusen.

Siktemålet med programområdet er å bidra til en dypere filosofisk forståelse av fenomenet subjektivitet. Man ønsker å bedre forutsetningene for å kunne løse problemer hvor henvisninger til subjektivitet står sentralt, ikke bare innen filosofi, men også innen vitenskaper som psykologi, sosiologi, statsvitenskap, psykopatologi og hjerneforskning.

Subjektivitet handler om en persons perspektiv eller mening, spesielt følelser, tro og ønsker, og brukes for å referere til uverifiserte personlige meninger, i motsetning til kunnskap og viten basert på fakta. Filosofien bruker ofte subjektivitet som antonym til objektivitet.

Seminaret i London i november 2018 var mer orientert mot de teknologiske aspektene ved AI Narrator. Gjennom samarbeidet med programområde for filosofi og subjektivitet, var det naturlig at seminaret i Stavanger i mars 2019 fokuserte mer på den humanistiske dimensjonen ved AI Narrator.

“Fortellermaskinen” i Stavanger

Seminaret i Stavanger var et filosofisk seminar om medier og teknologi. Man ville fortsette å utforske mulighetene i immersive eller sfæriske medier; man ville gå dypere inn i det humanistiske grunnlaget for slik mediering, og de opplevelsene som skapes.

Lars Nyre, TekLabs prosjektleder og professor i nye medier, journalistikk og teknologi ved Universitetet i Bergen, innledet seminaret. Dette gjorde han blant annet ved å peke på noen sentrale spørsmål:

Hva er en fortelling?

Hvordan bør vi nærme oss subjektivitet og immersjon som elementer i opplevelsen av fortellingen?

Kan man «oversette» en fortellingsstruktur og elementer på en slik måte at de kan utføres automatisk av en datamaskin, og presenteres til mennesker ved hjelp av Virtual eller Augmented Reality?

Hvilke teorier kan best hjelpe oss å svare på slike spørsmål?

 

Seminardeltakere

Universitetet i Stavanger

Cato Wittusen, førsteamanuensis, Institutt for medie- og samfunnsfag.

Veronica Isabel Blumenthal, doktorgradsstipendiat, Norsk Hotellhøgskole.

Petter Frost Fadnes, førsteamanuensis, Avdeling for jazz, dans, PPU og musikkproduksjon.

Ståle Gundersen, førsteamanuensis, Institutt for kultur- og språkvitenskap.

Øystein Jensen, professor, Norsk hotellhøgskole.

Sigmund Trageton, universitetslektor, Institutt for medie- og samfunnsfag.

Nadine Zoghbi, førsteamanuensis, Institutt for medie- og samfunnsfag.

 

Universitetet i Bergen

Lars Nyre, professor, Institutt for informasjons- og medievitenskap.

Maud Ceuterick, postdoktor, Marie Sklodowska-Curie-stipendiat, Institutt for lingvistiske, litterære og estetiske studier.

Audun Klyve Gulbrandsen, masterstudent, Institutt for informasjons- og medievitenskap, og førstekonsulent for web og design ved Kommunikasjonsavdelingen.

Bjørnar Tessem, professor, Institutt for informasjons- og medievitenskap.

Joakim Vindenes, PhD-stipendiat, Institutt for informasjons- og medievitenskap. Mer om VR: www.matrise.no

Høgskulen på Vestlandet

Jon Hoem, førsteamanuensis, Institutt for kunstfag.

Ture Schwebs, professor, Institutt for språk, litteratur, matematikk og tolking.

Gunnhild Sofie Vestad, daværende rådgiver ved Senter for nye medier (nå avdelingsleder for Filmveksthuset).

Høgskulen i Volda

Paul Bjerke, professor, Avdeling for mediefag.

Gunhild Ring Olsen, førsteamanuensis, Avdeling for mediefag.

Kjetil Vaage Øie, høgskolelektor, Avdeling for mediefag.

 

Andre

Svein Høier, førsteamanuensis, Institutt for kunst- og medievitenskap, Norges Teknisk-naturvitenskapelige universitetet (NTNU).

John Richard Sageng, Koordinator for Game Philosophy Network og redaktør for Journal of the Philosophy of Games, Berlin.

Atle Skorstad, master i medievitenskap, lærer ved Bergeland videregående skole.

NARRATIVT PARADOKS: Sigmund Trageton (UiS) snakker om “Det narrative paradoks i VR”; konflikten mellom den mer frie, interaktive naturen til VR som medium, og strukturen som kreves av tradisjonelle oppfatninger av fortelling og plott. Foto: Gunnhild Sofie Vestad.

Tverrfaglige presentasjoner

Seminaret gikk over to dager, og hver av dagene hadde seminardeltakerne presentasjoner hvor de tok for seg AI Narrator fra sine egne perspektiv, basert på egne erfaringer og ekspertise.

TekLab er et forskernettverk som alltid er opptatt av tverrfaglighet. Derfor ble ulike fagområder representert under seminaret: Blant annet filosofi, medievitenskap, informasjonsvitenskap, journalistikk, turisme, kunst, musikk, lydmedier, lingvistikk, spill, film og fjernsyn.

Det var mange interessante presentasjoner under det todagers seminaret i Stavanger. Her kommer et lite utvalg. Se oversikten over det fullstendige seminarprogrammet nederst i artikkelen.

Immersjon og empati

Førsteamanuensis Cato Wittusen hadde seminarets første faglige innlegg, om “Subjektivitet og immersive fortellinger”. Wittusen tok utgangspunkt i at det mediet vi er i ferd med å designe nødvendigvis er kontekst- og personsensitivt, noe som skiller det fra tradisjonelle medier. Immersjon er imidlertid ikke noe nytt begrep, men det brukes ikke så mye for å beskrive tradisjonelle medieopplevelser.

Wittusen viste til Alejandro González Iñárritu’s Carne y Arena (“Flesh and sand”), med undertittelen “Virtually present, physically invisible”. Denne tittelen forteller noe om brukerens posisjon i forhold til det medierte miljøet. Hvordan opplever vi en fortelling fra et helt individuelt perspektiv? Wittusen stilte spørsmål ved om denne produksjonen kan betraktes som en ny type “empatimaskin”. Samtidig er det langt fra sikkert at en sterkere opplevelse medfører at vi blir mer empatiske. Immersjon er en form for gullstandard når det kommer til spill, men i forhold til fortelling er det ikke alltid immersjon som er målet.

Immersjon

Virtual Reality, eller virtuell virkelighet, er en illusjon, vanligvis generert ved hjelp av ulike typer informasjonsteknologi. Dette gir brukeren en opplevelse av å befinne seg på et annet, oppdiktet eller virkelig sted. Immersjon er effekten som oppstår når illusjonen er tilstrekkelig naturtro til å omslutte brukeren, slik at de blir mindre bevisst på virkeligheten rundt seg.

SUBJEKTIVITET: Cato Wittusen (UiS) snakker om “Subjektivitet og immersive fortellinger”. Til venstre: Lars Nyre (UiB). Til høyre: Nadine Zoghbi (UiS). Foto: Gunnhild Sofie Vestad.

«Vitnemaskinen» og menneskelige vitner

Professor Lars Nyre (UiB) snakket om konseptet “Vitnemaskinen”. Dette er en hypotetisk teknologi som vil kunne inngå i AI Narrator.

Å bevitne noe journalistisk betyr å skildre dramatiske hendelser på direkten til et publikum som ofte er langt fra situasjonen og dramatikken, og som opplever det gjennom journalistens ord.

Nyre forklarte sin idé med et teknisk scenario. Vitnemaskinen kan være en autonom drone med kamera, mikrofon og andre sensorer, og utifra et skript kan ethvert forløp som fanges opp vitne-fortolkes. Brukeren kan se og høre hendelsene live i et VR-headset, og blir posisjonert som et vitne utfra video, bakgrunnslyd og syntetisk tale. Det kan lages ulike skript som styrer talen, for eksempel et faktaorientert nøytralt vitne, et emosjonelt vitne, eller et patriotisk sportsvitne. Man kan også tilpasse dialekter og talemåter utifra hvem som er publikum.

Nyre stilte spørsmål om hvorvidt impliserte vitneposisjoner i mediene kan automatiseres. Utgangspunktet er at vitnejournalistikken er vesentlig, spesielt innenfor radio og fjernsyn der følelsen av samtidighet er viktig, og noe blir til et faktum gjennom en beskrivelse. Dersom en bevitnelse skal skapes ved hjelp av en maskin, hvor mye må tilrettelegges av mennesker i forkant?

En kan se for seg at en kan hente ut veldig mye relevant informasjon, fra ulike kilder, ved hjelp av forskjellige maskinelle metoder. Dette skaper imidlertid en representasjon av virkeligheten som ikke kan føres tilbake til en person og vedkommendes troverdighet, påpekte Nyre. Det sentrale spørsmålet blir dermed om et menneske må være til stede for faktisk å forstå. Dette stiller i tilfelle spørsmål ved alle medierte opplevelser.

Lyddimensjonen i utvidet og virtuell virkelighet

Postdoktor Maud Ceuterick (UiB) snakket om det faktum at til tross for den voksende interessen for AR og VR, har lydsiden av mediet fått lite oppmerksomhet. Ceuterick låner aspekter av kinostudier og kulturell geografi for å argumentere for at lyd kan skape et diskursivt miljø og et “queer space” (“skeivt rom”) i Augmented Reality (“utvidet virkelighet»). Ceuterick forklarte hvordan det å sette sammen det lydlige, visuelle og haptiske i AR-stykker, slik som i Caitlin Fisher’s ‘Chez moi’ (2014), skaper det Lev Manovich (2001) kaller ‘hybrid spaces’ (‘hybridrom’).

I ‘Chez moi’ inviterer Fisher brukeren til å ta på seg hodetelefonene sine og se på en video på smarttelefonen sin mens de vandrer ned Hayden street i Toronto, hvor den lebiske baren Chez moi befant seg da Fisher var tenåring. Det audiovisuelle stykket utvider den fysiske virkeligheten til brukeren gjennom en montasje bestående av en ulike medieformer, som Fishers voice-over, bilder fra nyhetsrapporter, fiksjonell lyd og fiksjonelle bilder. Rytmen i Fishers stemme bestemmer brukerens gangfart, og ordene hennes bygger en fortid som inneholder et «skeivt rom».

Lyd befinner seg ofte i utkanten av det visuelle i brukernes erfaringer og i analytisk arbeid, forklarte Ceuterick, men lyden omslutter brukeren og lar henne fordype seg i et nytt (virtuelt) rom, og tilfører mening i brukerens fysiske og virtuelle miljø.

Førsteamanuensis Nadine Zoghbi (UiS) tok også for seg lyddimensjonen av AR og VR i sin presentasjon: “Hearing is believing: Sound design’s role in achieving immersion”.

LYD I AR OG VR: Maud Ceuterick (UiB) forklarer hvordan lyd kan være med på å skape et “queer space” (“skeivt rom”) i Augmented Reality (“utvidet virkelighet»). I midten: Lars Nyre (UiB). Til høyre: Bjørnar Tessem (UiB). Foto: Gunnhild Sofie Vestad.

Fortellerteknikk i AR og VR

Førsteamanuensis Jon Hoem (HVL) snakket om “Fortellerteknikk for sfæriske medier”. Hoem tok utgangspunkt i begrepet sfæriske medier, som kan forstås konkret (da knyttet til medier hvor representasjonen omslutter brukeren) men også som noe mer metaforisk, knyttet til hvordan ulike informasjonslag smelter sammen til det som fremstår som en samlet helhet, for eksempel en fortelling.

Noe av det viktigste en fortelling gjør, er å tillegge ulike hendelser og karakterer vekt, og fordele denne vektleggingen gjennom et tidsforløp, det vil si å tilføre dramaturgi. En forteller velger og vektlegger hendelser, karakterer og steder på en kompleks måte.

I situasjoner der valg overlates til brukeren, forsvinner noe av grunnlaget for fortellingen, med mindre fortelleren beholder en form for kontroll med sentrale hendelser (kjernehendelser). Kjerner betegner hendelser som er avgjørende for et bestemt plott. Et forløp som impliserer ulike former for valg må dermed lede brukeren innom disse hendelsene. Her kan en se for seg, mener Hoem, at en kunstig intelligens kan være med å lette et ganske komplekst arbeid knyttet til å holde orden på de ulike elementene i fortellingen.

GRUPPEDISKUSJONER: Tverrfaglige diskusjoner i plenum om AI Narrator. Fra venstre: Kjetil Vaage Øie (HVO), Øystein Jensen (UiS), Gunhild Ring Olsen (HVO). Foto: Gunnhild Sofie Vestad.

Diskusjoner om AI Narrator

Hver av de to seminardagene ble de faglige presentasjonene etterfulgt av diskusjoner i plenum.

Under seminaret spurte man seg hvordan humanistiske innsikter knyttet til subjektivitet og fortelling best kan benyttes til en kunstig intelligent “fortellermaskin” som kan lages av programutviklere.

Et gjennomgående tema for seminaret var også hvordan humanistiske vitenskaper kan bidra til en fortellende instans, helt eller delvis styrt av kunstig intelligens. Humanistiske tradisjoner har mye å bidra med i forhold til fortellerens rolle, fra hvilket ståsted det fortelles, med hva slags stemme det fortelles, innenfor hvilke sjangere og med hvilke tradisjoner det fortelles, med mer. Alt dette er premisser for de reglene som en AI Narrator må fungere innenfor.

Et annet spørsmål var hvordan anvendelse av teknologien positivt kan påvirke kunnskaper innen humaniora.

I tillegg diskuterte man videre noen av problemstillingene som ble tatt opp under forrige AI Narrator-seminar i november 2018. Eksempler på disse problemstillingene var:

1) Hva er hensikten med AI Narrator? Kan hensikten være å utforske det som er teknisk mulig, eller bør en ha et “større” prosjekt?

2) Hva finnes av eksisterende teknologier, og hvordan forholder en seg til dette?

3) Noen må, i en norsk kontekst, bidra til å skape alternativer til Google og Amazon. Dette er fordi man trenger denne type teknologi innenfor mange ulike yrker.

4) Skal fortellingene være fiksjon, ikke-fiksjon eller begge deler? Dette er et viktig spørsmål, ettersom ikke-fiksjon reiser en rekke etiske og juridiske problemstillinger.

Prosjektet må komme frem til en tverrfaglig forståelse av immersjon, og deretter bruke denne forståelsen til å skape den best mulige eller sterkeste immersive opplevelsen.

Prosjektet må også trolig utforske mange løsninger, for eksempel gjennom prototyper, før en kan begynne å lage selve maskinen. Gjennom maskinen vil det imidlertid komme nye problemstillinger til syne, som først avdekkes når denne blir konkretisert.

Seminarprogrammet

Torsdag 14. mars 2019

09.15 – 09.45. Cato Wittusen, UiS: “Subjektivitet og immersive fortellinger. Innledende spørsmål og betraktninger”.

09.45 – 10.15. Lars Nyre, UiB. “Vitnemaskina. Kan impliserte vitneposisjonar i nyheitene automatiserast?”.

10.30 – 11.00. Nadine Zoghbi, UiS. “Hearing is believing: Sound design’s role in achieving immersion”.

11.00 – 11.30. Veronica Blumenthal, UiS. “Immersjon i styrte besøksattraksjoner: Faser og involveringsnivåer i immersjonsprosessen”

11.30 – 12.00. Audun Klyve Gulbrandsen, UiB. “Håndskrift i Augmented Reality. En eksperimentell prototype”.

13.00 – 13.30. Joakim Vindenes, UiB. Omsluttethet, tilstedeværelse og legemsidentifikasjon i Virtual Reality. Informasjonsvitenskapelige og filosofiske perspektiv”.

13.30 – 14.00. John Richard Sageng, Game Philosophy Network. “Spillmekanikk og fiksjonelle handlinger i dataspill. Et filosofisk perspektiv på immersjon i interaktiv narrasjon.”

14.00 – 14.30. Petter Frost Fadnes, UiS. “Technocratic jazz coop. En maskin for innspilling, liv, død og subjektivitet»

14.45 – 15.15. Bjørnar Tessem, UiB. “Kan kunstig intelligens vere kreativ? Eit informasjonsvitskapleg perspektiv på AI Narrator”

15.15 – 16.30. Plenumsdiskusjon ved Lars Nyre.

Fredag 15. mars 2019

09.00 – 09.30. Jon Hoem, HVL: “Fortellerteknikk for sfæriske medier. Hvordan endres premissene for fortelling når mediene blir mer ‘medierike’, og deler av kontrollen overlates til andre enn ‘fortelleren’?”

09.30 – 10.00. Sigmund Trageton, UiS: “Det narrative paradoks i VR. Ei komparativ narrativ analyse av to VR-forteljingar.»

10.00 – 10.30. Maud Ceuterick, UiB: “Creation of a queer affirmative space through sound in augmented reality”.

10.45 – 12.00. Plenumsdiskusjon knyttet til AI Narrator ved Bjørnar Tessem.


Publisert: 28. juni 2019
linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram