Om Covid-hundar och kravet på tolkningsbarhet

För någon månad sen skrev jag ett inlägg om tolkningsbarhet. Det var huvudsakligen en recap av en artikel på The Gradient. När jag nu läser om de finska covid-hundarna – som är tränade att känna igen lukten av en Covid-sjuk person så får jag ett utmärkt exempel på vad som är viktigt när det gäller tolkningsbarhet och artificiell intelligens. I det här fallet handlar det ju inte om artificiell intelligens, utan om ett tränat biologiskt neuronnät – hundarnas luktsinne.

Även om vissa hundars förmåga är fantastisk, och tycks ha bättre träffsäkerhet än PCR-testerna, så skulle det ändå kännas olustigt att få ett beslut (eller rekomendation, jag är osäker på hur de finska inresereglerna ser ut) om karantän, baserat på en hunds nos. Hur överklagar man ett sådant beslut? Ett sätt är ju förstås att göra ett PCR-prov, där en vetenskaplig förkaring med detekterad arvsmassa från virus beläggs eller inte. Om testet är inte ger tillräcklig konfidens, går det att repetera.

Det troliga med hundarnas nosar, är att de inte känner av själva viruset, utan någonting som kroppen utsöndrar när den är infekterad av viruset. Så länge man inte vet vad detta är finns alltid risken att problemet är felspecat. Så länge man inte kan fråga hunden går det inte att veta om den markerar för något annat.

Ett tal och en tidsanda

Det avslutningstal som Richard Feynman höll under CalTech-studenternas avslutning 1974 känns både aktuellt och bedagat: stöpt i den (amerikanska) efterkrigsperiod som skapade 60-talets counter-culture-rörelse. Talet handlar om vetenskaplighet och om integritet – budskap som inte blir omoderna. Feynman tar upp hur en vetenskaplig metod bör kunna korroboreras med något nytt, något utöver grundpremisserna för tesen man utgick från. Experiment måste vara repeterbara, framförallt av någon annan, med andra premisser eller indata.

(Jag kommer att tänka på hur det ”vanliga” sättet att verifiera maskininlärning faktiskt faller in under den här vetenskapligheten. Typiskt så har man ju en samling indata som används för att träna sin algoritm (ett träningsset), och sen tittar man på vad man får för resultat när man använder en annan samling indata (ett testset eller valideringsset), och utvärderar algoritmen utifrån detta.)

Den jargong, de liknelser och de personer och tidsmarkörer som dyker upp i talet, är de som jag blir mest intresserad av.

Any time you find yourself in a conversation at a cocktail party—in which you do not feel uncomfortable that the hostess might come around and say, “Why are you fellows talking shop?’’ or that your wife will come around and say, “Why are you flirting again?”—then you can be sure you are talking about something about which nobody knows anything.

Det är cocktail-partyn och vänsterprassel, värdinnor som manar folk till att inte prata jobb. Det är ett antal pseudovetenskapliga exempel – zonterapi, parapsykologi, ESP – som Feynman själv har förstahandserfarenhet av. Han träffar till och med Uri Geller för att se om skedböjandet fungerar (det gör det inte). Jag har väldigt svårt att tänka mig en nutida Feynman som är så öppen inför världen och alla dess tokerier, och jag tror det har med tidsandan att göra.

På andra sätt blir de små anekdoter och kommentarer som han lättar upp talet med ytterligare indikatorer om vad som förändrats. I en bisats tar han upp att han inte berättar för dem hur de ska bedra sina fruar eller flickvänner. På ett annat ställe hur vissa etiska dilemman är en sak man bara tar upp med sin rabbin. Att den tänkta åhöraren var manlig på en teknisk högskola i Californien 1974 är väl inte oväntat, men var den också judisk? Eller också är det sig själv Feynman talar om.

Om Forumbiblioteket

Man visste ju att Lars Jakobson gillade Forumbiblioteket. Flera av hans böcker har ju lånat bokseriens klassiska layout. Idag hittade jag att han också skrivit en snutt om samlingen på Litteraturbanken.

Själv har jag tyvärr bara ett par titlar (André Gides Falskmyntarna och Ivan Turgenjevs En jägares dagbok) i mina hyllor.

Att uppfylla krav, men ändå inte…

Läser denna artikel om specification gaming och hittar detta.

Any task specification has a physical manifestation: a reward function stored on a computer, or preferences stored in the head of a human. An agent deployed in the real world can potentially manipulate these representations of the objective, creating a reward tampering problem. For our hypothetical traffic optimisation system, there is no clear distinction between satisfying the user’s preferences (e.g. by giving useful directions), and influencing users to have preferences that are easier to satisfy (e.g. by nudging them to choose destinations that are easier to reach). The former satisfies the objective, while the latter manipulates the representation of the objective in the world (the user preferences), and both result in high reward for the AI system. 

Ett annat exempel är ju de stora sociala nätverken vars algoritmer belönas av klick. Istället för att algoritmerna hittar det mest intressanta innehållet åt sina användare, kan de komma att ändra på användarna – genom att t.ex. skapa politisk polarisering och konflikt – helt enkelt göra klickboskap av oss.

Tolkningsbarhet vid maskininlärning

Jag scrollar nästan dagligen igenom rubrikerna på hacker news, ögnar igenom 2-3 artiklar, och läser kanske någon helt och hållet. Ibland blir de liggande några månader i en webbläsar-flik. Eftersom jag numera jobbar inom ett fält som kan klassas som AI-nära var den här artikeln, nu när jag tog mig tid att läsa den, väldigt intressant och lärorik. Här är några sammanfattande ord, på svenska.

• Tolkningsbarhet vid maskininlärning handlar om att förstå hur beslut tas.
• Tolkningsbarhet vid maskininlärning är viktigt på grund av att det:
  • Skapar förtroende för en modell eller applikation – utan att förstå hur och varför ett beslut togs är det svårt för oss som människor att lite på det.
  • Gör att vi säkert vet att modellen inte fuskar, eller gör något annat än vi vill. Vi kan ju ha specat problemet fel eller otillräckligt.
  • Är en förutsättning för att ifrågasätta beslut.
• Tolkningsbarhet kan delas up i transparent tolkningsbarhet (tolkning av modellen före träning) och post-hoc tolkningsbarhet (tolkning av modellen efter träning).
• Tre frågor att ställa gällande transparent tolkningsbarhet:
  • Är modellen simulerbar för en människa?
  • Kan modellen brytas ned så att den är tolkningsbar i varje delkomponent?
  • Kommer algoritmen i sig garantera någonting?
• Frågor att ställa gällande post-hoc tolkningsbarhet:
  • Kan modellen förklara sitt (tagna) beslut i termer av mänskligt språk? Här kan man få problem med att modellen kan optimera mot att förklara så att förklaringen låter trolig för en människa istället för att vara en faktisk förklaring över varje steg i beslutskedjan den tagit.
  • Kan modellen identifiera vad som var viktigt för dess beslut?
  • Kan modellen identifiera vad i dess träningsdata som spelade roll för just det beslut som tagits?
• Det finns ofta en konflikt mellan prestanda och tolkningsbarhet.

Nystart?

Funderar på att starta upp detta sporadiska bloggande igen. Återigen med fokus på saker jag läst, men kanske mer varierat innehåll nu.

Hundhuvud x 3

Sankt Kristoffer enligt ikon från Bysans, Kill (eller helt enkelt ”Hundhuvudet”) från Mœbius och Jodorowskys Inkalen, Amerikaner i allmänhet i Spiegelmans Maus. Se även kynokephalier.

Om öbor

En ö kan bli förfärlig för den som nalkas utifrån. Allting är färdigt, var och en har sin plats, egensinnigt, lugnt och självtillräckligt. Innanför deras stränder fungerar allt enligt ritualer som är stenhårda av upprepning och samtidigt strövar de igenom sina dagar så nyckfullt och tillfälligt som om världen tog slut vid horisonten.

Ur Tove Janssons Sommarboken.

Flanörens och tankens frihet

Introspektion utmålas ofta som något man ägnar sig åt inomhus och i ensamhet, som munken i sin cell, författaren vid sitt skrivbord. Woolf är av en annan mening och säger om hemmet: ”För där sitter vi omgivna av ting som … förstärker minnena av vår egen erfarenhet.” Hon beskriver föremålen och konstaterar sedan: ”Men när dörren slår igen bakom oss försvinner allt det där. Det skyddande skal som våra intre jag har utsöndrat för att härbärgera dem, för att de genom sin form skall skilja sig ifrån andra, det bryts ner, och av alla dessa skryknklor och skrovligheter återstår bara ett ostron med perceptionsförmåga, ett enda enormt öga. Vad en gata är vacker på vintern!”

Ur Rebecca Solnits essä ‘Woolfs mörker’ i Män förklarar saker för mig.

Hagelbössa! och språkets detaljer

Häromdagen berättade några kollegor om något de sett på facebook: en amerikan som jobbar i samma organisation hade fått problem med flygplatspolisen för att han ropat ”Shotgun” när han skulle kliva på ett plan. Ganska snart framgick det att jag förstod poängen, och mina kollegor inte. Vår amerikanska kollega refererade förstås till det väldigt amerikanska sättet (spelet?) att paxa framsätet när man ska åka bil. Den som ropar ”Shotgun” först får helt enkelt sitta bredvid föraren (något som tydligen har sin grund i Vilda Västerns diligenser, där personen bredvid kusken var beväpnad med gevär mot eventuella överfall). Det var väldigt märkligt att de berättade en historia som jag fick förklara poängen med för dem, och jag började fundera lite på hur oerhört mycket bakgrundsinformation man egentligen behöver för att verkligen förstå något helt och fullt (om det överhuvud taget är möjligt?).

De senaste dagarna har jag själv fått utökad förståelse genom att lära mig bakgrunden till några litterära titlar. Jag har egentligen aldrig reflekterat över Lars Noréns pjästitlar ”Natten är dagens mor” och ”Kaos är granne med Gud” förut, förutom att de är vackra och kärnfulla. Nu lärde jag mig att de hör ihop i form av slutraden i Erik Johan Stagnelius dikt ”Vän! i förödelsens stund”. Strofen lyder:

Därföre gläds, o vän! och sjung i bedröfvelsens mörker:
Natten är dagens mor, Chaos är granne med Gud.

Allmänbildningen innehåller myriader sådana här kopplingar. Nu alldeles nyss upptäckte jag att J.T. Leroys roman ”Hjärtat är bedrägligast av allt” inte bara lånat titeln från Gamla Testamentet (Jeremia 17:9) utan även att dess huvudperson genom sitt namn (Jeremiah) refererar dit.