Charlatanry in forensic speech science: A problem to be taken seriously

Karin Bojs skriver i dagens DN:s nätupplaga (http://www.dn.se/DNet/jsp/polopoly.jsp?d=597&a=868300) om Anders Erikssons och min artikel ”Charlatanry in forensic speech science: A problem to be taken seriously”. I vår artikel analyserar vi principerna på vilka Nemesisco:s (http://www.nemesysco.com) bygger sin ”Voice Analysis Technology” och vi finner att den redovisade metoden kan, helt enkelt, inte fungera. Med de mätningarna av talsignalen som metoden bygger på är det inte ens fråga om att den s.k. Layered Voice Analysis (LVA) skall kunna fungera i en viss procent av fallen! Det finns ingen som helst relation mellan de måtten som metoden bygger på och de slutsatserna som man vill dra av dessa mätningar. Det förklarade vi i vår artikel, och företaget gillade tydligen inte våra slutsatser.
Men att studera den godtyckliga metoden som företaget har använt sig av är naturligtvis ingen intressant forskningsfråga. Det krävs inte mera än rudimentära kunskaper i akustisk fonetik för att inse att det inte kan finnas någon relation mellan de egenskaperna hos talets akustiska signal som metoden bygger på och sanningshalten i det som sägs. Metoden bygger på beräkningar av ”vändningar” (thorns) och ”stabila områden” (plateaus) hos vågformen. Dessa detaljer hos vågformen påverkas kraftigt av rumsakustik och bakgrundsbuller. Ljudvågorna som kommer från en talares talapparat blandas med reflektioner från tidigare producerade ljudvågor som reflekteras av väggarna, golvet, taket och andra föremål i rummet och blandas dessutom med andra bakgrundsljud. Antalet vändningar och stabila områden som Nemesisco:s system har tillgång till är en fullständig blandning av alla slags ljudvågor, där ljudvågorna som talaren faktiskt producerade är bara en del av helheten. Situationen liknar ett försök att härleda simrörelserna hos ett enskilt barn genom att räkna antal toppar och dalar i en simbassängs vattenyta där samtidigt ett stort antal barn leker i vattnet. I teori skulle det kunna gå, om man hade tillräckligt detaljerad beskrivning av vattenytan, både i tid och rum, och dessutom en adekvat matematiskt modell av relationen mellan kroppsrörelserna och vågorna på vattenytan.  Tyvärr finns i Nemesisco:s metod varken en modell eller tillräckligt mätnoggrannhet för att överhuvudtaget kunna relatera den analyserade vågformen med det som talaren har sagt. Metoden ter sig mera som en slags godtycklig beräkning à la Uppfinnare Jocke. Det är då inte konstigt att systemen fungerar ”lika bra” oavsett om det används på flygplatser, i pubar, ute i trafiken, osv. Politikerna i Storbritannien bör ha ställt sig frågan om hur det kan vara så att Nemesysco:s system klarar av ogynnsamma akustiska miljöer som deras egna röststyrda mobiltelefoner har så svårt att hantera… Skulle det kunna vara för att Nemesysco:s system inte klarar av någon alls? LVA duger, i bästa fall, för underhållning men att försöka presentera en sådan metod som grund för tillämpningar inom säkerhetstjänster, medicin, utbildning, osv. är mycket allvarligt, i synnerhet när inskaffningen av sådan ”teknologi” skall finansieras med skattemedel.
Ur forsknings perspektiv är studien av den s.k. LVA metoden i sig helt ointressant men som forskare är vi moraliskt skyldiga att ställa upp med vår kunskap för att avslöja något som, till bevis om motsatsen ter sig som ren bluff och som dessutom marknadsförs som något av samhälligt intresse. Den typ av marknadsföring måste naturligtvis kontras med kunskap hos potentiella köpare. Vi kan naturligtvis ha fel i vår analys, men den har redovisats på ett klart sätt som möjliggör för Nemesysco att bemöta våra synpunkter med vetenskapliga argument som motbevisar vår analys. Än så länge finns helt enkelt ingen vetenskaplig fråga att diskutera och metoden verkar inte ha någon som helst anknytning till det tillverkarna påstår att den gör och det finns ingen logisk princip bakom det hela. Utan en övertygande förklaring av själva principen är påståenden om ”träffsäkerheten” helt ovidkommande. Dessutom ger träffsäkerheten i sig ingen intressant information. Den måste alltid sättas i relation till antal falskalarm som är förenade med just denna träffsäkerhet. Om falskalarm går hand i hand med antal träffar är systemet inte pålitligt. Det krävs högt antal träffar samtidigt som falskalarms antal är lågt.
För mera information se också:
http://ling-map.ling.su.se/blog/ (Postat kl 17:09 den 11 december 2008 av Eva Lindström)
http://www.diva-portal.org/su/opus/publication.xml?id=13316
doi:10.1558/ijsll.2007.14.2.169

About Francisco Lacerda

Professor Member of The Royal Swedish Academy of Sciences
This entry was posted in Nemesysco and the LVA-technology and tagged . Bookmark the permalink.

10 Responses to Charlatanry in forensic speech science: A problem to be taken seriously

  1. Björn Carlsson says:

    Men varför ser ni inte till att sprida den via nätet istället så stort som möjligt och få upp den på ett antal blogsidor och nyhetssidor, men jag antar att det är det som ni håller på med nu? Än så länge så går det ju inte riktigt att stoppa det, även om politiker/kommersiella intressen jobbar hårt på det..

    Publicera den på nätet och släpp den fri och skicka till så måna ställen som möjligt helt enkelt.

  2. Inger E Johansson says:

    Det jag reagerar på, är inte i sig OM Er artikel är vetenskapligt korrekt eller ej, vilket jag förutsätter att den är, utan hur en vetenskaplig tidskrift kan riskera sitt rykte som oberoende vetenskapligt, om den inte ger Er rätten att få veta de sk. felaktigheterna och bemöta dessa i vanlig vetenskaplig ordning. Mycket märkligt.

    Det gör att jag börjar fråga mig är “The international journal of speech, language and the law”, som jag aldrig hört talas om eftersom den går över mitt huvud, i grunden vetenskaplig tidskrift?

  3. Francisco Lacerda says:

    Anledningen till att vi inte har artikeln direkt på nätet är att vi inte vill bjuda Nemesysco på samma diversionsmanöver som det hade mot Equinox. Företaget försöker göra det hela till ett fall av förtal eftersom vi använder ordet “charlatanry” och analyserar profilen av företagets grundare. Så fort vi hinner (det här är viktig men tar tid från väsentliga forskningsfrågor) kommer vi att redigera om artikeln för att avslöja metoden med pedagogiska förklaringar och rikta oss till en bredare läsarkrets. Den nya versionen kommer vi att se till att cirkulera på bredfront, och försöka få den publicerad i en vetenskaplig tidskrift (vilket kan vara svårt för att det rör sig egentligen inte om någon vetenskaplig fråga). Versionen som nu Equinox har tagit bort från webben kan man få direkt från Anders Eriksson eller mig (frasse_@_ling.su.se, ta bort underscore för att få den riktiga adressen).

  4. Francisco Lacerda says:

    Mycket relevant invändningen men det är inget fel med själva tidskriften, som tillhör en seriös internationell organisation. Materialet som publiceras i tidskriften är referee-granskat av anonyma experter i området, som säkrar den vetenskapliga kvalitén av det som publiceras. Så var fallet med denna artikel. Den har granskats av två eller tre för oss okända bedömare, utöver själva chefsredatörerna. Vi fick, i vanlig ordning, en del kommentarer och frågor som vi måste svara på för att överhuvudataget kunna komma i fråga för publicering. Problemet ligger inte hos IJLL utan hos Equinox, förlaget som publicerar tidskriften, som är den stora förlorare och som kommer att behöva arbeta hårt för att reparera sitt anseende. Det har verkligen visat sig inte leva upp till vad som skulle förväntas av ett förlag som publicerar vetenskapliga tidskrifter. Kontroverser kring forskningsresultat är vardagsmat i forskningssammanhang, särskilt inom naturvetenskapen. Det lilla förlaget som publicerar IJLL har visat sig alldeles för svag för att publicera en vetenskaplig tidskrift och det kan knappast fortsätta att ge ut IJLL efter att ha gjort bort sig på detta sätt.

  5. Anders Eriksson says:

    Att lägga ut artikeln på nätet är inte helt okomplicerat. Det är nämligen så att förlaget, Equinox, har copyright på den och det använder de nu som vapen mot oss. De har helt enkelt förbjudit varje form av återpublicering och det kan de tyvärr göra med upphovsrättslagen på sin sida. Fullkomligt svinaktigt naturligtvis, men det skulle inte gynna vår sak i det här läget att bli indragna i en strid om upphovsrätt. Därför måste vi hitta en lösning där vi kan kringgå detta, men på rätt sida om lagen. Att använda samma material men i en nyskriven artikel skulle vara ett sätt, men det kan finnas andra. Vi får fundera på det. Vad vi kan göra omedelbart är däremot att skicka personliga kopior till dem som hör av sig. Den rätten har vi. Och skulle någon annan får för sig att lägga ut den så är det ju inte mycket vi kan göra åt den saken.

  6. Francisco Lacerda says:

    Du har helt rätt och jag håller med. Jag tänkte i första han på företaget men visst finns även förlaget med i spelet och vi skall inte skapa onödiga problem genom att göra någon form av spridning som bryter mot vårt publiceringskontrakt. Vi har inte gjort något som strider mot det och vi får helt enkelt fortsätta att använda vårt rätt till att distribuera personliga kopior till de som är intresserade.

  7. Joakim Rönngren says:

    Dr Bojs och DN har lyft in er schism med näringslivet i en medielogik som snarare handlar om Israel än om saken. Ett vanligt förförelseknep från opinionsbildare. Det är utmärkt om er artikel kan medverka till större rättssäkerhet för den enskilde. Det är utmärkt om ni därigenom slår sönder kvacksalveri. Låt er dock inte luras in i ett antisemitiskt argument. Det är exakt vad som sker i rapporteringen just nu.

  8. Martin Pallander says:

    Det är svårt att inte applådera Nemsysco för deras märkliga hantering av ärendet. De flesta vet ju att den här typen av forskning kan ta god tid på sig att nå en bredare massa. I stället har man gjort en så stor skandal av det hela att det knappast kan ha undgått någon berörd part.

  9. Gabriel Liljenström says:

    Jag kan inte nog understryka hur tacksam jag är för att ni står på er i debatten kring denna forskningsrapport. Det vi bevittnar är en skrämmande attack mot såväl den fria forskningen som yttrandefriheten. För min och mina barns framtids skull är det av största vikt för mig att ni vinner mot detta företag av symboliska skäl. Att ett företag som Nemesysco är rädda för er har naturligtvis att göra med att de inte har vetenskapliga argument att sätta emot. Hade man haft det skulle man kunnat hänvisa till studierna och nöjt sig med att folk själva fick bedöma företagets trovärdighet. Jag anser även att Sverige som nation bör ta er forskningsfrihet i försvar och stå som garant för att ett eventuellt åtal aldrig påverkar vare sig er framtida forskning eller på något sätt innebär konsekvenser för er personligen. Jag är bedrövad över att ni överhuvudtaget ska behöva känna er hotade av ett israeliskt företag.

    MVH

    Gabriel Liljenström

  10. Francisco Lacerda says:

    Med anledning av Joakim Rönngrens kommentar om kopplingen till antisemitism vill jag bara understrycka att jag tar stark avstånd från dessa vändningar. Vi är forskare som granskade en metod som visade sig inte ha några grunder. Att det råka ha framställts av en person i Israel är fullständigt ovidkommande.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s