Jag vill att Dunning-Kruger-effekten ska vara verklig. Först beskrivs i en inflytelserik 1999 papper av David Dunning och Justin Kruger, denna effekt har varit älskling journalister som vill förklara varför dumma människor inte vet att de är dumma. Det finns även video av en fantastisk pastiche av Turandots berömda aria, Nessun dorma, som förklarar Dunning-Kruger-effekten. ”De vet inte,” operasångaren slår ut på klimaxen, ” som de inte vet.,”

jag planerade att skriva en mycket kort artikel om Dunning-Kruger-effekten och det kändes som att skjuta fisk i ett fat. Här är effekten, hur den upptäcktes, vad det betyder. Slut på historien.

men när jag dubbelkollade den akademiska litteraturen började tvivel krypa in. Samtidigt som jag försökte förstå kritiken som hade jämnats vid den ursprungliga studien föll jag ner i ett kaninhål, talade till några statistikmedvetna människor, motsvarade sig med Dr Dunning själv och försökte förstå om vår hjärna verkligen var partisk för att överdriva vår kompetens i aktiviteter där vi suger…, eller om den berömda effekten bara var en hägring som orsakades av det märkliga sättet som vi kan spela med siffror.

har vi överdrivit vårt förtroende för Dunning-Kruger-effekten?

en missförstådd effekt

det viktigaste misstaget människor gör om Dunning-Kruger-effekten, enligt Dr Dunning, har att göra med vem som faller offer för det. ”Effekten handlar om oss, inte dem”, skrev han till mig. ”Lektionen av effekten handlade alltid om hur vi skulle vara ödmjuka och försiktiga med oss själva.”Dunning-Kruger-effekten handlar inte om dumma människor., Det handlar mest om oss alla när det gäller saker som vi inte är särskilt kompetenta på.

i ett nötskal definierades Dunning-Kruger-effekten ursprungligen som en bias i vårt tänkande. Om jag är hemsk på engelsk grammatik och blir tillsagd att svara på en frågesport som testar min kunskap om engelsk grammatik, skulle denna bias i mitt tänkande leda mig, enligt teorin, att tro att jag skulle få en högre poäng än jag faktiskt skulle. Och om jag utmärker mig vid engelsk grammatik, dikterar effekten att jag sannolikt skulle underskatta hur bra jag skulle göra., Jag kan förutsäga att jag skulle få en 70% poäng medan min faktiska poäng skulle vara 90%. Men om min faktiska poäng var 15% (för att jag är hemsk på grammatik) kanske jag tänker mer på mig själv och förutsäger en poäng på 60%. Denna skillnad är effekten, och det antas bero på ett specifikt problem med vår hjärnans förmåga att bedöma sina färdigheter.

detta är vad studentdeltagarna gick igenom för Dunning och Krugers forskningsprojekt i slutet av 1990-talet. det fanns bedömningar av grammatik, humor och logisk resonemang., Alla fick frågan hur bra de trodde att de gjorde och alla var också graderade objektivt, och de två jämfördes.

sedan dess har många studier gjorts som har rapporterat denna effekt på andra kunskapsområden. Dr Dunning säger att han tror att effekten ” har mer att göra med att vara felinformerad snarare än oinformerad.”Om jag får frågan kokpunkten av kvicksilver, är det klart att min hjärna inte håller svaret. Men om jag får frågan vad som är Skottlands huvudstad, kanske jag tror att jag vet tillräckligt för att säga Glasgow, men det visar sig att det är Edinburgh., Det är felaktig information och det trycker ner på förtroendeknappen i min hjärna.

så fallet stängt, eller hur? Tvärtom. I 2016 och 2017 publicerades två papper i en matematikdagbok kallad Numeracy. I dem hävdade författarna att Dunning-Kruger-effekten var en mirage. Och jag brukar hålla med.

effekten är i bullret

de två tidningarna, av Dr.Ed Nuhfer och kollegor, hävdade att Dunning-Kruger-effekten kunde replikeras genom att använda slumpmässiga data. ”Vi trodde då att papperet var giltigt”, sa Dr Nuhfer till mig via e-post., ”Resonemanget och argumentet gjorde bara så mycket mening. Vi bestämde oss aldrig för att motbevisa det; vi var till och med fans av det papperet.”I Dr Nuhfers egna papper, som använde både datorgenererade data och resultat från faktiska personer som genomgår ett vetenskapligt läskunnighetstest, motbevisade hans team påståendet att de flesta som är okvalificerade är omedvetna om det (”ett litet antal är: vi såg ca 5-6% som passar det i våra data”) och visade istället att både experter och nybörjare underskattar och överskattar sina färdigheter med samma frekvens. ”Det är bara att experter gör det över ett smalare intervall”, skrev han till mig.,

omsluta min hjärna runt allt detta tog veckor. Jag rekryterade en man-och-hustru team, Dr. Patrick E. McKnight (från Institutionen för Psykologi vid George Mason University, också i den rådgivande styrelsen för Mening Om Vetenskap och STATS.org) och Dr Simone C. McKnight (från Global System Technologies, Inc.), för att hjälpa mig att förstå vad som pågick. Patrick McKnight trodde inte bara på förekomsten av Dunning-Kruger-effekten: han undervisade den för att varna sina elever för att vara medveten om vad de faktiskt visste mot vad de trodde att de visste. Men efter att ha replikerat Dr., Nuhfers resultat med hjälp av en annan plattform (det statistiska datorspråket R istället för Nuhfers Microsoft Excel) blev han övertygad om att effekten bara var en artefakt för hur det som mättes verkligen mättes.

vi hade långa samtal över detta som jag höll trycka tillbaka. Som skeptiker lockas jag lätt av berättelser av den typen ” allt du vet om detta är fel.”Det är min bias. För att övervinna det spelade jag devil ’ s advocate med McKnights för att se till att vi inte glömde något., Varje gång jag kände min förståelse kristallisera, tvivel skulle krypa i nästa dag och min diskussion med McKnights skulle återupptas.

jag nådde äntligen en punkt där jag var ganska säker på att Dunning-Kruger-effekten inte hade visat sig vara en bias i vårt tänkande men var bara en artefakt. Här är den enklaste förklaringen jag har för varför effekten verkar vara verklig.

för att en effekt av mänsklig psykologi ska vara verklig kan den inte replikeras noggrant med slumpmässigt brus., Om den mänskliga hjärnan var predisponerad för att välja huvuden när ett mynt vänds, kan du jämföra detta med slumpmässiga förutsägelser (huvuden eller svansar) gjorda av en dator och se bias. En människa skulle kalla fler huvuden än datorn skulle eftersom datorn gör slumpmässiga satsningar medan människan är partisk mot huvuden. Med Dunning-Kruger-effekten är detta inte fallet. Slumpmässiga data efterliknar faktiskt effekten riktigt bra.

effekten som ursprungligen beskrevs 1999 använder sig av en mycket märklig typ av diagram., ”Den här grafen, som jag vet, är ganska ovanlig för de flesta Vetenskapsområden,” berättade Patrick McKnight för mig. I det ursprungliga experimentet tog eleverna ett test och blev ombedda att gissa deras poäng. Därför hade varje elev två datapunkter: poängen de trodde att de fick (självbedömning) och poängen de faktiskt fick (prestanda). För att visualisera dessa resultat separerade Dunning och Kruger alla i kvartiler: de som utförde i botten 25%, de som gjorde i topp 25% och de två kvartilerna i mitten., För varje kvartil ritades den genomsnittliga resultatpoängen och den genomsnittliga självbedömda poängen. Detta resulterade i den berömda Dunning-Kruger grafen.

ritade på detta sätt, det ser ut som de i botten 25% trodde att de gjorde mycket bättre än de gjorde, och de i topp 25% underskattade deras prestanda. Denna observation troddes bero på den mänskliga hjärnan: de okvalificerade är omedvetna om det., Men om vi tar bort den mänskliga hjärnan från ekvationen får vi det här:

ovanstående Dunning-Kruger-graf skapades av Patrick McKnight med hjälp av datorgenererade resultat för både självbedömning och prestanda. Siffrorna var slumpmässiga. Det fanns ingen bias i kodningen som skulle leda dessa fiktiva studenter att gissa att de hade gjort riktigt bra när deras faktiska poäng var mycket låg. Och ändå kan vi se att de två linjerna ser kusligt ut som Dunning och Krugers seminal experiment. En liknande simulering gjordes av Dr., Phillip Ackerman och kollegor tre år efter det ursprungliga Dunning-Kruger-papperet, och resultaten var liknande.

att mäta någons uppfattning om någonting, inklusive sina egna färdigheter, är fylld av svårigheter. Hur bra jag tror att jag gjorde på mitt test idag kan förändras om det hela gjordes i morgon, när mitt humör kan skilja sig och mitt självförtroende kan vackla. Denna mätning av självbedömning är således i viss utsträckning opålitlig., Denna otillförlitlighet-ibland massiv, ibland inte-innebär att varje sann psykologisk effekt som existerar kommer att mätas som mindre i samband med ett experiment. Detta kallas dämpning på grund av otillförlitlighet. ”Poäng av böcker, artiklar och kapitel lyfter fram problemet med mätfel och försvagade effekter”, skrev Patrick McKnight till mig. I sin simulering med slumpmässiga mätningar blir den så kallade Dunning-Kruger-effekten faktiskt mer synlig när mätfelet ökar., ”Vi har ingen instans i historien om vetenskaplig upptäckt,” fortsatte han, ” där ett fynd förbättras genom att öka mätfel. Ingen.”

bryta förtrollningen

När jag pluggar ”Dunning-Kruger effect” I Google News, får jag över 8 500 träffar från medier som New York Times, New Scientist och CBC. Så många stöder helt enkelt effekten som en riktig bias i hjärnan, så det är inte konstigt att människor inte är medvetna om den akademiska kritiken som har funnits sedan effekten publicerades först. Det är inte bara Dr Nuhfer och hans Räknepapper., Andra akademiska kritiker har pekat fingret, till exempel vid regression till medelvärdet.

men som Patrick McKnight påpekar sker regression till medelvärdet när samma åtgärd tas över tiden och vi spårar dess utveckling. Om jag tar min temperatur varje morgon och en dag spikar en feber, kommer samma åtgärd (förhoppningsvis) att gå ner nästa dag och återgå till sitt medelvärde när min feber minskar. Det är regression till medelvärdet., Men i samband med Dunning-Kruger-effekten mäts ingenting över tiden, och självbedömning och prestanda är helt olika åtgärder, så regression till medelvärdet bör inte tillämpas. Den otillförlitliga självbedömningsmätningen i sig är dock en stark utmanare att förklara en bra bit av vad Dunning, Kruger och andra forskare som sedan rapporterat denna effekt i andra sammanhang faktiskt beskrev.

den här historien är inte över., Det kommer utan tvekan att spillas mer bläck i akademiska tidskrifter över denna fråga, vilket är en hälsosam del av vetenskaplig forskning trots allt. Att studera protoner och elektroner är relativt lätt eftersom dessa partiklar inte har ett eget sinne.att studera mänsklig psykologi är i jämförelse mycket svårare eftersom antalet variabler som jongleras är otroligt högt. Det är således verkligen lätt för fynd i psykologi att visas verkliga när de inte är.

finns det dumma människor som inte inser att de är dumma? Visst, men det var aldrig vad Dunning-Kruger-effekten handlade om., Finns det människor som är mycket självsäkra och arroganta i sin okunnighet? Absolut, men även här mätte Dunning och Kruger inte förtroende eller arrogans 1999. Det finns andra effekter som är kända för psykologer, som övertroende bias och bättre än genomsnittet bias (där de flesta bilförare tror sig vara långt över genomsnittet, vilket inte gör någon matematisk mening), så om Dunning-Kruger effekten övertygande visat sig vara ingenting annat än en hägring, betyder det inte att den mänskliga hjärnan är fläckfri., Och om forskare fortsätter att tro på effekten inför tung kritik, är detta inte ett paradoxalt exempel på Dunning-Kruger-effekten. I de ursprungliga klassiska experimenten fick eleverna ingen feedback när de gjorde sin självbedömning. Det är rättvist att säga att forskare befinner sig i en annan position nu.

orden ”Dunning-Kruger effect” har utövats som en besvärjelse av journalister och skeptiker i flera år för att förklara bort dumhet och inkompetens. Det kan vara dags att bryta förtrollningen.,

Take-home message:
– Dunning-Kruger-effekten beskrevs ursprungligen 1999 som observationen att människor som är hemska vid en viss uppgift tycker att de är mycket bättre än de är, medan människor som är mycket bra på det tenderar att underskatta sin kompetens
– Dunning-Kruger-effekten handlade aldrig om ”dumma människor som inte vet att de är dumma” eller om att ”okunniga människor är mycket arroganta och självsäkra i sin brist på kunskap.,”
– eftersom effekten kan ses i slumpmässig, datorgenererad data, kan det inte vara en riktig fel i vårt tänkande och därmed kanske inte riktigt existerar

@CrackedScience