eu quero que o efeito Dunning-Kruger seja real. Descrito pela primeira vez em um artigo seminal de 1999 por David Dunning e Justin Kruger, este efeito tem sido o querido dos jornalistas que querem explicar por que as pessoas burras não sabem que são burras. Há até um vídeo de um fantástico pastiche da famosa ária de Turandot, Nessun dorma, a explicar o efeito Dunning-Kruger. “Eles não sabem,” o cantor de ópera corre no clímax, “que eles não sabem.,”

I was planning on writing a very short article about the Dunning-Kruger effect and it feel like shooting fish in a barrel. Eis o efeito, como foi descoberto, o que significa. Fim da história.mas como verifiquei a literatura académica, a dúvida começou a aparecer. Enquanto tentava entender as críticas que haviam sido feitas no estudo original, eu caí de um buraco de coelho, falei com algumas pessoas com mentalidade estatística, correspondia-se com o próprio Dr. Dunning, e tentou entender se o nosso cérebro realmente era tendencioso para exagerar a nossa competência em atividades nas quais não prestamos…, ou se o celebrado efeito foi apenas uma miragem provocada pela forma peculiar como podemos brincar com números.temos exagerado a nossa confiança no efeito Dunning-Kruger?

um efeito mal compreendido

o erro mais importante que as pessoas cometem sobre o efeito Dunning-Kruger, de acordo com o Dr. Dunning, tem a ver com quem é vítima dele. “O efeito é sobre nós, não sobre eles”, escreveu-me. “A lição do efeito sempre foi sobre como devemos ser humildes e cautelosos sobre nós mesmos.”O efeito Dunning-Kruger não é sobre pessoas burras., É principalmente sobre todos nós quando se trata de coisas em que não somos muito competentes.

In a nutshell, the Dunning-Kruger effect was originally defined as a bias in our thinking. Se eu fosse terrível na gramática inglesa e me dissessem para responder a um questionário testando meu conhecimento da gramática inglesa, esse preconceito em meu pensamento me levaria, de acordo com a teoria, a acreditar que eu teria uma pontuação mais alta do que eu realmente teria. E se eu me destacar na gramática inglesa, o efeito dita que eu provavelmente subestimaria um pouco o quão bem eu faria., Posso prever que teria uma pontuação de 70% enquanto a minha pontuação real seria de 90%. Mas se minha pontuação real foi de 15% (Porque eu sou terrível na gramática), eu poderia pensar mais alto de mim mesmo e prever uma pontuação de 60%. Esta discrepância é o efeito, e pensa-se que seja devido a um problema específico com a capacidade do nosso cérebro para avaliar suas habilidades.isto foi o que os participantes estudantis passaram pelo Projeto de pesquisa de Dunning e Kruger no final da década de 1990. houve avaliações da gramática, do humor e do raciocínio lógico., Foi perguntado a todos o quão bem eles pensavam que faziam e todos também foram avaliados objetivamente, e os dois foram comparados.

desde então, muitos estudos têm sido feitos que relataram este efeito em outros domínios do conhecimento. O Dr. Dunning disse-me que acredita que o efeito “tem mais a ver com ser mal informado do que desinformado”.”Se me perguntarem o ponto de ebulição de mercúrio, é claro que o meu cérebro não tem a resposta. Mas se me perguntarem qual é a capital da Escócia, acho que sei o suficiente para dizer Glasgow, mas acontece que é Edimburgo., Isso é desinformação e está a pressionar o botão de confiança no meu cérebro.caso encerrado, certo? Pelo contrário. Em 2016 e 2017, dois artigos foram publicados em um jornal de matemática chamado Numeracy. Neles, os autores argumentaram que o efeito Dunning-Kruger era uma miragem. E tenho tendência a concordar.

the effect is in the noise

The two papers, by Dr. Ed Nuhfer and colleagues, argued that the Dunning-Kruger effect could be replicated by using random data. “Todos então acreditávamos que o jornal era válido”, disse o Dr. Nuhfer por e-mail., “O raciocínio e o argumento faziam tanto sentido. Nunca nos dispusemos a refutá-lo; éramos até fãs daquele jornal.”Dr. Nuhfer próprios papéis, no qual são utilizados os gerados por computador, dados e resultados de reais de pessoas que estão passando por uma alfabetização científica de teste, sua equipe refutou a alegação de que a maioria das pessoas que são trabalhadores não qualificados não estão cientes de que um pequeno número são: vimos cerca de 5-6% que se ajustam que, em nossos dados”) e, em vez disso, mostrou que tanto a especialistas e novatos subestimar e superestimar suas habilidades com a mesma frequência. “É que os especialistas fazem isso em uma escala mais estreita”, ele me escreveu.,envolver o meu cérebro levou semanas. Eu recrutei uma equipa de marido e mulher, O Dr. Patrick E. McKnight (do Departamento de Psicologia da Universidade George Mason, também no Conselho Consultivo de senso sobre Ciência e STATS.org) and Dr. Simone C. McKnight (from Global Systems Technologies, Inc.), para me ajudar a entender o que estava acontecendo. Patrick McKnight não só acreditava na existência do efeito Dunning-Kruger: ele estava ensinando-o a avisar os seus alunos para estarem atentos ao que eles realmente sabiam versus o que eles pensavam que sabiam. Mas depois de replicar o Dr., As descobertas de Nuhfer usando uma plataforma diferente (a linguagem de computação estatística R em vez do Microsoft Excel da Nuhfer), ele se convenceu de que o efeito era apenas um artefato de como a coisa que estava sendo medida era realmente medida.tivemos longas conversas sobre isto enquanto eu continuava a empurrar para trás. Como céptico, eu sou facilmente seduzido por histórias do tipo “tudo o que você sabe sobre isso é errado.”Esse é o meu preconceito. Para superá-lo, continuei a fazer de advogado do diabo com os McKnights para ter a certeza de que não estávamos a esquecer-nos de algo., Sempre que sentia a minha compreensão cristalizada, a dúvida aparecia no dia seguinte e a minha discussão com os McKnights retomava.finalmente cheguei a um ponto em que tinha quase a certeza de que o efeito Dunning-Kruger não tinha sido demonstrado como um viés no nosso pensamento, mas era apenas um artefacto. Eis então a explicação mais simples que tenho para o facto de o efeito parecer real.para que um efeito da psicologia humana seja real, ela não pode ser rigorosamente replicada usando ruído aleatório., Se o cérebro humano estava predisposto a escolher cabeças quando uma moeda é atirada ao ar, você poderia comparar isso com previsões aleatórias (cara ou Coroa) feitas por um computador e ver o viés. Um humano chamaria mais cabeças do que o computador faria porque o computador está fazendo apostas aleatórias, enquanto o humano está inclinado para cabeças. Com o efeito Dunning-Kruger, não é esse o caso. Os dados aleatórios realmente imitam o efeito muito bem.

o efeito como descrito originalmente em 1999 faz uso de um tipo muito peculiar de gráfico., “Este gráfico, tanto quanto sei, é bastante incomum para a maioria das áreas da ciência”, disse Patrick McKnight. Na experiência original, os alunos fizeram um teste e foram convidados a adivinhar a sua pontuação. Portanto, cada aluno tinha dois pontos de dados: a pontuação que eles pensavam que tinham (auto-avaliação) e a pontuação que realmente tinham (desempenho). Para visualizar estes resultados, Dunning e Kruger separaram todos em quartis: aqueles que atuaram na parte inferior de 25%, aqueles que marcaram no top 25%, e os dois quartis no meio., Para cada quartil, a pontuação média de desempenho e a pontuação média auto-avaliada foi plotada. Isto resultou no famoso gráfico Dunning-Kruger.

Traçado desta forma, parece que aqueles na parte inferior a 25% achavam que fez muito melhor do que eles fizeram, e aqueles no topo 25% subestimado o seu desempenho. Esta observação foi pensado para ser devido ao cérebro humano: os não qualificados não estão cientes disso., Mas se removermos o cérebro humano da equação, obtemos isto:

o grafo de Dunning-Kruger acima foi criado por Patrick McKnight usando resultados gerados por computador para auto-avaliação e desempenho. Os números eram aleatórios. Não havia preconceito no código que levaria esses estudantes fictícios a adivinhar que eles tinham feito muito bem quando sua pontuação real era muito baixa. E ainda podemos ver que as duas linhas parecem estranhamente semelhantes às da experiência seminal de Dunning e Kruger. Uma simulação similar foi feita pelo Dr., Phillip Ackerman e colegas três anos após o artigo original Dunning-Kruger, e os resultados foram semelhantes.medir a percepção de algo de alguém, incluindo as suas próprias habilidades, está cheio de dificuldades. O quão bem eu acho que eu fiz no meu teste hoje poderia mudar se tudo fosse feito amanhã, quando meu humor pode diferir e minha auto-confiança pode vacilar. Esta avaliação da auto-avaliação não é, portanto, de certo modo, fiável., Esta falta de fiabilidade–às vezes massiva, às vezes não–significa que qualquer verdadeiro efeito psicológico que exista será medido como menor no contexto de uma experiência. Isto é chamado de atenuação devido à falta de fiabilidade. “Dezenas de livros, artigos e capítulos destacam o problema com erros de medição e efeitos atenuados”, escreveu Patrick McKnight para mim. Em sua simulação com medições aleatórias, o chamado efeito Dunning-Kruger torna-se mais visível à medida que o erro de medição aumenta., “Não temos instância na história da descoberta científica”, continuou, ” onde uma descoberta melhora com o aumento do erro de medição. Nenhum.”

Breaking the spell

When I plug “Dunning-Kruger effect” into Google News, I get over 8.500 hits from media outlets like the New York Times, New Scientist, and the CBC. Muitos simplesmente endossam o efeito como um viés real do cérebro, então não é de se admirar que as pessoas não estejam cientes da crítica acadêmica que existiu desde que o efeito foi publicado pela primeira vez. Não é só o Dr. Nuhfer e os seus papéis de numeracia., Outros críticos acadêmicos apontaram o dedo, por exemplo, para a regressão à média.

mas como Patrick McKnight aponta, a regressão à média ocorre quando a mesma medida é tomada ao longo do tempo e nós acompanhamos a sua evolução. Se eu tomar a minha temperatura todas as manhãs e um dia spike uma febre, essa mesma medida irá (espero) ir para baixo no dia seguinte e retornar ao seu valor médio como a minha febre diminui. Isso é regressão à média., No entanto, no contexto do efeito Dunning-Kruger, nada é medido ao longo do tempo, e a auto-avaliação e o desempenho são medidas completamente diferentes, pelo que não se deve aplicar a regressão à média. A falta de fiabilidade da própria medição de auto-avaliação, No entanto, é um forte concorrente para explicar um bom pedaço do que Dunning, Kruger, e outros cientistas que desde então relataram este efeito em outros contextos estavam realmente descrevendo.esta história ainda não acabou., Haverá, sem dúvida, mais tinta derramada em revistas académicas sobre esta questão, que é, afinal, uma parte saudável da investigação científica. Estudar prótons e elétrons é relativamente fácil porque essas partículas não têm uma mente própria; estudar psicologia humana, por comparação, é muito mais difícil porque o número de variáveis que estão sendo malabarizadas é incrivelmente alto. Assim, é realmente fácil para os achados em Psicologia parecerem reais quando não são.há pessoas burras que não percebem que são burras? Claro, mas o efeito Dunning-Kruger nunca foi sobre isso., Existem pessoas que são muito confiantes e arrogantes em sua ignorância? Absolutamente, mas também aqui, Dunning e Kruger não mediram confiança nem arrogância em 1999. Existem outros efeitos conhecidos pelos psicólogos, como o excesso de confiança e o viés melhor do que a média (onde a maioria dos motoristas de carro acreditam estar bem acima da média, o que não faz nenhum sentido matemático), então se o efeito Dunning-Kruger é convincentemente mostrado ser nada além de uma miragem, isso não significa que o cérebro humano é imaculado., E se os investigadores continuam a acreditar no efeito face à crítica pesada, este não é um exemplo paradoxal do efeito Dunning-Kruger. Nos experimentos clássicos originais, os alunos não receberam feedback ao fazer sua auto-avaliação. É justo dizer que os investigadores estão agora numa posição diferente.as palavras “efeito Dunning-Kruger” têm sido usadas como encantamento por jornalistas e céticos durante anos para explicar a estupidez e a incompetência. Talvez esteja na hora de quebrar esse feitiço.,

mensagem:
– O Dunning-Kruger efeito foi descrito originalmente em 1999, como a observação de que as pessoas que estão terrível em uma determinada tarefa acho que eles são muito melhores do que são, enquanto pessoas que são muito bom no que faz tendem a subestimar suas competências
– O Dunning-Kruger efeito nunca foi sobre “pessoas burras não sabendo que eles são burros” ou sobre “pessoas ignorantes, sendo muito arrogante e confiante em sua falta de conhecimento.,”
– Porque o efeito pode ser visto em dados aleatórios gerados por computador, pode não ser uma falha real em nosso pensamento e, portanto, pode não existir realmente

@CrackedScience