Uma reversão médica é quando um tratamento existente é considerado inútil ou prejudicial. Nos últimos anos, a psicologia vem acumulando reversões: na verdade, apenas 40-65% de seus resultados sociais clássicos foram replicados, no sentido mais fraco de encontrar resultados “significativos” na mesma direção. (Mesmo naqueles que replicaram, o efeito médio encontrado foi metade do efeito relatado originalmente.) Esses erros são muito menos custosos para a sociedade do que os erros médicos, mas ainda é poluição, então aqui está a limpeza.
A psicologia não está sozinha: medicina , biologia do câncer e economia têm muitos resultados irreplicáveis. Seria errado descartar a psicologia: sabemos sobre a maioria dos problemas aqui por causa dos psicólogos, e seus subcampos diferem muito em taxa de replicação e encolhimento do tamanho do efeito.
Uma das razões pelas quais as reversões psicológicas são tão proeminentes é que é um campo incomumente “aberto” em termos de compartilhamento de código e de dados. Um campo menos científico nunca teria percebido sua própria besteira.
A seguir, descobertas empíricas sobre descobertas empíricas; estão todas abertas à re-reversão. Também não é que “sabemos que essas alegações são falsas”: replicações com falha (ou provas de fraude) geralmente apenas questionam a evidência de uma hipótese, em vez de afirmar a hipótese oposta. Tentei me proibir de dizer replicação “bem-sucedida” ou “reprovada” e relatar o tamanho do efeito da melhor estimativa em vez de jogar o velho e ruim jogo de ciência Sim/Não.
Números corretos em março de 2020; Vou me esforçar para manter isso atualizado, mas não tanto.
Código para converter significad Cohen e g de Hedge aqui .
Psicologia Social
Nenhuma boa evidência para muitas formas de priming , mudança automática de comportamento de estímulos ‘relacionados’ (muitas vezes apenas metaforicamente relacionados).
- Evidência questionável para o priming dos idosos, de que ouvir sobre a velhice faz as pessoas andarem mais devagar. A curva p sozinha argumenta contra os primeiros 20 anos de estudos.
Estatísticas
- Nenhuma boa evidência para o priming do professor, desempenho melhorado (“+13%) em trivialidades depois de se imaginar como um professor versus um bandido.
Estatísticas
- Nenhuma boa evidência para o efeito Macbeth, de que calúnias morais induzem higiene física literal.
Estatísticas
- Nenhuma boa evidência para priming de dinheiro, de que “imagens ou frases relacionadas a dinheiro aumentam a fé no capitalismo e a crença de que as vítimas merecem seu destino”, etc.
Estatísticas
- Nenhuma boa evidência de nada do ‘experimento’ da prisão de Stanford. Não foi um experimento; ‘características de demanda’ e roteiro do abuso; intervenção constante do experimentador; reações falsas dos participantes; como admite Zimbardo, eles começaram com uma completa “ausência de hipóteses específicas”.
Estatísticas
- Nenhuma boa evidência dos famosos experimentos de Milgram de que 65% das pessoas infligem dor se lhes for ordenado. O experimento foi repleto de graus de liberdade do pesquisador, saindo do roteiro, concordância implausível entre tratamentos muito diferentes e “ apenas metade das pessoas que realizaram o experimento acreditavam plenamente que era real e, dessas, 66% desobedeceram ao experimentador. ”
Estatísticas
- Nenhuma boa evidência de que o tribalismo surja espontaneamente após se fazer agrupamentos arbitrários e escassez, dentro de semanas, e leve à violência entre grupos. O conflito “espontâneo” entre crianças em Robbers Cave foi orquestrado por experimentadores; pequena amostra (talvez 70?); um estudo exploratório tomado como inferencial; nenhum grupo controle; havia realmente três grupos experimentais – isto é, os experimentadores tinham pleno poder para estabelecer expectativas e endossar o desvio; resultados de seus outros dois estudos, com resultados negativos, não foram relatados.
Estatísticas
- Muito tempo de tela não está fortemente associado ao baixo bem-estar; explica tanto isso quanto a tristeza adolescente por comer batatas, 0,35%.
Estatísticas
- Nenhuma boa evidência de que os furacões com nomes femininos sejam mais mortais do que os com nomes masculinos. O tamanho do efeito original foi um aumento de 176% nas mortes, impulsionado inteiramente por quatro valores discrepantes; uma reanálise usando um conjunto de dados históricos bastante expandido encontrou uma diminuição não significativa nas mortes por tempestades com nomes femininos.
Estatísticas
- No máximo, uso fraco em testes de viés implícito para racismo. Pontuações de viés implícito prevêem mal o viés real, r = 0,15 . As operacionalizações usadas para medir esse poder preditivo muitas vezes não estão relacionadas à discriminação real (por exemplo, ativações cerebrais ambíguas). Confiabilidade teste-reteste de 0,44 para raça, que geralmente é classificada como “inaceitável”. Isso não é notícia; o estudo original também encontrou correlações teste-critério muito baixas.
Estatísticas
- O efeito Pigmalião , de que as expectativas de um professor sobre um aluno afetam seu desempenho, é no máximo pequeno, temporário e inconsistente , r<0,1 com uma redefinição após semanas. As alegações originais de Rosenthal sobre ganhos maciços de QI, persistindo por anos, são simplesmente falsas (” O maior ganho… 24,8 pontos de QI acima do ganho mostrado pelos controles. “) e usaram uma bateria de testes inválida. Jussim: “90%–95% do tempo, os alunos não são afetados pelas expectativas dos professores”.
Estatísticas
- No máximo , evidências fracas de ameaça de estereótipo suprimindo as pontuações de matemática das meninas. ou seja, a interação entre gênero e estereótipos.
Estatísticas
- Evidência questionável de um aumento do “narcisismo” (liderança, vaidade, pretensão) em jovens nos últimos trinta anos. O contra-argumento básico é que eles estão identificando erroneamente um efeito de idade como um efeito de coorte (a construção do narcisismo aparentemente diminui em cerca de um desvio padrão entre a adolescência e a aposentadoria) “cada geração é a Geração Eu”.
Todas essas análises “geracionais” são, no máximo, aproximações ruidosas da mudança social, uma vez que as gerações não são tipos naturais distintos, e uma vez que as pessoas nas supostas fronteiras são indistinguíveis.
Estatísticas
- Desconfie de qualquer coisa de Diederik Stapel. 58 retratações aqui .
psicologia positiva
- Nenhuma boa evidência de que fazer uma “pose de poder” reduza o cortisol, aumente a testosterona, a tolerância ao risco.
Que uma pessoa conseguir, ao assumir duas poses simples de 1 minuto, incorporar poder e instantaneamente se tornar mais poderoso tem implicações acionáveis no mundo real.
Após a desaprovação inicial, concentrou-se no efeito subjetivo, uma alegação sobre “ aumento da sensação de poder”. Mesmo assim: evidências fracas de “sentimentos de poder” diminuídos apenas da postura contrativa. Minha reanálise está aqui .
Estatísticas
- Evidência fraca para feedback facial (que sorrir causa bom humor e fazer beicinho, mau humor).
Estatísticas
- Razão para ser cauteloso sobre a atenção plena para a saúde mental. A maioria dos estudos é de baixa qualidade e usa designs inconsistentes, há maior heterogeneidade do que outros tratamentos de saúde mental e há fortes razões para suspeitar de viés de relatório. Nenhuma das 36 metanálises anteriores a 2016 mencionou viés de publicação. Isso pode acabar.
Estatísticas
- Nenhuma boa evidência para a Blue Monday, de que a terceira semana de janeiro é o pico da depressão ou baixo afeto ‘conforme medido por uma fórmula matemática simples desenvolvida em nome da Sky Travel’. Você precisaria de um tamanho de amostra enorme, na casa dos milhares, para detectar o efeito de forma confiável e isso nunca foi feito.
Psicologia cognitiva
- Boa evidência contra o esgotamento do ego , que a força de vontade é limitada de forma muscular.
Estatísticas
- Evidência mista para o efeito Dunning-Kruger. Nenhuma evidência para a má interpretação do “Monte Estúpido”.
Estatísticas
- Evidência questionável de um efeito de “realismo depressivo” minúsculo, de aumento da precisão preditiva ou diminuição do viés cognitivo entre os clinicamente deprimidos.
Estatísticas
- Evidência questionável para o efeito “juiz faminto”, de absolvições massivamente reduzidas (d=2) pouco antes do almoço. A ordem do caso não é independente da probabilidade de absolvição (“prisioneiros não representados geralmente são os últimos e têm menos probabilidade de obter liberdade condicional”); casos favoráveis podem levar previsivelmente mais tempo e, portanto, são adiados até depois do recesso; o tamanho do efeito é implausível em anteriores; explicação envolvia esgotamento do ego.
Estatísticas
- Nenhuma boa evidência para inteligências múltiplas (no sentido de componentes de cognição estatisticamente independentes). Gardner, o inventor: “ Nem, de fato, realizei experimentos destinados a testar a teoria… Admito prontamente que a teoria não é mais atual. Diversos campos do conhecimento avançaram significativamente desde o início da década de 1980.”
Estatísticas
- No máximo, evidências fracas para treinamento cerebral (ou seja, “transferência distante” de jogos de treinamento diário para inteligência fluida) em geral, em particular do jogo Dual n-Back.
Estatísticas
- Em geral, desconfie de qualquer coisa que alegue um efeito permanente positivo no QI de um adulto. Mesmo em crianças, o máximo absoluto é de 4 a 15 pontos para uma única intervenção poderosa (suplementação de iodo durante a gravidez em populações deficientes).
- Veja também a alegação de hidrocefalia em “ Neurociência”.
- Boa taxa de replicação em outros lugares.
psicologia do desenvolvimento
- Algumas evidências de um efeito minúsculo da mentalidade de crescimento (pensar que a habilidade pode ser aprimorada) na realização.
Estatísticas
- Evidências mistas para um pequeno efeito marshmallow , essa capacidade de adiar a gratificação quando jovem prevê resultados educacionais aos 15 anos ou mais (Mischel).
Estatísticas
- “Experiência obtida após 10.000 horas de prática” (Gladwell). Repudiado pelos supostos proponentes .
- Nenhuma boa evidência de que adaptar o ensino aos estilos de aprendizagem preferidos dos alunos tenha qualquer efeito sobre as medidas objetivas de aproveitamento. Existem dezenas desses levantamentos, e realmente você teria que examinar cada um. (Eu não vou.)
Estatísticas
psicologia da personalidade
- Muito bom? As replicações sistemáticas de um laboratório descobriram que os tamanhos de efeito diminuíram em 20% porém. Veja os comentários de alguém com uma crítica fundamental.
- Qualquer coisa de Hans Eysenck deve ser considerada suspeita, mas em particular esses 26 artigos ‘inseguros’ (incluindo aquele que diz que a leitura previne o câncer).
ciência comportamental
- O efeito de “nudges” [cotoveladinhas (incentivo)] (design inteligente de padrões) pode ser exagerado em geral. Uma grande revisão descobriu que os efeitos médios eram seis vezes menores do que o anunciado. (Não estou dizendo que não há grandes efeitos.)
- Aqui estão algumas advertências sobre se, além da pura questão da reprodutibilidade, a ciência comportamental está pronta para orientar a política.
- Mover a caixa de assinatura para o topo dos formulários não diminui a informação desonesta no restante do formulário.
Marketing
- Brian Wansink acidentalmente admitiu negligência grosseira; erros fatais foram encontrados em 50 dos papéis de seu laboratório. Isso inclui resultados chamativos sobre o aumento do tamanho da porção, reduzindo maciçamente a saciedade.
- Aaron Charlton mantém uma lista notável aqui.
neurociência
- Nenhuma boa evidência de que os cérebros contenham uma mente por hemisfério. Os estudos de calosotomia corpus que pretendiam mostrar “duas consciências” habitando o mesmo cérebro foram bastante mal interpretados.
- Evidência muito fraca para a existência de pessoas hidrocefálicas de alto funcionamento (QI ~ 100) . A hipótese parte da extrema improbabilidade anterior; afirma-se que o efeito da perda maciça de volume é, em média, positivo para a cognição; os estudos de caso são muitas vezes questionáveis e envolvem pouco estudo detalhado dos cérebros (por exemplo, scanners de 1970 não eram capazes da precisão alegada).
Estatísticas
- Os potenciais de prontidão parecem ser realmente causais, não diagnósticos. Portanto, os estudos de Libet também não mostram o que pretendem. Ainda não temos livre-arbítrio (já que o ruído aleatório do circuito pode nos derrubar quando a evidência é fraca), mas de uma maneira diferente.
- Nenhuma boa evidência de dominância do hemisfério esquerdo/direito correlacionada com diferenças de personalidade . Nenhuma dominância hemisférica clara neste estudo.
Estatísticas
Psiquiatria
- No máximo , evidências extremamente fracas de que hospitais psiquiátricos (da década de 1970) não conseguiam detectar pacientes sãos na ausência de fraude.
Parapsicologia
- Nenhuma boa evidência para precognição, alunos de graduação melhorando o desempenho do teste de memória estudando após o teste. Esta é divertida porque os métodos estatísticos de Bem eram “impecáveis” no sentido de que eram o que todo mundo estava usando. Ele é o Paciente Zero na crise de replicação e prestou a todos um grande serviço. (Fortemente dependente de uma evidência de parada opcional, anterior a frequentista e; análise de caminhos bifurcados.)
Estatísticas
Psicologia evolucionária
- Evidências fracas de priming romântico , de que olhar para mulheres atraentes aumenta o consumo conspícuo dos homens, o desconto de tempo e a tomada de riscos. Fraco, apesar de haver 43 estudos confirmatórios independentes!: um dos vieses de publicação / p-hacking mais fortes já encontrados.
Estatísticas
- Evidências questionáveis para a versão do ciclo menstrual da hipótese da dupla estratégia de acasalamento (que “as mulheres heterossexuais mostram preferências mais fortes por relações sexuais não comprometidas [com homens mais masculinos]… relacionamentos de longo prazo em outros pontos”). Os estudos são geralmente pequenos (mediana n = 34, principalmente em um ciclo). O gráfico de funil parece bom.
Estatísticas
- Nenhuma boa evidência de que os humanos são cognitiva ou emocionalmente limitados a 150 relacionamentos com outras pessoas ( número de Dunbar ). A nutrição foi uma restrição muito mais importante do que a cognição. A variação é tão grande que não podemos dizer nada sobre o limite superior cognitivo. “ O método de Dunbar chega a uma estimativa do tamanho médio do grupo humano. Mas então é usado para indicar o tamanho máximo do grupo humano”. A antropologia compartilha a culpa.
Estatísticas
- Nenhuma boa evidência de que pais grandes tenham mais filhos (Kanazawa); a análise original comete vários erros e a reanálise mostra efeito próximo de zero. (Tamanho do efeito original: 8% mais provável.)
Estatísticas
- No máximo, evidências fracas de que a força dos homens em particular prediz oposição ao igualitarismo.
Estatísticas
Psicofisiologia
- No máximo, evidências muito
- fracas de que a atividade do sistema nervoso simpático prediz a ideologia política de maneira simples. Em particular, a reação de condutância da pele dos sujeitos a estímulos visuais ameaçadores ou repugnantes – uma medida ruidosa e questionável .
Estatísticas
Genética comportamental
- Nenhuma boa evidência de que o 5-HTTLPR esteja fortemente ligado à depressão, insônia, PTSD, ansiedade e muito mais. Veja também COMT e APOE para inteligência, BDNF para esquizofrenia, 5-HT2a para tudo…
- Suspeite muito de qualquer descoberta de “gene candidato” (mineração de dados post-hoc mostrando grandes contribuições > 1% de um único alelo). 0/18 replicações em genes candidatos para depressão. 73% dos candidatos não conseguiram replicar na psiquiatria em geral. Um grande periódico não os publicará mais sem várias replicações. Um enorme GWAS , n = 1 milhão: “ Não encontramos evidências de enriquecimento de genes previamente hipotetizados como relacionados à tolerância ao risco.”
[O que eu proponho] não é uma reforma do teste de significância como praticado atualmente na psicologia leve. Estamos querendo provar algo mais herético… Estamos atacando toda a tradição de refutação de hipótese nula como uma forma de avaliar teorias… A maior parte da psicologia que usa a refutação H_0 convencional para avaliar as teorias fracas da psicologia soft… [está] vivendo em um mundo de fantasia de “testar” teorias fracas com métodos fracos.
Paul Meehl (1990)
E agora? Quando o próximo trabalho chamativo BIZARRO de uma universidade de classe mundial chegar , vamos engoli-lo?
Andrew Gelman e outros sugerem diminuir todos os tamanhos de efeito de estudo único que você encontra nas ciências sociais, sem esperar pelo encolhimento subsequente do viés de publicação, erro de medição, graus de liberdade analíticos de dados e assim por diante. Não existe um fator uniforme, mas parece sensato dividir novos tamanhos de efeito por um número entre 2 e 100 (dependendo do tamanho da amostra, método, ruído de medição, talvez seu valor-p se for muito pequeno)…
A melancolia da pareidolia
Deixe-me abandonar minha conversa adequada sobre “estimativa do tamanho do efeito > verdade ou falsidade binária” por um momento: há algo insuportavelmente triste na página da Wikipedia para esgotamento do ego.
São 3500 palavras, sem incluir a seção de Críticas. É rica em conversas sobre moderadores, mecanismos fisiológicos e resultados práticos para o leigo. E é bem possível que tudo isso seja um fantasma, um erro gigante. Para tamanhos de efeito pequenos, não conseguimos saber a diferença. Mesmo pessoas um pouco mais espertas do que nós não conseguem.
Se eu passear por uma livraria antiga, posso passar os dedos por teorias sofisticadas de ectoplasma, kundalini, vidas passadas, numerologia, clarividência, alquimia. Alguns foram escritos por pessoas brilhantes que também descobriram coisas reais, cujas mentes funcionavam, caramba.
Somos tão bons em explicar que podemos explicar coisas que não existem. Fizemos muitas bibliotecas inteiras e campos inteiros sem a menor correspondência com nada. Exceto nossa engenhosidade mortal.
