Do preprint ao prregistro a revoluo da cincia

Do preprint ao préregistro: a revolução da ciência aberta Natália B. Dutra Estudante de doutorado Universidade de Durham (UK) Palestra atualizada em 14/08/2018

Percepção extra-sensorial É possível prever o futuro? Bem 2010 JPSP

Percepção extra-sensorial Bem 2010 JPSP

Prever o futuro Aproximação/Evitação: detecção precognitiva de estímulos eróticos Adivinhar posição da imagem erótica ANTES das imagens serem selecionadas pelo computador ?

Divulgação na mídia e nas redes sociais Engber (2017) Slate Magazine

Srivastava (2018) Live. Science

Baker (2016) Nature

Tópicos da palestra Contexto: a maioria dos estudos não é reproduzível Open Science: A revolução do modelo de ciência aberta Preprints Pré-registro e relatórios registrados Por que devemos discutir isso?

A maioria dos estudos científicos publicados não são reproduzíveis Ioannidis (2005) Plos Medicine

Por quê? Amostras pequenas Tamanhos de efeito pequenos Flexibilidade excessiva no planejamento, nas decisões e na análise Outros interesses que geram viés de publicação Popularidade do tema

Críticas não são recentes, o que mudou? Publicação de estudos demonstrando práticas questionáveis de pesquisa >> Publicação de esforços coletivos de replicação Importância da internet e das redes sociais disseminação Open Science Collaboration 2015 Science

Práticas questionáveis de pesquisa Simmons et al. (2011) Psychol Sci

Práticas questionáveis de pesquisa Simmons et al. (2011) Psychol Sci

Críticas não são recentes, o que mudou? Publicação de estudos demonstrando práticas questionáveis de pesquisa Publicação de esforços coletivos de replicação >> Importância da internet e das redes sociais disseminação Open Science Collaboration 2015 Science

Críticas não são recentes, o que mudou? Publicação de estudos demonstrando práticas questionáveis de pesquisa Publicação de esforços coletivos de replicação Importância da internet e das redes sociais disseminação Open Science Collaboration 2015 Science

Open Science: A revolução do modelo de ciência aberta

Aberta Fechada Communality Secrecy Open sharing Closed Universalism Particularlism Evaluate research on own merit Evaluate research by reputation Disinterestedness Self-interestedness Motivated by knowledge and discovery Treat science as a competition Organized skepticism Organized dogmatism Consider all new evidence, even against one’s prior work Invest career promoting one’s own theories, findings Quality Quantity Adaptado de Nosek (2018) palestra para British Psychological Society

Compartilhamento de informações, planejamento, dados e análise Uso de ferramentas que facilitam compartilhamento >> Preprints e pré-registros

Center for Open Science - 2013

Selos (badges) para recompensar esforços Níveis diferentes de acesso à pesquisa Kidwell et al. , 2016, PLOS Biology

Preprints

O que é um preprint? https: //www. biorxiv. org/content/early/2017/12/29/136549

História e filosofia do preprint Ar. Xiv: facilitar compartilhamento de artigos entre físicos (~30 anos) SSRN: Economia e Direito (~25 anos) Hoje em dia: Chem. Rxiv, Psy. Rxiv, Agri. Rxiv, Soc. Rxiv, etc… Scielo preprints

Prós e contras Rápida disseminação Resultados disponíveis para outros pesquisadores grupos Risco de roubo de ideias ou resultados Controle de qualidade ainda é confuso Registro público de originalidade “Guerra” de ideias e redução na confiança da ciência Bom para divulgar resultados difíceis de publicar (“nulos”) Periódicos podem não aceitar o pré-print Aumento da diversidade Não possui revisão por pares a Conciliável com submissão do priori artigo Desinteresse da mídia Mais chances de publicar e ser citado

Jones et al. (2018) Psychol Sci

Compartilhar informação é bom, mas não é suficiente Bem (2010) – Feeling the future: dados abertos, e aí? Disputa entre tentativas de replicações Problemas com análises originais

Pré-registro e relatórios registrados (Preregistration e Registered Reports)

O plano para consertar a Psicologia Letzter (2018) Live Science

O desafio do pré-registro Diferenciar análises exploratórias de análises confirmatórias Pré-registrar o planejamento da pesquisa, as hipóteses, e o plano de análise antes de se observar os resultados – uma ideia “radical”? Nosek et al. (2018) PNAS

O desafio do pré-registro

Exemplo

Registered Reports Processo de revisão por pares anterior à coleta de dados Dois processos de revisão: após o planejamento e após o artigo ficar pronto O artigo é aceito no periódico ANTES dos resultados serem obtidos

Prós e contras Melhorar qualidade do projeto Possível falta de flexibilidade Aumentar transparência Pode reduzir criatividade e inovação Aumentar reproduzibilidade Evitar problemas éticos relacionados ao manejo dos dados Promover resultados “nulos” Melhorar reputação do pesquisador “Perder” o estudo por não encontrar o que esperava Ter dificuldades com publicação Reg. Reps: processo pode demorar muito

Por que devemos discutir isso?

Tá, mas e daí? Parte II

Alguns dos periódicos que aceitam Reg. Reps • AMPPS • Journal of Business & Psych • AIMS Neuroscience • Journal of Cognitive Enhancement • Animal Behavior & Cognition • Journal of Expt’l Social Psychology • Attention, Perception, & Psychophysics • Journal of Media Psychology • Behavioral Neuroscience • Journal of Personnel Psychology • Cognition and Emotion • Journal of Research in Personality • Cognitive Research • Judgment and Decision Making • Comp. Results in Social Psych • Language Learning • Cortex • Management & Organization Review • Drug & Alcohol Dependence • Memory • Euro. Journal of Neuroscience • Nature Human Behaviour • Experimental Psychology • NFS Journal • Gifted Child Quarterly • Psychological Science • Health Psychology Bulletin • Psychonomic Bulletin & Review • Human Movement Science • Royal Society Open Science • Infancy • Stress and Health • Int’l Journal of Psychophysiology • Leadership Quarterly • Work, Aging, & Retirement

Ciência aberta = Trabalhar de graça? Agências de fomento internacionais ASAPbio – Brazilian Reproducibility Project Universidades estrangeiras contratando profissionais que entendam de ciência aberta

Últimas reflexões Democratização e diversificação da ciência Discussão em aberto – como deveria ser Oportunidade de nos inserir no contexto internacional em papéis relevantes Melhorar a qualidade dos artigos produzidos – planejamento e escrita Requer esforço coletivo e continuado

A capacidade de prever o futuro foi demonstrada?

Obrigada! nbdutra@gmail. com @nataliadutrapsy www. nataliadutrabr. strikingly. com