Lexcellence de la recherche exige lintgrit No research

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Synthesis and concluding remarks Scientific integrity: from problem identification to efficient actions Prof. Geneviève Chêne Inserm, université Bordeaux, CHU bordeaux 27/12/2017 1 | 12 -13 décembre 2017 | Maison de la Chimie � |1|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Quelle était l’ambition de ce séminaire? • Partager les expériences et activités efficaces pour améliorer l’intégrité scientifique • Identifier les actions et politiques existantes en France et les stratégies permettant de les soutenir • « La valeur et les bénéfices de la recherche pour la société sont totalement dépendants de l’intégrité en recherche » Déclaration de Singapour 27/12/2017 2 | 12 -13 décembre 2017 | Maison de la Chimie � |2|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Importance • Incitatifs • Pour les scientifiques et pour la société civile : confiance dans la • Structures de régulation science qui est produite • Ouverture d’esprit, franchise • Les scientifiques sont des • Responsabilité de chacun : intérêts? professionnels, et aussi des humains, • Individu et son parcours partie intégrante d’une société professionnel • Potentiel impact: notoriété et • Responsables politiques et leurs parcours professionnels priorités • Financeurs et leur autorité 27/12/2017 3 | 12 -13 décembre 2017 | Maison de la Chimie � |3|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Tentative de synthèse • Reproductibilité • Publications • Structures incitatives • Tous les acteurs sont concernés, chacun a une responsabilité : système/ écologie de la science 27/12/2017 4 | 12 -13 décembre 2017 | Maison de la Chimie � |4|

http: //www. nature. com/

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity The replication difficulty …. • Bayer: 53 of 67 findings did not replicate • Amgen: 47 of 53 findings did not replicate • Psychology: • positive findings in • 97% of original studies • 36% of replications • Mean effect size fell from 0. 403 to 0. 197 • What Cancer are the. Biology: causes? • 3 of 5 did not replicate • ? Fraud • ? False positive studies +/- dubious research practices • ? Meta- (sectoral) problems like perverse incentives and publication bias • ? True biological heterogeneity of observed effects | 12 -13 décembre 2017 | Maison de la Chimie �

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity How scientists might approach their projects: PHISPS protocols • What parts of this are exploratory and what parts are hypothesis testing? • What are the community standards in this field? • Can I randomise, blind during the experiment, blind assessment of outcome? • For tests of hypotheses, have I – – Asserted my statistical analysis plan Cemented my protocol where it can be checked Described in advance my criteria for rejecting the null hypothesis Got adequate statistical power to deliver a reasonable positive predictive value? | 12 -13 décembre 2017 | Maison de la Chimie �

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity 8 | 12 -13 décembre 2017 | Maison de la Chimie �

On the folly of hoping for “A” while rewarding “B” “A” “B” Collaboration & openness Competition & “getting there first” Objectivity of double-blind research Peer review processes open to effects of reputation & established professional relationships Open competition & meritocracy Scientists typically not taught how to manage their own biases Calls for increased entry & retention of women and underrepresented minorities in STEM fields Assumptions about gender, ethnicity & race go unexamined (Devereaux, M. L. , 2014, Rethinking the Meaning of Ethics in RCR Education, J Microbiol Biol Educ, 15(2): 1658. )

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity • Valeurs centrales • NASEM 2017 : objectivity, honesty, openness, accountability, fairness, stewardship … au-delà des mauvaises conduites • Individus vs systèmes et comment ils interagissent • Comportements inappropriés • Focus sur la qualité Committee on Responsible Science 27/12/2017 |10| Committee on Science, Engineering, Medicine, 10 | 12 -13 décembre 2017 | Maison de la Chimie �

Rather than Binary… a continuum Forces opposing moving towards best practices: • Lack of resources (money, time, institutional support) • Expectations (publish and procure ($) or perish) and institutional environment • Lack of knowledge, education, skills (Slide credit: Sara E. Wilson, University of Kansas)

Avoidable waste or inefficiency in biomedical research Are research decisions relevant to users of research? Appropriate research design, methods, and analysis? Efficient regulation and management? Fully accessible research information? Unbiased and usable research reports? Research waste Lancet 2014; 383: 101– 4

Research environment/ Reward system Research Integrity Research productivity/waste

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Nous sommes tous responsables : coopérer ? • Collaboration • Raising awareness • Education • Monitoring • Accountability (improvement cycle) 27/12/2017 14 | 12 -13 décembre 2017 | Maison de la Chimie � |14|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Why and how science has gone wrong Science in Transition started in January 2013 27/12/2017 15 | 12 -13 décembre 2017 | Maison de la Chimie � |15|

New assessment, reward and evaluation systems New systems that really deal with the core of knowledge creation and account for the impact of scientific research on science and society at large. April 2016 Jan 2017 1. Full open access to publications in 2020 2. Make research data optimally suited for reuse 3. Recognition and rewards 4. Promote and support To enable Open Science UMC’s collaborate in: ‘Health Research Infrastructure’ a large-scale unified infrastructure

Redefine Excellence Candidate (ass) professors to fill out portfolio describing their track record in: Research Teaching Clinical work Innovation and impact Leadership, development and collaboration gives selection committees a broader view of the candidates, changes ‘what can be talked about’

§ 5 M€ for programme of 5 years § National Audit of research practices § National Survey on research integrity § Open call for proposals on FRRP 11 two-year postdoc projects 18

§ 3 M€ in three rounds for projects of 75 – 150 K€ § 9 out of 85 applications were funded in first round Final aim: Restoring the balance between Innovation and Replication

§ Mandatory blended Ph. D course of 2 EC § E-learning module – discussed with supervisor § 1 ½ day face-to-face meetings: § Interactive lectures § Small group discussions with assignments § Moral Case Deliberation sessions in small groups § Short written reflection 20

www. amsterdamresearchclimate. nl 21

Survey of Organizational Research Climates (SOu. RCe) • Developed in response to the 2002 IOM report – A self-assessment tool to gauge organizational member perceptions of responsible research practices and the current state of an organization’s research climate. � SOu. RCe provides research leaders with Baseline assessments of their research integrity climates � Comparative data to assess aspects of climates which should be mutable and subject to change in response to organizational initiatives aimed at promoting research integrity �

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Office for Research Integrity: US experience (1) A federal misconduct regulation and a national ORI were necessary in the U. S. because the research community could/would not police itself, and the waste of federal money through research misconduct became politically intolerable The power of ORI to deny federal research funding to those convicted of misconduct, and to publish their names and details of their cases in the Federal Register is a critical weapon in handling misconduct Misconduct investigations have become more and more like criminal investigations. In practice we have settled on the white-collar crime model. Investigating misconduct today requires trained scientist-investigators using sophisticated procedures and tools 27/12/2017 | 12 -13 décembre 2017 | Maison de la Chimie � 23 |23|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Office for Research Integrity: US experience (1) Accelerating “arms race” between respondents and investigators due to technological change and social adaptation. Government offices of research integrity therefore have to be nimble and adaptable. That’s an oxymoron. ORI is essentially an academic entity operating in a government bureaucracy. As of now, a failed marriage The emergence of entities such as Retraction Watch and Pub. Peer, whistle-blowers like Clare Francis, greater aggressiveness by journals in investigating misconduct and retracting articles, and an increasingly professional network of RIOs at research institutions have picked up the torch that ORI has at least temporarily dropped 27/12/2017 24 | 12 -13 décembre 2017 | Maison de la Chimie � |24|

La recherche un système complexe

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity En France, avant 2016 … • 1999 : Inserm, 1 er EPST à être actif • 2015 : COMETS (CNRS) Charte nationale de déontologie des métiers de la recherche 27/12/2017 | 12 -13 décembre 2017 | Maison de la Chimie � 26 |26|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Animation 27/12/2017 27 | 12 -13 décembre 2017 | Maison de la Chimie � |27|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity En France, que faisons-nous depuis 2016 ? • Une prise de conscience au plus haut niveau pour porter une vision stratégique globale à l’échelon national • Rapport Corvol, 2016 Charte nationale d’intégrité scientifique • Quels progrès dans l’implémentation ? 27/12/2017 28 | 12 -13 décembre 2017 | Maison de la Chimie � |28|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Création de l’OFIS, nouveau département de l’HCERES • 2017 : vote à l’unanimité par le collège de l’HCERES • Expertise • Observation • Animation • Conseil de l’intégrité scientifique • IS, critère d’évaluation • Coopération internationale 27/12/2017 29 | 12 -13 décembre 2017 | Maison de la Chimie � |29|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Les référents intégrité scientifique • Un /université et /EPST • Vademecum • Réseau national, européen 27/12/2017 30 | 12 -13 décembre 2017 | Maison de la Chimie � |30|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Les fonds publics doivent servir une recherche intègre • Nomination d’un référent intégrité scientifique • Constitution d’un comité intégrité scientifique • Séminaire ANR intégrité scientifique • Définition des modalités d’engagement à l’intégrité scientifique pour les chercheurs répondant à un appel à projets ANR 27/12/2017 31 | 12 -13 décembre 2017 | Maison de la Chimie � |31|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Formation 27/12/2017 32 | 12 -13 décembre 2017 | Maison de la Chimie � |32|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Un agenda pour les chercheurs • Mobiliser les communautés par discipline, nous sommes tous concernés • Dépasser le « cahier de laboratoire » , nous sommes à présent dans la gestion des données de haute dimension • Les protocoles doivent être déposés avant le début des expérimentations, schémas optimaux et conduite opérationnelle • Coopérer pour partager les méthodes appropriées et s’approprier les méthodes sophistiquées • Partager les données, certes et être reconnu pour les données de qualité que l’on fournit à la communauté 27/12/2017 | 12 -13 décembre 2017 | Maison de la Chimie � 33 |33|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Un agenda pour les évaluateurs, les financeurs • Mettre en œuvre des critères permettant d’apprécier aussi la qualité (et pas seulement la quantité) et l’impact de la recherche • Du cahier de laboratoire au données de grande dimension • Du FFP aux pratiques de recherche préjudiciable • Imposer le partage des données, le suivi des recommandations • Financer • Une recherche sur la recherche • La formation et l’évaluation de son impact 27/12/2017 34 | 12 -13 décembre 2017 | Maison de la Chimie � |34|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Un agenda pour les responsables des institutions • Intégrer dans chaque plan stratégique, être pro-actif • Instaurer un climat et des comportements selon les normes de la science • Evaluer sa situation de départ et la monitorer • Récompenser le partage des données de qualité • Changer le système d’évolution du parcours professionnel • Promouvoir la formation, la rendre spécifique aux disciplines et aux communautés et en évaluer l’impact • Communiquer à tous leurs droits et responsabilités • Avoir une politique d’archivage des données • Renforcer un comportement favorable à une recherche intègre de la part des directeurs de laboratoire 27/12/2017 | 12 -13 décembre 2017 | Maison de la Chimie � 35 |35|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Remerciements Les orateurs Les modérateurs : Hervé Maisonneuve, Daniel Benamouzig Les co-organisateurs : Philippe Ravaud, Scott Harvey, Pierre Corvol ITMO santé publique : Corinne Alberti, Daniel Benamouzig, Charles Persoz, Jean-Marie Gagliolo 27/12/2017 36 | 12 -13 décembre 2017 | Maison de la Chimie � |36|

L’excellence de la recherche exige l’intégrité| � No research excellence without integrity Slide title 27/12/2017 37 | 12 -13 décembre 2017 | Maison de la Chimie � |37|