La scienza è in crisi: i ricercatori non sanno più riprodurre e confermare molti degli esperimenti moderni.
“Non prendiamo neppure sul serio le nostre proprie osservazioni, né le accettiamo come osservazioni scientifiche, finché non le abbiamo ripetute e controllate”. Karl Popper
Per la scienza un esperimento deve dare sempre lo stesso risultato, anche se condotto da persone diverse in luoghi differenti. Ma cosa succederebbe se di colpo ci rendessimo conto che la maggior parte degli esperimenti su cui ci si basa, per sviluppare nuove ricerche e nuovi farmaci non fossero riproducibili?
Non è l’inizio di un libro di fantascienza, questa è la pura realtà. Recentemente Nature, una delle più prestigiose riviste scientifiche al mondo, ha pubblicato un articolo nel quale si è dimostrato come più del 70% delle ricerche scientifiche prese in esame avesse fallito i test di riproducibilità; nonostante ciò sono state pubblicate, diffuse e citate da altri ricercatori come base delle loro nuove ricerche. Dei 1576 scienziati intervistati non solo più di due terzi ha provato e fallito nel riprodurre l’esperimento di un collega, ma più di metà di loro hanno fallito nel riprodurre i loro stessi esperimenti.
Prima di giudicare però, bisognerebbe considerare che “con l’evoluzione della scienza diventa sempre più difficile replicare un esperimento, perchè le tecniche e i reagenti sono sempre più sofisticati, dispendiosi in termini di tempo per la loro preparazione, e difficili da insegnare” , spiega Mina Bissel, una delle ricercatrici americane più premiate per le sue innovative ricerche in oncologia. La cosa migliore, continua la Bissel, “sarebbe quella di contattare direttamente il collega, se necessario incontrarsi e cercare assieme di capire come mai non si riesca a riprodurre l’esperimento. Risolvere quindi il problema amichevolmente”.
Anche l’industria farmaceutica si ferma di fronte alla non riproducibilità degli esperimenti. Nel 2011 Glenn Begley, ai tempi direttore del dipartimento di oncologia medica della Amgen, una delle più grosse multinazionali di biotecnologie, aveva deciso prima di procedere con nuovi e costosi esperimenti, di replicare i 53 lavori scientifici considerati come fondamentali, su cui si sarebbero basate le future ricerche della Amgen in oncologia. Risultato? Non fu in grado di replicarne 47 su 53, ossia l’89%3.
Se vogliamo scriverlo in altro modo, possiamo dire che solo l’11% degli esperimenti scientifici considerati come pietre miliari in quel settore di ricerca, erano riproducibili. “Rimasi scioccato – racconta Begley – si trattava di studi su cui si basano tutte le industrie farmaceutiche per identificare nuovi target nello sviluppo di farmaci innovativi. Ma se tu stai per investire 1 milione, 2 milioni o 5 milioni, scommettendo su un’osservazion, hai bisogno di essere sicuro. Così abbiamo provato a riprodurre questi lavori pubblicati e ci siamo convinti che non puoi prendere più nulla per quello che sembra”.
Per cercare di calmare le acque il premio Nobel Philip Sharp è intervenuto spiegando come “una cellula tumorale può rispondere in modi diversi a seconda delle differenti condizioni sperimentali. Penso che molta della variabilità nella riproducibilità possa venire da qui”.
Per escludere ogni tipo di errore nella riproduzione delle condizioni sperimentali, spesso dovuti a problemi di manualità o di utilizzo di specifici reagenti, Bagely ed il suo team le hanno provate tutte, a partire dall’incontrare direttamente gli autori degli studi originali, racconta: “abbiamo ripercorso i lavori pubblicati linea per linea, figura per figura, abbiamo rifatto gli esperimenti per 50 volte, senza riuscire a riprodurre quei risultati. Alla fine l’autore originale ci ha detto che lo aveva ripetuto sei volte, ma gli era riuscito una volta sola e poi ha pubblicato nell’articolo scientifico solo i dati relativi a quella volta sola”.
Così si stanno investendo soldi su fallimenti annunciati
Se un esperimento che riesce solo una volta, vi venisse proposto come base per investire milioni di dollari in ricerca per produrre un nuovo farmaco, voi investireste tutti quei soldi?
È la domanda che si sono posti Leonard Freedman del Global Biological Standard Institute di Washington, Iain Cockburn e Timothy Simcoe della Boston University School of Management. In una recente ricerca, hanno stimato che, ogni anno, il governo americano spende 28 miliardi di dollari in lavori scientifici non riproducibili. “Non vogliamo dire – spiega Freedman – che siano soldi buttati, in qualche modo contribuiscono all’evoluzione della scienza, si può però dire con certezza che dal punto di vista economico, il sistema attuale della ricerca scientifica è un sistema estremamente inefficiente“.
Non è forse un caso quindi, che i primi a far emergere il problema della riproducibilità siano ricercatori che lavorano presso multinazionali, sicuramente più attenti al bilancio e alla resa dell’investimento. Forse è grazie a ciò, che la lista degli illustri ricercatori che denunciano questo “corto circuito” è in continua crescita.
Il dott. il dott. Khusru Asadullah, alto dirigente della Bayer, ha dichiarato come i ricercatori della multinazionale tedesca non erano riusciti a replicare più del 65% degli esperimenti su cui stavano lavorando, per portare avanti nuove ricerche. Anche il prof. George Robertson della Dalhouise University in Nova Scozia, racconta di quando lavorava per l’azienda Merck sulle malattie neuro-degenerative, e si erano accorti che molti lavori scientifici accademici non reggevano alla prova della riproducibilità.
Alla ricerca delle cause di questa crisi della scienza
La scienza è in crisi: non lo si vuole ancora ammettere pubblicamente, ma è tempo che si inizi a stimolare un dibattito. Tra le cause di questa “crisi di riproducibilità” sicuramente ci sono le tematiche tecniche descritte dalla Bissel, ci sono però anche aspetti più “umani”, quali il bisogno degli scienziati di pubblicare per far carriera e ricevere finanziamenti. A volte i loro stessi contratti di lavoro sono vincolati al numero di pubblicazioni che riescono a fare, come racconta Ferric Fang, dell’Università di Washington: “il biglietto più sicuro per prendere un finanziamento o un lavoro, è quello di venir pubblicato su una rivista scientifica di alto profilo. Questo è qualcosa di poco sano, che può condurre gli scienziati a cercare notizie sensazionalistiche o in alcuni casi ad assumere comportamenti disonesti”.
In maniera ancora più diretta interviene la professoressa Ken Kaitin, direttrice del Tufts Center for the Study of the Drug Develompment che afferma “Se puoi scrivere un articolo che possa essere pubblicato, non ci pensi nemmeno al tema della riproducibilità, fai un’osservazione e vai avanti. Non c’è nessun incentivo per capire se l’osservazione originale fosse per caso sbagliata”.
Un Sistema, quello della ricerca accademica, che sta evidentemente trascinando la Scienza verso una crisi di identità e di credibilità. Nel 2009, il prof. Daniele Fanelli, dell’Università di Edimburgo, ha realizzato e pubblicato uno studio dal titolo emblematico: “Quanti scienziati falsificano i dati e fabbricano ad hoc le ricerche?” Quasi il 14% degli scienziati intervistati ha affermato di conoscere colleghi che hanno totalmente inventato dei dati, ed il 34% ha affermato di aver appositamente selezionato i dati per far emergere i risultati che gli interessavano.
A giugno 2017, il prof. Jonathan Kimmelmann, direttore del Biomedical Ethics Unit presso la McGill University di Montreal, ha pubblicato un nuovo studio che conferma questa crisi di riproducibilità e cerca di mettere luce su alcune delle principali cause, quali la variabilità dei materiali di laboratorio, problemi legati alla complessità delle procedure sperimentali, la scarsa organizzazione nel team di ricerca, e la poca capacità di analisi critica.
Né le università né le riviste scientifiche sono interessate agli studi di riproducibilità
È inoltre necessario considerare che il sistema accademico non premia per niente chi fa studi di riproducibilità, sono tempo e soldi buttati via, dal punto di vista delle “performance produttive” del gruppo di ricerca.
Le stesse riviste scientifiche non sono un gran che interessate a pubblicare ricerche che dimostrano la non riproducibilità di un precedente lavoro pubblicato, preferiscono pubblicare ricerche innovative o risultati sorprendenti e così ecco com’è facile far sparire le notizie dei fallimenti delle repliche.
In ultima analisi, bisogna tenere a mente che oggi ci sono ricerche tanto specifiche che solo pochi esperti le possono capire e valutare; in questo modo si sterilizza l’attività di peer review (ossia il lavoro di revisione dello studio scientifico da parte di esperti, così da poter decidere se pubblicarlo, chiedere chiarimenti o respingerlo). In alcuni casi, c’è il grosso rischio che le riviste scientifiche pubblichino quasi alla cieca, del tipo: “…non ho capito di cosa stai parlando, però mi sembra tutto serio e ben fatto, tu hai una buona reputazione, quindi lo pubblico”.
“Non per questo adesso bisogna pensare che tutti gli studi scientifici siano inaffidabili – afferma Andrea Pensotti, direttore dell’Interdisciplinary Life Science Institute – bisogna avere la forza di fare una seria autocritica nel mondo della scienza, senza cadere nell’eccesso opposto della ‘caccia alle streghe’, che porterebbe ad una grave crisi di credibilità”.
La storia della Scienza ci ha sempre raccontato di un’evoluzione che passa attraverso grosse crisi: dalla messa in dubbio del sistema geocentrico, fino all’introduzione della fisica quantistica. Il bello della scienza è sempre stato quello di saper mettersi in crisi ed uscirne più bella di prima e spesso queste grandi rivoluzioni non necessitano di grossi finanziamenti, ma solo di genuini lampi di genio ed onestà.
“Mettere il dito nella piaga di questa crisi di credibilità è di vitale importanza per noi che lavoriamo sull’interdisciplinarità, la necessità di integrare diverse discipline richiede più che mai un chiaro confronto, e fa emergere con maggior facilità eventuali incongruenze – spiega Andrea Pensotti in occasione del congresso mondiale di studi sulla Coscienza tenutosi a San Diego assieme al linguista Noam Chomsky – per anni la scienza si è concentrata sull’analisi dei ‘singoli pezzi’ della natura, l’ha sezionata alla ricerca degli ingranaggi primordiali. È ora necessario riscoprire la capacità di collegare i singoli pezzi studiati e comprendere meglio il senso di quei processi che guidano l’organizzazione e l’evoluzione della materia vivente. Bisogna tornare alla semplificazione dei concetti, passare da una sintattica della vita ad una semantica della vita” .
Riferimenti:
1 – Nature – 1,500 scientists lift the lid on reproducibility – survey sheds light on the ‘crisis’ rocking research
(http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970)
2 – Nature – Reproducibility: The risks of the replication drive
(http://www.nature.com/news/reproducibility-the-risks-of-the-replication-drive-1.14184)
3 – Nature – Believe it or not: how much can we rely on published data on potential drug targets?
https://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html
4 – Reuters – In cancer science, many “discoveries” don’t hold up
(http://www.reuters.com/article/us-science-cancer-idUSBRE82R12P20120328)
5 – Plos One – The Economics of Reproducibility in Preclinical Research
(http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002165)
6 – Plos One – How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data
(https://www.ncbi.nlm.nih.gov/pubmed/19478950)
7 – Plos One – Can cancer researchers accurately judge whether preclinical reports will reproduce?
(https://www.ncbi.nlm.nih.gov/pubmed/28662052)
Fonte: http://www.imolaoggi.it/2017/07/30/la-scienza-e-in-crisi-fallito-il-70-dei-test-di-riproducibilita/
