Întâmplător, într-un flux de știri și informații, am dat peste un articol din Nature Scientific Reports. Prezintă date dintr-un sondaj realizat la 1.500 de oameni de știință privind reproductibilitatea rezultatelor cercetării. Dacă anterior această problemă a fost ridicată pentru cercetarea biologică și medicală, unde este explicabilă pe de o parte (corelații false, complexitatea generală a sistemelor studiate, uneori chiar și software-ul științific este acuzat), pe de altă parte, are un caracter fenomenologic (de exemplu, șoarecii tind să se comporte diferit cu oamenii de știință) diferite genuri (1 și 2)).
Cu toate acestea, nu totul este în regulă cu mai multe științe naturale, cum ar fi fizica și ingineria, chimia, ecologia. S-ar părea că aceste discipline însuși se bazează pe experimente reproductibile „absolut” realizate în cele mai controlate condiții, din păcate, uimitor - în orice sens al cuvântului - rezultatul sondajului: până la 70% dintre cercetători au întâlnit experimente nereproducibile și rezultate obținute nu numai de alte grupuri de oameni de știință, Dar, de asemenea, de către autorii / coautorii lucrărilor științifice publicate!
Fiecare sandpiper își laudă mlaștina?
Deși 52% dintre respondenți indică o criză de reproductibilitate în știință, mai puțin de 31% consideră că datele publicate sunt fundamental incorecte, iar majoritatea au indicat că mai au încredere în lucrarea publicată.
Întrebare: Există o criză de reproductibilitate a rezultatelor?
Bineînțeles, nu ar trebui să vă smulgeți de pe umăr și să rătăciți toată știința ca atare doar pe baza acestui sondaj: jumătate dintre respondenți erau încă oameni de știință asociați, într-un fel sau altul, la discipline biologice. După cum notează autorii, în fizică și chimie, nivelul de reproductibilitate și încredere în rezultatele obținute este mult mai mare (a se vedea graficul de mai jos), dar încă nu 100%. Dar în medicină, lucrurile stau foarte prost în comparație cu restul.
Video promotional:
O anecdotă îmi vine în minte:
Marcus Munafo, psiholog biologic la Universitatea din Bristol, Anglia, are un interes de lungă durată în ceea ce privește reproductibilitatea datelor științifice. Reamintindu-și zilele de student, spune:
Întrebare: Câte lucrări publicate în industria dvs. sunt reproductibile?
Adâncimea problemei latitudinii și longitudinii
Imaginează-ți că ești un om de știință. Vedeți un articol interesant, dar rezultatele / experimentele nu pot fi reproduse în laborator. Este logic să scrieți despre acest lucru autorilor articolului original, să solicitați sfaturi și să puneți întrebări clarificatoare. Conform sondajului, mai puțin de 20% au făcut acest lucru în orice moment în cariera științifică!
Autorii studiului observă că, probabil, astfel de contacte și conversații sunt prea dificile pentru oamenii de știință înșiși, deoarece dezvăluie incompetența și inconsistența lor în anumite probleme sau dezvăluie prea multe detalii ale proiectului actual.
Mai mult decât atât, o minoritate absolută de oameni de știință a încercat să publice o refutare a rezultatelor ireproducibile, în timp ce se confruntă cu opoziția redactorilor și a revizorilor care au solicitat reducerea comparațiilor cu studiul inițial. Este de mirare că șansa de a raporta neproductibilitatea rezultatelor științifice este de aproximativ 50%.
Prima întrebare: Ați încercat să reproduceți rezultatele experimentului?
A doua întrebare: Ați încercat să postați încercarea de a reproduce rezultatele?
Poate, atunci, în interiorul laboratorului, cel puțin pentru a efectua un test de reproductibilitate? Cel mai trist lucru este că o treime dintre respondenți niciodată nu s-a gândit niciodată să creeze metode de verificare a datelor pentru reproductibilitate. Doar 40% au indicat că folosesc în mod regulat astfel de tehnici.
Î: Ați dezvoltat vreodată tehnici / procese tehnice speciale pentru a îmbunătăți reproductibilitatea rezultatelor?
Un alt exemplu, un biochimist din Marea Britanie, care nu a dorit să-și dezvăluie numele, spune că încercările de a repeta, reproduce lucrările pentru proiectul ei de laborator pur și simplu dublează timpul și costurile materiale, fără a da sau a adăuga nimic nou lucrării. Verificări suplimentare se efectuează numai pentru proiecte inovatoare și rezultate neobișnuite.
Și desigur, eternele întrebări rusești care au început să tortureze colegii străini: cine este de vină și ce să facă?
Cine e vinovat?
Autorii lucrării au identificat trei probleme principale de reproductibilitate a rezultatelor:
- Presiunea superiorilor pentru ca publicarea la timp a lucrărilor
- Raportarea selectivă (se pare că înseamnă suprimarea unor date, care „strică” întreaga imagine)
- Analiză insuficientă a datelor (inclusiv statistică)
Întrebare: Ce factori sunt responsabili pentru rezultatele științifice ireproducibile?
Răspunsuri (de sus în jos): –Raportarea exemplelor - presiunea în greutate - analiza interioară / statisticile - repetabilitatea insuficientă a experimentului în laborator - supravegherea insuficientă - lipsa metodologiei sau a codului - design experimental interior - lipsa datelor brute de la laboratorul primar - frauda - verificarea insuficientă de către experți / recenzori –Probleme cu încercări de reproducere - Experiența tehnică este necesară pentru a reproduce - Variabilitatea reactivilor standard - „Nyudachka și Pichalka”
Ce sa fac?
Din 1.500 de chestionari, peste 1.000 de specialiști au vorbit în favoarea îmbunătățirii statisticilor în colectarea și procesarea datelor, îmbunătățirea calității supravegherii din partea șefilor și planificarea mai riguroasă a experimentelor.
Î: Ce factori vor ajuta la îmbunătățirea reproductibilității?
Răspunsuri (de sus în jos): - O mai bună înțelegere a statisticilor - Supraveghere mai strictă - Proiectare experimentală mai bună - Pregătire - Revizuire internă de laborator - Îmbunătățirea abilităților practice - Încurajarea verificării încrucișate a datelor formale - Revizuire interlaboratorie - Alocarea mai mult timp pentru gestionarea proiectelor - Creșterea standardelor revistelor științifice - Alocând mai mult timp pentru a lucra cu fișele de laborator
Concluzie și ceva experiență personală
În primul rând, chiar și pentru mine, ca om de știință, rezultatele sunt uluitoare, deși deja m-am obișnuit cu un anumit grad de ireproducibilitate a rezultatelor. Acest lucru este evident mai ales în lucrările efectuate de chinezi și indieni, fără „auditul” terț, sub forma unor profesori americani / europeni. Este bine ca problema să fie recunoscută și să se gândească la soluția / soluțiile sale. Voi păstra cu tăcere despre știința rusă în legătură cu scandalul recent, deși mulți își fac sincer treaba.
În al doilea rând, articolul ignoră (sau mai degrabă, nu ia în considerare) rolul metricilor științifice și al revistelor științifice revizuite de la egal la apariția și dezvoltarea problemei de ireproducibilitate a rezultatelor cercetării. În ceea ce privește viteza și frecvența publicațiilor (citiți, o creștere a indicilor de citare), calitatea scade brusc și nu există timp pentru verificarea suplimentară a rezultatelor.
După cum se spune, toate personajele sunt fictive, dar bazate pe evenimente reale. Cumva un student a avut șansa de a revizui un articol, pentru că nu fiecare profesor are timp și energie pentru a citi cu atenție articolele, astfel încât se colectează opinia a 2-3-4 studenți și medici, din care se formează recenzia. A fost scrisă o recenzie, care a subliniat ireproductibilitatea rezultatelor conform metodei descrise în articol. Acest lucru a fost clar demonstrat profesorului. Dar pentru a nu strica relația cu „colegii” - la urma urmei, ei reușesc în orice - revizuirea a fost „corectată”. Și există 2 sau 3 astfel de articole publicate.
Se dovedește a fi un cerc vicios. Oamenii de știință trimit articolul redactorului jurnalului, unde indică „doritorii” și, cel mai important, recenzorii „nedoriti”, adică, de fapt, lăsând doar cei care sunt dispuși pozitiv către echipa de autori. Aceștia trec în revistă lucrarea, dar nu pot „rahata în comentarii” și încearcă să aleagă minusul dintre două rele - aceasta este o listă de întrebări la care trebuie să răspundem, iar apoi vom publica articolul.
Un alt exemplu, despre care a vorbit editorul Naturii în urmă cu doar o lună, este panourile solare ale lui Grazel. Datorită interesului enorm pentru acest subiect pentru comunitatea științifică (până la urmă, își doresc în continuare un articol în Nature!), Redactorii au fost nevoiți să creeze un chestionar special în care trebuie să indice o mulțime de parametri, să ofere calibrări de echipamente, certificate etc., pentru a confirma că metoda de măsurare a eficienței panourile sunt conforme cu unele principii și standarde generale.
Și, în al treilea rând, când auziți încă o dată despre un vaccin miraculos care cucerește totul și toată lumea, o nouă poveste despre Jobs în fustă, bateriile noi sau pericolele / beneficiile GMO-urilor sau radiațiile smartphone-urilor, mai ales dacă a fost promovat de scriitori galbeni din jurnalism, atunci fiți înțelegători și nu sari la concluzii. Așteptați confirmarea rezultatelor de către alte grupuri de oameni de știință, acumularea tabloului și probele de date.
