Ved en tilfeldighet, i en strøm av nyheter og informasjon, kom jeg over en artikkel i Nature Scientific Reports. Den presenterer data fra en undersøkelse av 1500 forskere om reproduserbarheten av forskningsresultater. Hvis dette problemet tidligere ble reist for biologisk og medisinsk forskning, hvor det på den ene siden kan forklares (falske korrelasjoner, den generelle kompleksiteten til systemene som er undersøkt, noen ganger til og med anklaget vitenskapelig programvare), har den på den annen side en fenomenologisk karakter (for eksempel har mus en tendens til å oppføre seg annerledes med forskere forskjellige kjønn (1 og 2)).
Imidlertid er ikke alt glatt med mer naturvitenskap, som fysikk og ingeniørfag, kjemi, økologi. Det ser ut til at nettopp disse fagområdene er basert på "absolutt" reproduserbare eksperimenter utført under de mest kontrollerte forholdene, akk, utrolig - i enhver forstand av ordet - resultatet av undersøkelsen: opptil 70% av forskerne har opplevd ikke-reproduserbare eksperimenter og resultater oppnådd ikke bare av andre forskergrupper, MEN også av forfattere / medforfattere av publiserte vitenskapelige arbeider!
Priser hver sandpiper sin sump?
Selv om 52% av de spurte peker på en reproduserbar krise i vitenskapen, anser mindre enn 31% de publiserte dataene for å være grunnleggende uriktige, og flertallet indikerte at de fortsatt stoler på det publiserte arbeidet.
Spørsmål: Er det en krise for reproduserbarhet av resultatene?
Selvfølgelig skal man ikke hakke fra skulderen og lynch all vitenskap som sådan bare på bakgrunn av denne undersøkelsen: halvparten av de spurte var fremdeles forskere tilknyttet, på en eller annen måte, med biologiske disipliner. Som forfatterne bemerker, innen fysikk og kjemi, er reproduserbarhetsnivået og tilliten til resultatene oppnådd mye høyere (se graf nedenfor), men fortsatt ikke 100%. Men innen medisin er ting veldig dårlig sammenlignet med resten.
Salgsfremmende video:
En anekdote kommer til tankene:
Marcus Munafo, en biologisk psykolog ved University of Bristol, England, har en langvarig interesse for reproduserbarhet av vitenskapelige data. Påminnelse om studentdagene sine, sier han:
Spørsmål: Hvor mange publiserte verk i din bransje er reproduserbare?
Bredde og lengdegradsproblemdybde
Se for deg at du er en forsker. Du kommer over en interessant artikkel, men resultatene / eksperimentene kan ikke reproduseres på laboratoriet. Det er logisk å skrive om dette til forfatterne av den opprinnelige artikkelen, spørre om råd og stille avklarende spørsmål. I følge undersøkelsen har under 20% gjort dette når som helst i sin vitenskapelige karriere!
Forfatterne av studien bemerker at slike kontakter og samtaler kanskje er for vanskelige for forskerne selv, fordi de avslører deres inkompetanse og inkonsekvens i visse utgaver eller avslører for mange detaljer om det aktuelle prosjektet.
Dessuten forsøkte et overveldende mindretall forskere å publisere en tilbakevisning av uopprettelige resultater, mens de motsatte seg redaktører og anmeldere som krevde at sammenligninger ble bagatellmessig med den opprinnelige studien. Er det noe rart at sjansen for å rapportere ikke-reproduserbarheten av vitenskapelige resultater er omtrent 50%.
Første spørsmål: Har du prøvd å gjengi resultatene fra eksperimentet?
Andre spørsmål: Har du prøvd å legge inn forsøket ditt på å reprodusere resultatene?
Kanskje, i det minste i laboratoriet, for å utføre en reproduserbarhetstest? Det tristeste er at en tredjedel av de spurte ALDRI har tenkt på å lage metoder for å sjekke data for reproduserbarhet. Bare 40% indikerte at de regelmessig bruker slike teknikker.
Spørsmål: Har du noen gang utviklet spesielle teknikker / tekniske prosesser for å forbedre reproduserbarheten av resultatene?
Et annet eksempel, en biokjemiker fra Storbritannia, som ikke ønsket å oppgi navnet sitt, sier at forsøk på å gjenta, gjengi arbeid for laboratorieprosjektet hennes ganske enkelt dobler tiden og materialkostnadene, uten å gi eller legge noe nytt til arbeidet. Ytterligere kontroller utføres bare for innovative prosjekter og uvanlige resultater.
Og selvfølgelig de evige russiske spørsmålene som begynte å torturere utenlandske kolleger: hvem har skylden og hva skal jeg gjøre?
Hvem er skyldig?
Forfatterne av arbeidet identifiserte tre hovedproblemer med reproduserbarhet av resultatene:
- Press fra overordnede for å få publisert arbeidet i tide
- Selektiv rapportering (tilsynelatende betyr det undertrykkelse av noen data, som "ødelegger" hele bildet)
- Utilstrekkelig dataanalyse (inkludert statistisk)
Spørsmål: Hvilke faktorer er ansvarlige for uopprettelige vitenskapelige resultater?
Svar (fra topp til bunn): –Prøverapportering –Bossetrykk – Dårlig analyse / statistikk –Utilstrekkelig repeterbarhet av eksperimentet i laboratoriet –Utilstrekkelig tilsyn –Mangel på metode eller kode –Dårlig eksperimentell design –Mangel på rå data fra det primære laboratoriet –Fraud –Utilstrekkelig verifisering av eksperter / korrekturlesere –Problemer med forsøk på å reprodusere –Teknisk ekspertise er nødvendig for å reprodusere –Variabilitet av standardreagenser - "Neddachka og Pichalka"
Hva å gjøre?
Av 1500 undersøkte talte mer enn 1000 spesialister for å forbedre statistikken for å samle inn og behandle data, forbedre kvaliteten på tilsynet fra sjefer og strengere planlegging av eksperimenter.
Spørsmål: Hvilke faktorer vil bidra til å forbedre reproduserbarheten?
Svar (topp til bunn): - Bedre forståelse av statistikk - strengere tilsyn - Bedre eksperimentell design - Opplæring - Intern laboratorievurdering - Forbedrede praktiske ferdigheter - Oppmuntre til formell datakryssjekking - Interlaboratory review - Tildele mer tid til prosjektledelse - Øke vitenskapelige tidsskriftsstandarder - Gi mer tid til å jobbe med laboratoriejournaler
Konklusjon og litt personlig erfaring
For det første, selv for meg som vitenskapsmann, er resultatene svimlende, selv om jeg allerede har blitt vant til en viss grad av irreproduserbarhet av resultatene. Dette er spesielt tydelig i arbeidene som er utført av kineserne og indianerne uten tredjeparts "revisjon" i form av amerikanske / europeiske professorer. Det er bra at problemet ble gjenkjent og tenkt på løsningen (e). Jeg vil taktfast tie om russisk vitenskap i forbindelse med den nylige skandalen, selv om mange ærlig gjør jobben sin.
For det andre ignorerer artikkelen (eller rettere sagt ikke) rollen som vitenskapelige beregninger og fagfellevurderte vitenskapelige tidsskrifter i fremveksten og utviklingen av problemet med irreproduserbarhet av forskningsresultater. I jakten på publikasjoners hastighet og hyppighet (les, økning i siteringsindekser) synker kvaliteten kraftig, og det er ikke tid til ytterligere bekreftelse av resultatene.
Som de sier, alle figurer er fiktive, men basert på virkelige hendelser. På en eller annen måte hadde en student en sjanse til å gå gjennom en artikkel, fordi ikke alle professorer har tid og energi til å omtenksom lese artiklene, så 2-3-4 studenter og leger er oppsamlet, og vurderingen er dannet fra. Det ble skrevet en anmeldelse, den påpekte uberettigbarheten av resultatene i henhold til metoden beskrevet i artikkelen. Dette ble tydelig demonstrert for professoren. Men for ikke å ødelegge forholdet til "kollegene" - tross alt, lykkes de med alt - ble anmeldelsen "rettet". Og det er publisert 2 eller 3 slike artikler.
Det viser seg å være en ond sirkel. Forskeren sender artikkelen til redaktøren av tidsskriftet, der han indikerer de "ønskede" og, viktigst, "uønskede" anmelderne, det vil si faktisk bare forlater de som er positivt disponert overfor gruppen av forfattere. De gjennomgår arbeidet, men de kan ikke “drite i kommentarene” og prøve å velge det minste av to ondskap - her er en liste over spørsmål som må besvares, og så publiserer vi artikkelen.
Et annet eksempel, som redaktøren av Nature snakket om for bare en måned siden, er Grazels solcellepaneler. På grunn av den enorme interessen for dette emnet i det vitenskapelige samfunnet (de vil tross alt fortsatt ha en artikkel i Nature!), Måtte redaktørene lage et spesielt spørreskjema, der det kreves å angi mange parametere, gi utstyrskalibreringer, sertifikater, etc., for å bekrefte at metoden for måling av effektivitet paneler samsvarer med noen generelle prinsipper og standarder.
Og for det tredje, når du nok en gang hører om en mirakelvaksine som erobrer alt og alle, en ny historie om Jobs i et skjørt, nye batterier eller farene / fordelene ved GMO eller stråling av smarttelefoner, spesielt hvis det ble fremmet av gule forfattere fra journalistikken, så vær forståelsesfull og ikke hopp til konklusjoner. Vent på bekreftelse av resultatene fra andre forskergrupper, akkumulering av matrisen og dataprøver.
