{"id":25817,"date":"2020-11-05T13:41:30","date_gmt":"2020-11-05T12:41:30","guid":{"rendered":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/2020\/11\/05\/hinderliche-hypothesen-und-daten-gorillas-wie-offen-fuer-das-unerwartete-muss-die-forschung-sein\/"},"modified":"2025-05-14T16:52:33","modified_gmt":"2025-05-14T14:52:33","slug":"hinderliche-hypothesen-und-daten-gorillas-wie-offen-fuer-das-unerwartete-muss-die-forschung-sein","status":"publish","type":"post","link":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/2020\/11\/05\/hinderliche-hypothesen-und-daten-gorillas-wie-offen-fuer-das-unerwartete-muss-die-forschung-sein\/","title":{"rendered":"Hinderliche Hypothesen und Daten-Gorillas – Wie offen f\u00fcr das Unerwartete muss die Forschung sein?"},"content":{"rendered":"

Forschung ist kompliziert. Das ist trivial, aber dennoch einen genaueren Blick wert. Denn genau darum geht es: Um den genauen Blick. Ganz klassisch wird die Methodik der Wissenschaft ja gerne so zusammengefasst: Man stellt eine Hypothese auf. Dann wird die Hypothese anhand von Daten gepr\u00fcft. Und danach entweder verifiziert oder verworfen. Dieser Prozess funktioniert sehr gut. Aber eben manchmal auch nicht. Manchmal verhindert die Hypothese, dass man das sieht, was wirklich da ist – zum Beispiel ein Daten-Gorilla.<\/p>\n

Itai Yanai vom New York University Langone Medical Center und Martin Lercher von der Uni D\u00fcsseldorf haben ein recht interessantes Experiment gemacht („A hypothesis is a liability“<\/a>). Sie haben Studierenden einen Haufen Daten gegeben. Es war ein recht simpler Datensatz: Der Body-Mass-Index (BMI) von 1786 Menschen und dazu die Anzahl der Schritte die die jeweiligen Personen an einem bestimmten Tag gegangen sind. Ein Datensatz f\u00fcr die M\u00e4nner, einer f\u00fcr die Frauen. Die Studierenden wurden in zwei Gruppen geteilt. Die erste Gruppe bekam die Aufgabe, die Daten auf drei verschiedene Hypothesen zu pr\u00fcfen. Erstens: Es gibt einen statistisch relevanten Unterschied in der durchschnittlichen Anzahl der Schritte bei M\u00e4nner und Frauen. Zweitens: Es gibt eine negative Korrelation zwischen der Anzahl der Schritte und dem BMI bei Frauen. Drittens: Die gleiche Korrelation ist bei M\u00e4nnern positiv. Au\u00dferdem wurden sie gefragt, ob in den Daten sonst noch was interessantes zu finden sei. Die zweite Gruppe der Studierenden bekam keine Hypothesen pr\u00e4sentiert; sie wurde einfach gefragt was man aus diesen Daten ableiten k\u00f6nne.<\/p>\n

Jetzt w\u00e4re es prinzipiell ja interessant zu wissen, ob die Anzahl an Schritten die man t\u00e4glich geht eine Auswirkung auf den BMI hat und ob sich dieser Zusammenhang bei M\u00e4nner und Frauen unterschiedlich darstellt. Nur konnte man das definitiv nicht aus den Daten ablesen. Die haben Yanai und Lercher n\u00e4mlich ganz speziell zusammengestellt. Wenn man die Daten von M\u00e4nnern und Frauen kombiniert und in einem Diagramm auf der x-Achse die Schritte auftr\u00e4gt und auf der y-Achse den BMI: Dann sieht man einen winkenden Gorilla! Nicht irgendwie versteckt, sondern sehr deutlich. Da gibt es keinen Interpretationsspielraum:<\/p>\n

\"\"<\/a>
Bild: Yanai & Lercher (2020)<\/a><\/figcaption><\/figure>\n

Die eigentliche Frage der Forscher war also: Finden die Leute bei ihrer Analyse den Gorilla? Das erinnert nicht zuf\u00e4llig an das ber\u00fchmte Gorillaexperiment<\/a> von Daniel Simons und Christopher Chabris mit dem die „Unaufmerksamkeitsblindheit“<\/a> demonstriert werden soll. Versuchspersonen bekamen ein Video gezeigt mit Menschen die sich einen Ball zuwerfen. Sie sollten die P\u00e4sse z\u00e4hlen, was sie auch taten – dabei aber komplett \u00fcbersehen haben, dass sehr gut sichtbar ein Mensch in einem Gorillakost\u00fcm durchs Bild l\u00e4uft.<\/p>\n

In der abstrakteren Variante von Yanai und Lercher war die Frage: Verpassen wir etwas relevantes bei der Analyse von Daten wenn wir uns schon vorab f\u00fcr bestimmte Hypothesen entscheiden die die Daten belegen\/wiederlegen sollen? Die Antwort: Ja, tun wir! Es war f\u00fcnfmal wahrscheinlicher dass die Studierenden ohne Hypothese-Vorgabe den Daten-Gorilla entdecken als dass er von der Gruppe gefunden wurde, die versuchten die drei konkreten Hypothesen zu untersuchen.<\/p>\n

Es w\u00e4re nicht schwer gewesen, den Gorilla zu sehen. Man h\u00e4tte einfach nur die Rohdaten visualieren m\u00fcssen; ein Prozess zu dem kein gro\u00dfer Aufwand n\u00f6tig ist; die Bedeutung von Visualisierungen wurde den Studierenden auch in ihrem Studium beigebracht. Aber wenn man einer Hypothese auf der Spur ist, verliert man offensichtlich den Blick f\u00fcrs Gro\u00dfe ein wenig und konzentriert sich gleich auf die n\u00f6tigen Details um die Vermutung best\u00e4tigen zu k\u00f6nnen. Wenn man hingegen einfach nur „mal schauen“ soll, was die Daten hergeben, dann geht man etwas spielerischer an die Sache heran und probiert alle m\u00f6glichen Dinge aus.<\/p>\n

Der Titel der Arbeit von Yanai und Lercher lautet „A hypothesis is a liability“, also „Eine Hypothese ist eine Belastung“. Ich bin damit aber nicht ganz einverstanden. Die Sache ist ein wenig komplexer. Denn wenn man einfach auf gut Gl\u00fcck mit Daten rumbastelt, kann man zwar einerseits Dinge finden, die man sonst nie gefunden h\u00e4tte. Andererseits aber auch Ph\u00e4nomene entdecken die es gar nicht gibt. Wie bei der „Schokolade hilft beim Abnehmen“-Studie<\/a> aus dem Jahr 2015: Die war absichtlich schlecht gemacht um die Methoden des schlechten Wissenschaftsjournalismus aufzuzeigen – benutzt aber Techniken die leider auch in der echten Forschung (absichtlich oder unabsichtlich) vorkommen. Wenn man etwa einfach nur genug Datenpunkte sammelt und die auf so viele m\u00f6gliche Arten miteinander kombiniert, dann findet man fr\u00fcher oder sp\u00e4ter immer<\/i> irgendwas, was nach einem realen Zusammenhang aussieht, aber keiner ist. In diesem Fall eben „Schokolade hilft beim Abnehmen“. Das nennt sich \u00fcbrigens „p-Hacking“<\/a> und „funktioniert“ deswegen, weil man sich vor der Forschung nicht darauf festlegt, was man eigentlich wissen will und so nachtr\u00e4glich die Parameter der Analyse anpassen kann.<\/p>\n

Wenn man wissenschaftlich seri\u00f6s arbeiten will, dann sollte man schon darauf achten, halbwegs einen Plan zu haben. Man sollte wissen, welche Fragen man beantworten m\u00f6chte und wie man das anstellen kann. Gleichzeitig – und genau darauf weist die Studie von Yanai und Lercher mit dem Daten-Gorilla hin – muss man aber immer offen f\u00fcr Antworten auf Fragen sein, die man gar nicht gestellt hat! Das gelingt der Wissenschaft im gro\u00dfen und ganzen recht gut. Aber leider wissen wir ja nicht, welche Gorillas wir bis jetzt verpasst haben…\"\"<\/p>\n","protected":false},"excerpt":{"rendered":"

Forschung ist kompliziert. Das ist trivial, aber dennoch einen genaueren Blick wert. Denn genau darum geht es: Um den genauen Blick. Ganz klassisch wird die Methodik der Wissenschaft ja gerne so zusammengefasst: Man stellt eine Hypothese auf. Dann wird die Hypothese anhand von Daten gepr\u00fcft. Und danach entweder verifiziert oder verworfen. Dieser Prozess funktioniert sehr […]<\/p>\n","protected":false},"author":1,"featured_media":25818,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[3286,3609,6048,6049,7023,7381,9578,10837,13166,15003,189],"class_list":["post-25817","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-naturwissenschaften","tag-christopher-chabris","tag-daniel-simons","tag-gorilla","tag-gorillaexperiment","tag-hypothese","tag-itai-yanai","tag-martin-lercher","tag-nyu-langone-medical-center","tag-selektive-wahrnehmung","tag-unaufmerksamkeitsblindheit","tag-wissenschaftstheorie"],"_links":{"self":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/25817","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/comments?post=25817"}],"version-history":[{"count":1,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/25817\/revisions"}],"predecessor-version":[{"id":25819,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/25817\/revisions\/25819"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/media\/25818"}],"wp:attachment":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/media?parent=25817"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/categories?post=25817"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/tags?post=25817"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}