{"id":23175,"date":"2016-09-13T06:00:33","date_gmt":"2016-09-13T04:00:33","guid":{"rendered":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/2016\/09\/13\/das-lesen-von-wissenschaftlichen-studien-oder-wie-signifikant-ist-statistische-signifikanz\/"},"modified":"2025-05-14T16:18:00","modified_gmt":"2025-05-14T14:18:00","slug":"das-lesen-von-wissenschaftlichen-studien-oder-wie-signifikant-ist-statistische-signifikanz","status":"publish","type":"post","link":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/2016\/09\/13\/das-lesen-von-wissenschaftlichen-studien-oder-wie-signifikant-ist-statistische-signifikanz\/","title":{"rendered":"Das Lesen von wissenschaftlichen Studien oder wie signifikant ist \u201eStatistische Signifikanz\u201c?"},"content":{"rendered":"<p><i><b>Hinweis: <\/b>Dieser Artikel ist ein Beitrag zum <a href=\"https:\/\/scienceblogs.de\/astrodicticum-simplex\/2016\/07\/19\/der-scienceblogs-blog-schreibwettbewerb-2016\/\">ScienceBlogs Blog-Schreibwettbewerb 2016<\/a>. Hinweise zum Ablauf des Bewerbs und wie ihr dabei Abstimmen k\u00f6nnt <a href=\"https:\/\/scienceblogs.de\/astrodicticum-simplex\/?p=22936\">findet ihr hier<\/a>.<br \/>\n<a href=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/sb-wettbewerb.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/sb-wettbewerb.png\" alt=\"sb-wettbewerb\" width=\"500\" height=\"172\" class=\"aligncenter size-medium wp-image-15702\" \/><\/a><\/i><\/p>\n<p><b>Das sagt der Autor des Artikels, <b>kein Name<\/b> \u00fcber sich:<\/b><br \/>\nIch habe Physik studiert, arbeite aber inzwischen in der Industrie. Meine Freude an der Wissenschaft habe ich aber nicht verloren und so gehe ich gerne in Vortr\u00e4ge oder lese in aktuellen Ver\u00f6ffentlichungen. Mein besonderes Interesse ist zur Zeit das menschliche Gehirn und warum wir ihm nicht immer trauen d\u00fcrfen.<\/p>\n<p>&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;&#8212;<\/p>\n<p class=MsoTitle><b><span style='font-size:24'>Das Lesen von wissenschaftlichen Studien oder wie signifikant ist \u201eStatistische Signifikanz\u201c?<\/span><\/b><\/p>\n<p>Ich finde, es lohnt sich, bei Artikeln zu wissenschaftlichen Erkenntnissen auch die Originalstudie zu lesen, besonders bei Klassikern oder bei Durchbr\u00fcchen in der Wissenschaft.<br \/>\nF\u00fcr mich war dieses Jahr das  bisherige Highlight dabei der direkte Nachweis von Gravitationswellen (und nicht nur, weil es beinahe an meinem Geburtstag ver\u00f6ffentlicht wurde):<\/p>\n<p><b>Observation of Gravitational Waves from a Binary Black Hole Merger [1]<\/b><\/p>\n<p align=center>\n<figure id=\"attachment_23395\" aria-describedby=\"caption-attachment-23395\" style=\"width: 500px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/1-Verschmelzung-zweier-Schwarzer-Loecher.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/1-Verschmelzung-zweier-Schwarzer-Loecher.png\" alt=\"aus B. P. Abbott et al. (LIGO Scientific Collaboration and Virgo Collaboration) Phys. Rev. Lett. 116, 061102 \u2013 Published 11 February 2016  Creative Commons Attribution 3.0 License\" width=\"500\" height=\"500\" class=\"size-medium wp-image-23395\" \/><\/a><figcaption id=\"caption-attachment-23395\" class=\"wp-caption-text\">aus B. P. Abbott et al. (LIGO Scientific Collaboration and Virgo Collaboration) Phys. Rev. Lett. 116, 061102 \u2013 Published 11 February 2016  Creative Commons Attribution 3.0 License<\/figcaption><\/figure>\n<\/p>\n<p><b>Abbildung 1: Verlauf der Verschmelzung zweier Schwarzer L\u00f6cher<\/b><\/p>\n<p>Dabei gibt es ein paar Aspekte, die mir bei diesem Paper besonders gefallen. Das Paper<br \/>\n&#8211; ist f\u00fcr ein Thema an der Speerspitze der Forschung eigentlich sehr verst\u00e4ndlich,<br \/>\n&#8211; zeigt kurz den Weg von der theoretischen Vorhersage \u00fcber die<br \/>\n&#8211; ersten indirekten Nachweise im Doppelpulsar zum<br \/>\n&#8211; aktuellen Experiment,<br \/>\n&#8211; beschreibt das zugrunde liegende physikalische Ph\u00e4nomen und<br \/>\n&#8211; den verwendeten Versuchsaufbau.<br \/>\nIm Abstract, also in der Zusammenfassung des Papers, findet man an zahlenm\u00e4\u00dfigen Angaben zus\u00e4tzlich zu den physikalischen Daten wie den Massen der Schwarzen L\u00f6cher, deren Abstand von der Erde und der abgestrahlten Energie noch eine weitere Angabe n\u00e4mlich<\/p>\n<p><\/p>\n<p align=center><b><span style='font-size:20'>to a significance greater than 5.1&#038;#963<\/span><\/b><\/p>\n<p><\/p>\n<p align=center>\n<figure id=\"attachment_23396\" aria-describedby=\"caption-attachment-23396\" style=\"width: 500px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/2-Abstract-Paper.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/2-Abstract-Paper.png\" alt=\"aus B. P. Abbott et al. (LIGO Scientific Collaboration and Virgo Collaboration) Phys. Rev. Lett. 116, 061102 \u2013 Published 11 February 2016  Creative Commons Attribution 3.0 License\" width=\"500\" height=\"287\" class=\"size-medium wp-image-23396\" \/><\/a><figcaption id=\"caption-attachment-23396\" class=\"wp-caption-text\">aus B. P. Abbott et al. (LIGO Scientific Collaboration and Virgo Collaboration) Phys. Rev. Lett. 116, 061102 \u2013 Published 11 February 2016  Creative Commons Attribution 3.0 License<\/figcaption><\/figure>\n<\/p>\n<p><b>Abbildung 2: Teils des Abstracts zum Paper<\/b><\/p>\n<p>Weil ich dieses Konzept der Statistischen Signifikanz einerseits interessant und andererseits auch grundlegend f\u00fcr das Verst\u00e4ndnis eines jeden Papers finde, will ich es hier in diesem Beitrag vorstellen. Dabei ist die Anwendung nicht nur auf die Physik beschr\u00e4nkt; die statistische Signifikanz kann man in allen Wissenschaftsfeldern antreffen, von der Physik \u00fcber Chemie, Biologie bis hin zu Medizin und Psychologie.<br \/>\nWas au\u00dferdem noch dazukommt, ist, dass der Begriff nicht selbsterkl\u00e4rend ist und damit leicht zu Missverst\u00e4ndnissen einl\u00e4dt. Das hat gerade in letzter Zeit in der Fachwelt f\u00fcr Diskussionen gesorgt \u2013 so weit, dass dieses Jahr die American Statistical Association (ASA) zu diesem Thema ein Positionspapier [2] herausgegeben hat.<\/p>\n<p><b><span style='font-size:20'>Das Wichtigste in K\u00fcrze<\/span><\/b><\/p>\n<p>Von Statistischer Signifikanz wird in wissenschaftlichen Publikationen von Studienergebnissen gesprochen, wenn die Wahrscheinlichkeit, dass ein Testergebnis durch Zufall zustande gekommen ist, nicht \u00fcber einer durch das Signifikanzniveau vorgegebenen Wahrscheinlichkeit liegt. Entgegen einer h\u00e4ufigen Vorstellung beschreibt das Signifikanzniveau damit nicht die Wahrscheinlichkeit, dass das Studienergebnis korrekt ist. Unkritisches und \u00fcbertriebenes Vertrauen in die Statistische Signifikanz kann zu m\u00f6glichen Fehlerquellen wie Publication Bias (Verzerrung aufgrund selektiver Ver\u00f6ffentlichung) und p-Hacking (nachtr\u00e4gliche Ver\u00e4nderung von Studien, um ein vorgegebenes Signifikanzniveau zu erreichen) f\u00fchren, so dass inzwischen andere Ans\u00e4tze zur Beurteilung der Qualit\u00e4t von Studien (Analyse mittels Bayes-Formel) an Bedeutung gewinnen.<\/p>\n<p>So kurz so gut. Wenn wir uns n\u00e4her mit dem Thema besch\u00e4ftigen wollen, dann  helfen die folgenden<\/p>\n<p><b><span style='font-size:20'>Wichtigen Definitionen<\/span><\/b><\/p>\n<p><b><span style='font-size:20'>p-value<\/span><\/b><\/p>\n<p>F\u00fcr ein beobachtetes, statistisches Messergebnis gibt der p-value die Wahrscheinlichkeit an, dass ein solches oder ein noch extremeres Ergebnis durch Zufall auftritt. Dazu wird das Gegenteil der Hypothese &#8211; eine Nullhypothese angenommen. H\u00e4ufig ist das die Hypothese, dass gar kein Effekt vorhanden ist. Der p-value beschreibt dann, wie hoch die Wahrscheinlichkeit ist, dass trotz Vorliegen der Null-Hypothese das beobachtete Ergebnis durch Zufall auftritt.<\/p>\n<p><b><span style='font-size:20'>Signifikanzniveau<\/span><\/b><\/p>\n<p>Das Signifikanzniveau bezeichnet eine vorgew\u00e4hlte Wahrscheinlichkeit, ab der akzeptiert wird, dass ein Ergebnis wahrscheinlich nicht durch Zufall zustande gekommen ist. Das Signifikanzniveau ist im Prinzip frei w\u00e4hlbar. H\u00e4ufig wird eine 95-prozentige Sicherheit gefordert, d.h. wenn kein Effekt vorliegt, dann soll nur in 5 % der F\u00e4lle ein Test f\u00e4lschlicherweise ein positives Ergebnis liefern.<\/p>\n<p><b><span style='font-size:20'>Statistische Signifikanz<\/span><\/b><\/p>\n<p>Ein Ergebnis wird dann als statistisch signifikant bezeichnet, wenn sein p-value unter dem Signifikanzniveau liegt.<\/p>\n<p><b><span style='font-size:20'>Sigma (&#038;#963)<\/span><\/b><\/p>\n<p>In diesem Zusammenhang bezieht sich der griechische Buchstabe Sigma auf die Standardabweichung einer Normalverteilung. Diese ist so definiert, dass sich 68% der Werte einer zuf\u00e4lligen Verteilung in einem Bereich plus\/minus einer Standardabweichung vom Mittelwert befinden und 32% au\u00dferhalb. Erweitert man den Bereich auf plus\/minus 2 Sigma, dann liegen nur noch 5% der Ergebnisse au\u00dferhalb. Im zitierten Paper wird eine Signifikanz von 5,1 Sigma angegeben. Das bedeutet, dass die Wahrscheinlichkeit f\u00fcr einen Falschalarm (n\u00e4mlich, dass das Ergebnis eine zuf\u00e4llige Schwankung des Hintergrundrauschens ist) kleiner als 2 \u00d7 10E-7 ist.<\/p>\n<p>Und weil ich ja oben schon gesagt habe, dass ich gerne die Originalarbeiten zu einem Thema lese, habe ich nat\u00fcrlich auch zur Statistischen Signifikanz die erste Arbeit gesucht:<\/p>\n<p><b><span style='font-size:20'>Geschichte<\/span><\/b><\/p>\n<p>Der p-value wurde von Ronald Fisher [3] 1925 entwickelt, um einfach entscheiden zu k\u00f6nnen, ob ein Messergebnis ernst zu nehmen ist oder m\u00f6glicherweise nur einen statistischen Ausrei\u00dfer darstellt. Aufgrund der einfachen Verwendbarkeit durch Reduktion auf eine einzige Zahl hat der p-value gro\u00dfe Verbreitung gefunden. Zunehmende Kritik an der unkritischen Verwendung des Konzepts der Statistischen Signifikanz (siehe z. B. Regina Nuzzo [4]) hat die American Statistical Association (ASA) dazu bewogen, 2016 ein Positionspapier [2] zu ver\u00f6ffentlichen, dass ausdr\u00fccklich vor einer missbr\u00e4uchlichen Verwendung des p-values warnt. <\/p>\n<p>Nachdem wir die trockenen Definitionen und die Geschichte hinter uns haben \u2013 ich tue mir immer leichter die abstrakten Erkl\u00e4rungen zu verstehen, wenn ich an einem konkreten Beispiel selber rechnen kann. Also kommen wir zur<\/p>\n<p><b><span style='font-size:20'>Anwendung<\/span><\/b><\/p>\n<p>Typischer Anwendungsbereich sind Studien z. B. in der Medizin, in denen zwei oder mehr Gruppen (Patienten oder Versuchstiere) sich in einer oder mehreren Variablen z. B. unterschiedliche Behandlung, aber auch Differenzen der Gruppen (Ern\u00e4hrung, Lebensweise, BMI, Raucher\/Nichtraucher, \u2026) voneinander unterscheiden. Da Krankheitsverl\u00e4ufe f\u00fcr verschiedene Personen und selbst f\u00fcr Versuchstiere einer Zucht\/genetischen Linie unterschiedlich verlaufen, ist normalerweise das Ergebnis im Einzelfall nicht vorhersagbar. Um Aussagen machen zu k\u00f6nnen, werden die Ergebnisse der einzelnen Gruppen zusammengefasst \u2013 man kommt also um etwas Statistik nicht herum.<\/p>\n<p><b><span style='font-size:20'>Anwendungsbeispiel<\/span><\/b><\/p>\n<p>Es soll eine neue Behandlungsmethode f\u00fcr eine Erkrankung getestet werden, bei der sich ohne Behandlung 50% der Patienten von alleine erholen. Die neue Behandlungsmethode wird an 100 Personen getestet.<\/p>\n<p><b><span style='font-size:20'>Aufgabenstellung<\/span><\/b><\/p>\n<p>Ab wie vielen geheilten Patienten im Test kann davon ausgegangen werden, dass ein positives Behandlungsergebnis mit einer Sicherheit von mindestens 95% nicht durch Zufall entstanden ist, also signifikant ist?<\/p>\n<p><b><span style='font-size:20'>L\u00f6sung<\/span><\/b><\/p>\n<p>Nullhypothese ist hier also, dass die Behandlung keinen Effekt hat \u2013 dennoch kann ein Forscher auf den Fall sto\u00dfen, dass zuf\u00e4lligerweise mehr als die H\u00e4lfte der Patienten in der Studie geheilt werden. Jetzt m\u00fcssen wir herausbekommen, wie wahrscheinlich das ist.<br \/>\nF\u00fcr die genaue L\u00f6sung muss man auf die Formeln f\u00fcr die Binomial- bzw. n\u00e4herungsweise auf die Gau\u00dfverteilung zur\u00fcckgreifen. Zur Anschauung wird hier die L\u00f6sung aber graphisch hergeleitet.<br \/>\nIm folgenden Diagramm wird gezeigt, mit welcher Wahrscheinlichkeit jedes Ergebnis, also eine bestimmte Zahl von geheilten Patienten, vorkommt, wenn man f\u00fcr jeden einzelnen der 100 Patienten jeweils unabh\u00e4ngig eine Heilungswahrscheinlichkeit von 50% ansetzt. (Man kann sich vorstellen, dass man f\u00fcr jeden Patient eine M\u00fcnze \u2013 Heilung oder nicht \u2013 wirft. Das Problem ist mathematisch \u00e4quivalent.)<\/p>\n<p align=center>\n<figure id=\"attachment_23397\" aria-describedby=\"caption-attachment-23397\" style=\"width: 500px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/3-Wahrscheinlichkeitsverteilung.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/3-Wahrscheinlichkeitsverteilung.png\" alt=\"Eigene Arbeit\" width=\"500\" height=\"301\" class=\"size-medium wp-image-23397\" \/><\/a><figcaption id=\"caption-attachment-23397\" class=\"wp-caption-text\">Eigene Arbeit<\/figcaption><\/figure>\n<\/p>\n<p><b>Abbildung 3: Wahrscheinlichkeitsverteilung f\u00fcr 100 M\u00fcnzw\u00fcrfe<\/b><\/p>\n<p>Wie man sieht, ist z. B. die Wahrscheinlichkeit in einem Versuch genau 50 geheilte Patienten zu finden 0,08 = 8%. Die Wahrscheinlichkeiten nehmen links und rechts dazu schnell ab, d. h. gr\u00f6\u00dfere Abweichungen vom mittleren Wert sind selten.<br \/>\nF\u00fcr die Aufgabe ist nun zu bestimmen, wo man eine Linie in dem obigen Diagramm setzen m\u00fcsste, dass 95% der Ergebnisse sich links davon befinden, so dass die Wahrscheinlichkeit f\u00fcr ein Ergebnis rechts der Linie nur noch 5% betr\u00e4gt.<br \/>\nDie Summe aller Wahrscheinlichkeiten f\u00fcr ein Ergebnis kleiner einer Zahl ist in der folgenden Graphik gezeigt:<\/p>\n<p align=center>\n<figure id=\"attachment_23398\" aria-describedby=\"caption-attachment-23398\" style=\"width: 500px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/4-Wahrscheinlichkeitsintegral.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/4-Wahrscheinlichkeitsintegral.png\" alt=\"Eigene Arbeit\" width=\"500\" height=\"311\" class=\"size-medium wp-image-23398\" \/><\/a><figcaption id=\"caption-attachment-23398\" class=\"wp-caption-text\">Eigene Arbeit<\/figcaption><\/figure><\/p>\n<p><b>Abbildung 4: Wahrscheinlichkeitsintegral f\u00fcr 100 M\u00fcnzw\u00fcrfe<\/b><\/p>\n<p>Durch die roten Linien im Diagramm ist gezeigt, wie man die zu einer integrierten Wahrscheinlichkeit von 95% geh\u00f6rige Anzahl von geheilten Personen ablesen kann. In unserem Beispiel ergibt sich, dass erst wenn mindestens 58 Personen im Test geheilt wurden, man sich zu 95% sicher sein kann, dass nicht nur durch einen gl\u00fccklichen Zufall \u00fcberdurchschnittlich viele Testpersonen geheilt wurden.<\/p>\n<p>Trotz allem &#8211; auch die Statistische Signifikanz ist nur ein Werkzeug und wie jedes andere Werkzeug kann auch dieses falsch eingesetzt werden. Daher ist es also gut, die diversen Fallstricke zu kennen, um nicht selber darauf hereinzufallen (gerade bei der eigenen Lieblingstheorie muss man besonders vorsichtig sein \u2013 unser Hirn macht uns da gerne etwas vor) oder sich etwas unterschieben zu lassen (Marketing, sensationshungrige Presse, politische Interessen, Profitgier, skrupellose Kollegen \u2013 hier k\u00f6nnen Sie Ihr eigenes Feindbild einsetzen \u2013 k\u00f6nnten versucht haben, dass Ergebnis in deren Richtung zu verschieben).<\/p>\n<p><b><span style='font-size:20'>Diskussion<\/span><\/b><\/p>\n<p>Es muss darauf hingewiesen werden, dass es f\u00fcr die Interpretation der Signifikanz in obigem Beispiel wesentlich ist, dass die Fragestellung im Voraus und eindeutig formuliert wurde und keine weiteren Fragestellungen in Betracht gezogen wurden. M\u00f6gliche Fehlerquellen k\u00f6nnten sein: Der Forscher erhebt verschiedene Datens\u00e4tze (z. B. k\u00f6nnte der Heilerfolg an verschiedenen Tagen und an Hand verschiedener Parameter (Patientenbefragung, Laborwerten, Verbrauch an Schmerzmitteln) erfasst werden). Damit erh\u00f6ht sich die Chance, bei einem der Parameter einen signifikanten Effekt zu sehen.<\/p>\n<p align=center>\n<figure id=\"attachment_23399\" aria-describedby=\"caption-attachment-23399\" style=\"width: 500px\" class=\"wp-caption aligncenter\"><a href=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/5-xkcd-significant.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/astrodicticum-simplex.ulrich.digital\/wp-content\/uploads\/2025\/05\/5-xkcd-significant.png\" alt=\"xkcd-Comics, Randall Munroe,  https:\/\/xkcd.com\/882\/, Creative Commons Attribution-NonCommercial 2.5 License\" width=\"500\" height=\"1387\" class=\"size-medium wp-image-23399\" \/><\/a><figcaption id=\"caption-attachment-23399\" class=\"wp-caption-text\">xkcd-Comics, Randall Munroe, <a href=\"https:\/\/xkcd.com\/882\/\"> https:\/\/xkcd.com\/882\/<\/a>, Creative Commons Attribution-NonCommercial 2.5 License<\/figcaption><\/figure>\n<\/p>\n<p><b>Abbildung 5: xkcd-Comic significance<\/b><\/p>\n<p>Was auch geht, der Forscher \u00e4ndert die Fragestellung (z. B. k\u00f6nnte der Forscher beschlie\u00dfen, auch eine deutlich geringere Zahl von geheilten Patienten w\u00e4re ein Nachweis, dass eine Behandlung anschl\u00e4gt (Erstverschlimmerung) und somit w\u00fcrde er nachtr\u00e4glich auch Ergebnisse z. B. unter 42 geheilten Patienten als signifikant berichten.<\/p>\n<p>Des Weiteren sagt das Signifikanzniveau nicht direkt etwas \u00fcber die Wahrscheinlichkeit aus, dass bei einem positiven Testergebnis die Hypothese richtig ist. Gerade beim Test von a priori unwahrscheinlichen Hypothesen ergibt sich zwingend, dass die meisten positiven Testergebnisse falsch sind und zuf\u00e4llig entstanden sind [5] (f\u00fcr ein Rechenbeispiel hierzu siehe <a href=\"https:\/\/www.wissenbloggt.de\/?p=23360\"> Kann ich meinem Hirn trauen? (3. Teil)<\/a>).<\/p>\n<p><b><span style='font-size:20'>Kritik<\/span><\/b><\/p>\n<p><b><span style='font-size:20'>Fehlerhafte Interpretationen von Statistischer Signifikanz<\/span><\/b><\/p>\n<p>Statistische Signifikanz macht keine Aussage dar\u00fcber, ob die Hypothese richtig ist. Es wird nur angegeben, wie wahrscheinlich bei zutreffender Null-Hypothese das vorliegende Ergebnis ist. Alternative Hypothesen, die das vorliegende Ergebnis ebenso gut oder besser erkl\u00e4ren k\u00f6nnen, werden nicht ber\u00fccksichtigt. Statistische Signifikanz macht keine Aussage \u00fcber die Gr\u00f6\u00dfe oder Relevanz eines Effekts. Mit entsprechend aufw\u00e4ndigen Tests (z. B. mehr Versuchspersonen) k\u00f6nnen auch kleine Effekte signifikant nachgewiesen werden, auch wenn diese Effekte in der Praxis vernachl\u00e4ssigt werden k\u00f6nnen.<\/p>\n<p><b><span style='font-size:20'>Willk\u00fcrliche Definition der Schwelle f\u00fcr statistische Signifikanz<\/span><\/b><\/p>\n<p>Der h\u00e4ufig verwendete Wert f\u00fcr das Signifikanzniveau von 0,05 ist willk\u00fcrlich gew\u00e4hlt und gerade bei Tests von grundlegender Bedeutung zu niedrig angesetzt. In der Physik wird deshalb als Schwelle f\u00fcr den Nachweis von bisher nicht best\u00e4tigten Ph\u00e4nomenen ein Signifikanzniveau von p < 3 \u00d7 10E-7 (entsprechend 5&#038;#963) verwendet (wie oben im Paper zum Nachweis der Gravitationswellen, aber auch beim Nachweis des Higgs-Bosons [6]), obwohl es sich dabei um theoretisch erwartete Ph\u00e4nomene mit vorhandenen indirekten Hinweisen ihrer Existenz handelte. F\u00fcr g\u00e4nzlich unerwartete Effekte m\u00fcsste die Schwelle daher sogar noch h\u00f6her angesetzt werden. Hier muss ich noch einen Seitenhieb auf diverse Pseudowissenschaftler loswerden \u2013 wenn man schon versucht, neue Physik wie ein Ged\u00e4chtnis des Wassers etc. zu etablieren, dann ist schon mehr als Nachweis n\u00f6tig als eine \u201esignifikante\u201c Studie mit Signifikanzniveau 5%).<\/p>\n<p><b><span style='font-size:20'>Bayes-Analyse als Alternative zum p-value<\/span><\/b><\/p>\n<p>Als Alternative zum p-value schlagen Goodman [7] und Steven Novella [8] vor, bei der Analyse von Studienergebnissen den Satz von Bayes zu verwenden. Im Gegensatz zum p-value kann durch den Satz von Bayes vorhergehendes Wissen zur Wahrscheinlichkeit einer Hypothese mit herangezogen werden. Die bayessche Statistik kann dann angeben, wie sich eine a priori vorhandene Wahrscheinlichkeit durch neue Studienergebnisse ver\u00e4ndert. Ein Punkt der hingegen an der Bayes-Analyse kritisiert wird, ist, dass ohne vorheriges Wissen die Festlegung der a priori Wahrscheinlichkeit ebenfalls willk\u00fcrlich ist. Z. B. k\u00f6nnen verschiedene Personen ganz unterschiedlicher Meinung sein, wie wahrscheinlich vor einer Studie die Wahrscheinlichkeit ist, dass etwa Hom\u00f6opathika irgendeine Wirkung haben. Allerdings zwingt die Bayes-Analyse einen dazu, sich dazu Gedanken zu machen, diese zu quantifizieren und die eigene Wahl zu begr\u00fcnden.<\/p>\n<p><b><span style='font-size:20'>Statistische Signifikanz als Schranke f\u00fcr die Ver\u00f6ffentlichung<\/span><\/b><\/p>\n<p>H\u00e4ufig wird ein Erreichen eines Signifikanzniveaus von p < 0,05 als Voraussetzung f\u00fcr eine Ver\u00f6ffentlichung in einer Fachzeitschrift gefordert. Dies f\u00fchrt zu einer Verzerrung (publication bias) der Ergebnisse, so dass statistische Ausreiser \u00fcberm\u00e4\u00dfige Bedeutung bekommen, w\u00e4hrend Ergebnisse, die keinen Effekt zeigen, verloren gehen. Durch das Fehlen der erfolglosen Studien wird eine Wirksamkeit vorget\u00e4uscht, die in Wirklichkeit nicht vorhanden ist. Daher ist zum Beispiel die Fachzeitschrift Basic and Applied Social Psychology dazu \u00fcbergegangen, in ihren Ver\u00f6ffentlichungen den p-value nicht mehr zu verwenden [9].<\/p>\n<p><b><span style='font-size:20'>Ver\u00e4nderung von Studien um Signifikanz zu erreichen (&#8222;p-hacking&#8220; or &#8222;researcher degrees of freedom&#8220;)<\/span><\/b><\/p>\n<p>Simonsohn, Nelson und Simmons konnten nachweisen [10], dass sich die p-values in Ver\u00f6ffentlichungen auff\u00e4llig h\u00e4ufig knapp unter 0,05 h\u00e4ufen. Als m\u00f6glichen Grund f\u00fchren sie an, dass Freiheiten des Forschers bei der Datensammlung, Analyse und Darstellung es erlauben, die vorliegenden Daten auch bei feststehender Fragestellung auf vielerlei Weise auszuwerten [11]. Ein Forscher k\u00f6nnte z. B. eine Befragung dann verl\u00e4ngern, wenn sich noch kein signifikanter Effekt zeigt und dann beenden, wenn die Signifikanz erreicht wurde. In [12] zeigen Andrew Gelmany und Eric Lokenz beispielhaft an realen Papern wie so etwas vor sich gehen kann.<br \/>\nDass in der akademischen Welt ein gewisser Druck herrscht, zu ver\u00f6ffentlichen und daf\u00fcr signifikante Ergebnisse produziert werden m\u00fcssen, versch\u00e4rft das Problem noch.<br \/>\nEin Ansatz, den Einfluss sowohl von nicht ver\u00f6ffentlichten als auch von im Verlauf abge\u00e4nderten Studien zu begrenzen, ist die Initiative AllTrials[12], die u. a. fordert, Studien noch vor ihrem Beginn und einschlie\u00dflich einer Beschreibung des geplanten Vorgehens zu registrieren.<\/p>\n<p>Und weil es dort schon so sch\u00f6n zusammengefasst wurde, will ich aus dem oben erw\u00e4hnten Positionspapier der American Statistical Association zitieren f\u00fcr das<\/p>\n<p><b><span style='font-size:20'>Schlusswort<\/span><\/b><\/p>\n<p align=center><b><span style='font-size:20'>\u201eGutes statistisches Vorgehen, als ein wesentlicher Bestandteil guten wissenschaftlichen Vorgehens, betont die Prinzipien guten Studiendesigns und guter Durchf\u00fchrung einer Studie, eine Vielfalt von zahlenm\u00e4\u00dfigen und graphischen Zusammenstellungen der Daten, ein Verst\u00e4ndnis des untersuchten Ph\u00e4nomens, die Interpretation der Ergebnisse im Kontext, das vollst\u00e4ndige Offenlegen und geeignetes logisches und quantitatives Verst\u00e4ndnis davon, was die Datenzusammenstellungen bedeuten.<\/p>\n<p>Kein einzelner Zahlenwert sollte das wissenschaftliche Denken ersetzen.\u201c<\/span><\/b><\/p>\n<p><\/p>\n<p><b>Quellen- und Literaturangaben<\/b><br \/>\n[1] B.P. Abbott et al. (LIGO Scientific Collaboration and Virgo Collaboration) Phys. Rev. Lett. 116, 061102 \u2013 Published 11 February 2016 <a href=\"https:\/\/journals.aps.org\/prl\/abstract\/10.1103\/PhysRevLett.116.061102\"> https:\/\/journals.aps.org\/prl\/abstract\/10.1103\/PhysRevLett.116.061102<\/a><br \/>\n[2] Ronald L. Wasserstein &#038; Nicole A. Lazar 2016): The ASA&#8217;s statement on p-values: context, process, and purpose, The American Statistician, <a href=\"https:\/\/dx.doi.org\/10.1080\/00031305.2016.1154108\"> https:\/\/dx.doi.org\/10.1080\/00031305.2016.1154108<\/a><br \/>\n[3] Fisher, Ronald A. (1925). Statistical Methods for Research Workers. Edinburgh, UK: Oliver and Boyd. p. 43. ISBN 0-050-02170-2<br \/>\n[4] Spektrum der Wissenschaft, 2014, Regina Nuzzo:\u201eWenn Forscher durch den Signifikanztest fallen\u201c <a href=\"https:\/\/www.spektrum.de\/news\/statistik-wenn-forscher-durch-den-signifikanztest-fallen\/1224727\"> https:\/\/www.spektrum.de\/news\/statistik-wenn-forscher-durch-den-signifikanztest-fallen\/1224727<\/a> (aufgerufen am 27.M\u00e4rz 2016), Original: &#8222;Statistical errors&#8220;, Nature 506, S. 150-152, 2014 <a href=\"https:\/\/www.nature.com\/news\/scientific-method-statistical-errors-1.14700 \"> https:\/\/www.nature.com\/news\/scientific-method-statistical-errors-1.14700 <\/a> (aufgerufen am 30.M\u00e4rz 2016)<br \/>\n[5] Why Most Published Research Findings Are False; John P. A. Ioannidis; PLOS; Published: August 30, 2005; <a href=\"https:\/\/dx.doi.org\/10.1371\/journal.pmed.0020124\"> https:\/\/dx.doi.org\/10.1371\/journal.pmed.0020124<\/a><br \/>\n[6] CERN experiments observe particle consistent with long-sought Higgs boson. Pressemitteilung von CERN. 4.Juli 2012. <a href=\"https:\/\/press.cern\/press-releases\/2012\/07\/cern-experiments-observe-particle-consistent-long-sought-higgs-boson\"> https:\/\/press.cern\/press-releases\/2012\/07\/cern-experiments-observe-particle-consistent-long-sought-higgs-boson<\/a> aufgerufen am 7.4.2016<br \/>\n[7] Toward Evidence-Based Medical Statistics. 2: The Bayes Factor; Steven N. Goodman, MD, PhD; Ann Intern Med. 1999 Jun 15;130(12):1005-13<br \/>\n[8] P Value Under Fire; Steven Novella; 9.3.2016 <a href=\"https:\/\/www.sciencebasedmedicine.org\/p-value-under-fire\/#more-41146\"> https:\/\/www.sciencebasedmedicine.org\/p-value-under-fire\/#more-41146<\/a> aufgerufen am 7.4.2016<br \/>\n[9] Psychology journal bans P values; Chris Woolston; 09 March 2015;<br \/>\n<a href=\"https:\/\/www.nature.com\/news\/psychology-journal-bans-p-values-1.17001\"> https:\/\/www.nature.com\/news\/psychology-journal-bans-p-values-1.17001<\/a> aufgerufen am 11.4.2016<br \/>\n[10] P-curve: A key to the file-drawer; Simonsohn, Uri; Nelson, Leif D.; Simmons, Joseph P.; Journal of Experimental Psychology: General, Vol 143(2), Apr 2014, 534-547. <a href=\"https:\/\/dx.doi.org\/10.1037\/a0033242\"> https:\/\/dx.doi.org\/10.1037\/a0033242<\/a><br \/>\n[11] False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant; Joseph P. Simmons, Leif D. Nelson und Uri Simonsohn; <a href=\"https:\/\/www.ncbi.nlm.nih.gov\/pubmed\/22006061\"> https:\/\/www.ncbi.nlm.nih.gov\/pubmed\/22006061<\/a><br \/>\n<br \/>\n[12] The garden of forking paths: Why multiple comparisons can be a problem, even when there is no<br \/>\nshing expedition&#8220; or p-hacking&#8220; and the research hypothesis was posited ahead of time;Andrew Gelmany and Eric Lokenz<br \/>\n<a href=\"https:\/\/www.stat.columbia.edu\/~gelman\/research\/unpublished\/p_hacking.pdf\"> https:\/\/www.stat.columbia.edu\/~gelman\/research\/unpublished\/p_hacking.pdf<\/a><br \/>\n[13] <a href=\"https:\/\/www.alltrials.net\/find-out-more\/all-trials\"> https:\/\/www.alltrials.net\/find-out-more\/all-trials<\/a><\/p>\n<p><b>Originalzitate<\/b><\/p>\n<p>&#8222;Good statistical practice, as an essential component of good scientific practice, emphasizes principles of good study design and conduct, a variety of numerical and graphical summaries of data, understanding of the phenomenon under study, interpretation of results in context, complete reporting and proper logical and quantitative understanding of what data summaries mean. No single index should substitute for scientific reasoning.&#8220;<br \/>\naus Ronald L. Wasserstein &#038; Nicole A. Lazar 2016): The ASA&#8217;s statement on p-values: context, process, and purpose, The American Statistician, <a href=\"https:\/\/dx.doi.org\/10.1080\/00031305.2016.1154108\"> https:\/\/dx.doi.org\/10.1080\/00031305.2016.1154108<\/a><\/p>\n<p><b>Bildnachweis<\/b><\/p>\n<p>Abbildung 1 und 2: aus B. P. Abbott et al. (LIGO Scientific Collaboration and Virgo Collaboration) Phys. Rev. Lett. 116, 061102 \u2013 Published 11 February 2016  Creative Commons Attribution 3.0 License<br \/>\nAbbildung 3 und 4: Autor<br \/>\nAbbildung 5: xkcd-Comics, Randall Munroe, <a href=\"https:\/\/xkcd.com\/882\/\"> https:\/\/xkcd.com\/882\/<\/a>, Creative Commons Attribution-NonCommercial 2.5 License<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Hinweis: Dieser Artikel ist ein Beitrag zum ScienceBlogs Blog-Schreibwettbewerb 2016. Hinweise zum Ablauf des Bewerbs und wie ihr dabei Abstimmen k\u00f6nnt findet ihr hier. Das sagt der Autor des Artikels, kein Name \u00fcber sich: Ich habe Physik studiert, arbeite aber inzwischen in der Industrie. Meine Freude an der Wissenschaft habe ich aber nicht verloren und [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":953,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11,764],"tags":[2666,6120,13307,244],"class_list":["post-23175","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-naturwissenschaften","category-schreibwettbewerb","tag-blog-schreibwettbewerb","tag-gravitationswellen","tag-signifikanz","tag-statistik"],"_links":{"self":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/23175","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/comments?post=23175"}],"version-history":[{"count":1,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/23175\/revisions"}],"predecessor-version":[{"id":23176,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/posts\/23175\/revisions\/23176"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/media\/953"}],"wp:attachment":[{"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/media?parent=23175"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/categories?post=23175"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/astrodicticum-simplex.ulrich.digital\/index.php\/wp-json\/wp\/v2\/tags?post=23175"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}