Sozio-psychologische Studien, Teil 2

Ich habe hier begonnen, die Einwände eines Jason Mitchell gegen schlechte sozialpsychologische Experimente auseinanderzunehmen. Mitchells Punkte finden sich hier, machen wir weiter – zuvor ein tl;dr:

Der Autor findet:

What they are is justifiably upset at having their integrity questioned

Ich finde:

What they are is upset at justifiably having their integrity questioned

Marginale Unterschiede zwischen Scharlatanerie und Wissenschaft. Ist wie bei Astronomie und Astrologie, da sind sogar nur drei Buchstaben anders.


Because experiments can be undermined by a vast number of practical mistakes, the likeliest explanation for any failed replication will always be that the replicator bungled something along the way. Unless direct replications are conducted by flawless experimenters, nothing interesting can be learned from them.

Diese Theorie ist bekannt. Die einfachste Erklärung für ein nicht-wiederholbares Experiment ist daher – nach der erwähnten Theorie – das der ursprüngliche Forscher Mist gebaut hat. Mitchell redet sich dann von “implizitem Wissen” raus, was die ursprünglichen Forscher haben sollten, aber halt nicht angeben. Es ist aber unstrittig schlechte Forschung, nicht alles anzugeben, was man zum Verständnis braucht.

Despite claims to the contrary, [a] failed replications do not provide meaningful information if they closely follow original methodology; [b] they do not necessarily identify effects that may be too small or flimsy to be worth studying; and [c] they cannot contribute to a cumulative understanding of scientific phenomena.

Dass (a) Bullshit ist, habe ich letztens schon ausführlich dargelegt, dass (b) eine Vergewaltitgung etablierter Methodik ist soeben. Zu Punkt (c) erwähnt der Autor, dass

Many of the most robust and central phenomena in psychology started life as flimsy and capricious effects, their importance only emerging after researcher developed more powerful methods with which to study them

… was unbelegtes Blabla ist. Es könnte genauso bedeuten, dass Psychologen so scharf drauf sind, irgendeinen Unsinn nachzuweisen, dass selbst “robuste” psychologische Forschungsmethoden Unsinn produzieren. Er führt dass dann auf “zu kleine” Studien zurück, woraus man schließen könnte, dass kleine Studien in der Psychologie für die Tonne sind und sie bleiben lässt. so hingegen ist es absichtliches Produzieren von Mist.

Replication efforts appear to reflect strong prior expectations that published findings are not reliable, and as such, do not constitute scientific output. […] When Dutch explorers observed black swans in Australia, this negative belief was instantly and permanently confuted.

Skeptizismus ist einer der Grundpfeiler der Wissenschaft. Das ist nicht schlecht, das ist konstituitiv. Er fokussiert dann auf “positive Erkenntnis” versus Widerlegung und vergisst, dass die Nullhypothese in der Soziologie “da ist nichts” ist und der schwarze Schwan halt wirklich existieren, nicht nur zufällig dreckig sein muss.

The field of social psychology can be improved, but not by the publication of negative findings. Experimenters should be encouraged to restrict their “degrees of freedom,” for example, by specifying designs in advance.

Es ist entsetzlich, dass man überhaupt auf die Idee kommt, sein Forschungsdesign ex post festzulegen, also einfach mal draus loszuuntersuchen, ob irgenwo was nettes bei rumkommt. Das hat aber nur bedingt etwas mit den “degrees of freedom” zu tun, und dafür gibt es genug Fit-Indizes – mir fallen spontan GFI, AGFI, CFI, NNFI und der übliche Chi²/df ein, aber das ist in der durchschnittlichen psychologischen Studie natürlich viel zu komplexe Statistik.

Whether they mean to or not, authors and editors of failed replications are publicly impugning the scientific integrity of their colleagues

Nein, das tun nur Autoren, die Müll publizieren. Man muss die schwarzen Schwäne Schafe aussortieren, wenn man nur weiße Schwäne haben will. Es macht aber weiße Schwäne nicht weniger weiß, wenn Leute feststellen, dass es auch schwarze Schwäne Schafe gibt. Es regt nur die schwarzen Schwäne Schafe auf, die genauso tolle Schwäne sein wollen wie die weißen.

Targets of failed replications are justifiably upset

Klar regen sich schwarze Schafe auf, wenn man wirklich schwarze Schwäne findet, dann können die schwarzen Schafe nicht mehr behaupten, sie wären auch tolle Schwäne und haben nur eine andere Farbe als die weißen.

Davon sind sie aber immer noch keine Schwäne. Oder Wissenschafler.

Advertisements

One Reply to “Sozio-psychologische Studien, Teil 2”

Leave a Reply

Please log in using one of these methods to post your comment:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s