Du hast monatelang an deinem Fragebogen gefeilt. 200 Leute haben teilgenommen, die Ergebnisse sind statistisch signifikant und die Mehrheit deiner Hypothesen bestätigt. Du kannst stolz auf dich sein!

Doch dann kommt dieser eine Satz zurück:

„Die Gutachter sind sich der Probleme im Zusammenhang mit Querschnittsdesigns und der gemeinsamen Methodenvarianz sehr bewusst und lehnen Studien, die ausschließlich auf dieser Methode basieren, routinemäßig ab.“

Wie kann das sein? Du hast doch exakt das gemacht, was man dir im Methodenseminar beigebracht hat…

In diesem Video erkläre ich dir die 3 Gründe, warum Survey-Forschung so gut wie tot ist, und wie du dich methodisch stattdessen aufstellen solltest.

Grund #1 Der fehlende Zeitpfeil

Fangen wir mit dem ersten Grund an, der die meisten Umfragen schon im ersten Absatz der Methodik untergehen lässt: die Zeit. Genauer gesagt – das komplette Fehlen davon.

Eine klassische Querschnitts-Umfrage ist nämlich nichts anderes als ein Foto. Ein einziger Schnappschuss, ein Moment, alles auf einmal abgefragt. Und mit einem Foto kannst du wunderbar zeigen, dass zwei Dinge gemeinsam auftreten. Aber du kannst niemals zeigen, was zuerst da war – und was woraus folgt.

Nehmen wir folgendes Beispiel: Du willst wissen, wie Prüfungsangst mit dem Notenschnitt zusammenhängt. Also baust du einen Fragebogen, lässt 200 Studierende ihre Angst auf einer Skala von 1 bis 10 ankreuzen, fragst im selben Atemzug den Notenschnitt ab – und tatsächlich: Wer ängstlicher ist, hat schlechtere Noten. Bingo, denkst du. Angst macht schlechte Noten.

Aber halt. Woher willst du das wissen? Vielleicht ist es ja genau andersherum, und die schlechten Noten aus dem letzten Semester machen die Angst. Oder – noch fieser – ein dritter Faktor steckt dahinter, an den du gar nicht gedacht hast. Chronischer Schlafmangel zum Beispiel, der gleichzeitig die Angst hochtreibt und die Noten runterzieht. Dein schöner Pfeil von der Angst zur Note? Reine Behauptung.

Und das ist kein Erbsenzählen von übermotivierten Gutachtern, sondern eine der ältesten Regeln der empirischen Forschung. Um überhaupt von Ursache und Wirkung sprechen zu dürfen, brauchst du drei Dinge: erstens einen Zusammenhang – den hast du. Zweitens eine zeitliche Reihenfolge – die Ursache muss vor der Wirkung kommen. Und drittens den Ausschluss anderer Erklärungen.

Ein Forscherteam um John Antonakis (2010) haben in einem vielzitierten Aufsatz mit dem schönen Titel „On making causal claims“ gezeigt, wie oft selbst gestandene Wissenschaftler diese Regel brechen und munter von Ursachen reden, wo sie nur eine Korrelation haben. Deine Querschnitts-Umfrage liefert dir nämlich genau eine von drei Bedingungen. Eine von dreien. Und das ist nicht viel.

Kannst du eine Umfrage machen, die mehr als eine dieser Bedingungen erfüllt? Auf jeden Fall. Du verwandelst dein Foto in einen Film. Statt alles auf einmal abzufragen, misst du zeitversetzt. Die Prüfungsangst erhebst du zwei Wochen vor der Klausur, den Notenschnitt holst du dir, wenn die Ergebnisse da sind. Plötzlich hast du eine echte Reihenfolge: erst die Angst, dann die Note. Das nennt sich Längsschnittdesign, und schon zwei Messzeitpunkte allein machen dein Forschungsdesign viel robuster als der Standard-Fragebogen jemals sein könnte.

Der schnelle Selbsttest für dich: Schau dir deinen wichtigsten Zusammenhang an und frag dich ganz ehrlich – könnte mein Pfeil genauso gut andersherum zeigen? Wenn du da auch nur eine Sekunde ins Grübeln kommst, hast du ein Querschnitts-Problem.

Jetzt sagst du vielleicht: Ja schön und gut, aber mein Prof hat mir die Umfrage vorgeschlagen und scheint wohl damit zufrieden zu sein. Sehr gut! Dann solltest du dieses Video unbedingt zu Ende schauen und alle 3 Gründe als Limitation aufführen. Wie du diese formulierst, und noch wichtiger, deine Eigenleistung am besten artikulierst, zeige ich dir Schritt für Schritt in meinem kostenlosen Abschlussarbeits-Crash-Kurs.

Grund #2 — Die Methode, die deine Ergebnisse erfindet

Kommen wir zum zweiten Grund, warum Survey-Forschung in Verruf steht: Die Common Method Variance. Klingt kompliziert, ist aber eigentlich ganz simpel.

Zurück zu unserer Prüfungsangst-Studie. Du hast deinen Fragebogen, eine einzige Person füllt ihn aus, und in diesem einen Dokument fragst du beides ab: wie ängstlich sie ist – und wie gut ihre Noten sind. Dieselbe Person, derselbe Moment, dieselbe Skala von 1 bis 10, dasselbe kleine graue Kästchen zum Ankreuzen. Und genau da liegt der Hund begraben.

Denn jetzt misst du nicht mehr nur Angst und Noten. Du misst auch die Person, die da gerade ausfüllt. Vielleicht ist sie an diesem Tag mies drauf und kreuzt deshalb bei allem die schlechteren Werte an. Vielleicht will sie in sich stimmig wirken und denkt sich unbewusst: „Ich hab vorhin gesagt, ich bin ängstlich, dann sag ich jetzt halt auch, meine Noten sind nicht so toll.“ Vielleicht will sie sich auch einfach von ihrer besten Seite zeigen. All diese Effekte – Tagesform, Konsistenzstreben, soziale Erwünschtheit – haben mit deinen eigentlichen Variablen null zu tun. Aber sie ziehen sich durch alle deine Antworten und kleben sie künstlich zusammen.

Das Ergebnis: Ein Teil deiner schönen Korrelation kommt gar nicht von einem echten Zusammenhang zwischen Angst und Noten. Er kommt schlicht daher, dass beides aus derselben Hand stammt. Die Methode selbst erzeugt einen Effekt, der aber in Wahrheit kleiner, größer, oder gar keiner ist. Das verzerrt dann die Interpretation deiner Ergebnisse.

Philip Podsakoff und Kollegen (2003) haben dazu einen Aufsatz geschrieben, der zu den meistzitierten Methodenpapern der gesamten Sozialwissenschaft gehört. Den solltest du kennen. Es gibt auch Stimmen wie, die meinen, das Ganze werde manchmal überdramatisiert. Aber das hilft dir herzlich wenig, wenn der Mensch, der deine Note vergibt, darauf sensibilisiert ist.

Wie machst du’s also besser? Die Zauberformel heißt: Trenne deine Quellen. Statt eine Person nach allem zu fragen, holst du dir deine Variablen aus verschiedenen Richtungen. Im Organisations-Kontext lässt du zum Beispiel die Mitarbeiterin ihre eigene Angst einschätzen – aber die Leistung bewertet die Führungskraft. Zwei Quellen, und die Common Method Variance ist weg. Geht das nicht, kannst du wenigstens zeitlich trennen oder die Antwortformate variieren, damit nicht alles im selben grauen Raster verschwimmt. Es gibt sogar statistische Tricks wie eine sogenannte Marker-Variable, um den Effekt nachträglich abzuschätzen – aber sauberer ist es, das Problem gar nicht erst entstehen zu lassen.

Grund #3 — Die Lücke zwischen Sagen und Tun

Die ersten beiden Einwände Probleme von Survey-Designs konntest du noch teilweise reparieren – mit einem zweiten Messzeitpunkt und einer zweiten Quelle. Grund #3 bekommst du mit keinem Trick und keiner Statistik der Welt weggerechnet, denn er steckt im Selbstbericht selbst.

Das Problem ist nämlich: Ein Fragebogen misst nie, was Menschen tun. Er misst nur, was Menschen über sich sagen. Und das sind zwei völlig verschiedene Paar Schuhe.

Stell dir vor, du fragst hundert Autofahrer, ob sie im Stau drängeln und andere ausbremsen. Was glaubst du, wie viele ehrlich „ja, ständig“ ankreuzen? Fast keiner. Stell dich stattdessen mit einer Kamera an die Autobahnauffahrt – und du siehst eine ganz andere Welt. Das ist die Lücke zwischen Sagen und Tun (oder Englisch: Die Intention-Behavior Gap). Und diese ist riesig.

Zurück zu unserer Prüfungsangst-Studie. Sagen wir, du willst nicht den Notenschnitt aus dem System ziehen, sondern fragst die Studierenden einfach selbst: „Wie erfolgreich bist du im Studium?“ Auf der schönen Skala von 1 bis 10. Und schon sitzt du in der Falle. Denn der eine schätzt sich notorisch zu gut ein, die andere viel zu kritisch, und ein Dritter kreuzt einfach das an, was sich gut anfühlt. Du misst nicht den Studienerfolg. Du misst die Selbstwahrnehmung des Studienerfolgs – und tust dann so, als wäre das dasselbe.

Dass das, was wir behaupten, und das, was wir tun, oft meilenweit auseinanderliegt, ist übrigens keine neue Erkenntnis. Schon in den 1930er-Jahren hat ein Forscher namens Richard LaPiere (1934) genau das gezeigt – die Kluft zwischen Einstellung und Verhalten beschäftigt die Wissenschaft also seit fast hundert Jahren. Und sie ist bis heute nicht verschwunden.

Wie kommst du da raus? Der Königsweg lautet: Hör auf zu fragen und fang an zu messen. Wo immer es geht, ersetzt du den Selbstbericht durch etwas Härteres. Du willst Studienerfolg? Dann nimm die echten Noten aus dem Prüfungsamt, nicht die subjektive Einschätzung. Du willst Verhalten messen? Dann beobachte es, oder greif auf objektive Daten zurück – Klickzahlen, Anwesenheit, tatsächliche Käufe, was auch immer dein Phänomen hergibt.

Dieses Video heißt „Warum Umfragen tot sind“ – aber das stimmt so natürlich nicht ganz. Umfragen sind nicht tot. Das faule Standard-Survey ist tot: eine Person, ein Zeitpunkt, alles selbst angekreuzt. Eine durchdachte Umfrage dagegen – zeitversetzt erhoben, aus mehreren Quellen, mit echten Daten kombiniert – ist absolut konkurrenzfähig und kann dir eine glänzende Note bringen.

Aber dazu musst du die Probleme der Methode kennen und sie von Anfang an versuchen abzuschwächen.

Wenn du aber wirklich 100% sauber Ursache und Wirkung zeigen willst – wenn du den Gutachter so richtig beeindrucken willst – dann gibt es eine Methode, die alle drei Sargnägel auf einmal aushebelt: das Experiment. Du teilst Menschen zufällig in Gruppen, veränderst gezielt eine Sache und schaust, was passiert. Zeitliche Reihenfolge? Eingebaut. Common Method Variance? Umgangen. Verhalten statt Selbstbericht? Kannst du einbauen. Das Experiment ist und bleibt der Goldstandard der quantitativen Forschung – und genau deshalb lohnt es sich, schon bei der Planung deiner Arbeit darüber nachzudenken, ob du nicht besser mit einem Experiment fahren würdest.

Wenn du Surveys nun besser jetzt verstanden hast, super – aber die Auswahl der Methode ist nur eine von dutzenden, die in einer empirischen Arbeit zusammenpassen müssen. Im großen shribe! Abschlussarbeitstraining an zeige ich dir wie sie mit allen anderen Bausteinen zusammenpasst: von der ersten Idee bis zur fertigen Arbeit, inklusive echter Textbeispiele, Vorlagen und einer Community in der du mir alle deine Fragen stellen kannst. Den Link findest du in der Videobeschreibung.