Lässt sich eine qualitative Inhaltsanalyse mit ChatGPT durchführen?

Die qualitative Inhaltsanalyse ist eine der beliebtesten Methoden der qualitativen Forschung. So beliebt, dass sie oft das Mittel der Wahl für studentische Abschlussarbeiten ist, in der Interviews oder andere qualitative Daten analysiert werden sollen.

Leider ist die qualitative Inhaltsanalyse auch extrem arbeitsintensiv. Interview-Transkripte müssen teilweise Wort für Wort ausgewertet werden.

Wäre das nicht eine Aufgabe, bei der du dir wunderbar Unterstützung von ChatGPT holen könntest?

Qualitative Inhaltsanalyse mit ChatGPT

Die qualitative Inhaltsanalyse dient dazu, große Mengen an qualitativen Daten zusammenzufassen oder zu strukturieren.

Zusammenfassen bedeutet, dass die Inhalte durch das Bilden von Kategorien abstrahiert werden, ein Prozess den man auch „kodieren“ nennt. Man gibt kleinen Analyseeinheiten wie z.B. einer Antwort auf eine Interviewfrage ein „Label“ und kann so am Ende hunderte von Seiten Text in einem einzigen Kategoriensystem übersichtlich darstellen.

Zusammenfassen bedeutet auch, dass man vorher nicht weiß, welche Kategorien am Ende dabei herauskommen. Dieses Vorgehen folgt einer induktiven Logik, also von speziell (dem Text) nach allgemein (den Kategorien).

Strukturieren bedeutet, dass die Inhalte vorgefertigten Kategorien zugeordnet werden. Diese Kategorien können beispielsweise aus der Literatur abgeleitet werden. Daraus entsteht ein sogenanntes Codebuch, das festlegt, wann eine Analyseeinheit einer bestimmten Kategorie entspricht.

Beide Aufgaben sind extrem arbeitsaufwändig und repetitiv.

Das heißt, sie sind wie gemacht, für eine künstliche Intelligenz, oder besser noch, für ein Sprachmodell wie GPT.

Wie können wir nun also ChatGPT in den Prozess der qualitativen Inhaltsanalyse bestmöglich einbinden? Im Folgen schauen wir uns 7 Schritte an, mit denen du ChatGPT zu deinem persönlichen Forschungsassistenten machst.

Die folgenden Schritte basieren lose auf dem Working Paper von Zhang et al. (2023) von der Penn State University, in dem die Autoren die Best Practices beim Prompt Engineering von 17 qualitativen Forschern zusammengefasst haben.

Prompt Engineering bezieht sich auf das Verfassen der Arbeitsanweisungen, die du ChatGPT gibst.

#1 Starte deinen Prompt mit einem Rollenspiel

Mehrere Experimente mit ChatGPT haben gezeigt, dass eine Rollenzuweisung die Qualität der Ergebnisse deutlich verbessern kann.

In unserem Fall soll ChatGPT ja eine qualitative Inhaltsanalyse durchführen. Überlege dir also eine Rolle die dazu passt. Zum Beispiel so:

Stell dir vor, du bist ein Forscher und Experte in der Auswertung von qualitativen Daten wie zum Beispiel Interviewtranskripten.

#2 Gib ChatGPT genug Kontext

Um eine qualitative Inhaltsanalyse mit ChatGPT durchzuführen, wirst du mit einer zweizeiligen Arbeitsanweisung nicht weit kommen. Du musst deinen Prompt so detailliert wie möglich ausformulieren, damit du bestmögliche Ergebnisse bekommst.

Stell dir einfach vor, du sprichst mit jemandem, der sehr schlau ist, aber die Aufgabe zum ersten Mal macht. Für unsere qualitative Inhaltsanalyse könnte das so aussehen:

Ich werde dir gleich ein Interviewtranskript geben, dass du mithilfe einer Methode auswerten sollst, die sich zusammenfassende qualitative Inhaltsanalyse nennt. Dabei sollst du den Antworten auf die Fragen in dem Transkript eine Kategorie zuweisen. Eine Kategorie ist eine abstrakte Zusammenfassung des Inhalts. Den Fragen selbst sollst du keine Kategorie zuweisen.

#3 Gib ChatGPT eine detaillierte Beschreibung der Qualitativen Inhaltsanalyse

Der Prompt sollte so genau wie möglich beschreiben, was das Ziel der Aufgabe ist. Dazu gehört auch, dass du den Prompt auf das Ziel, das du hast, ausrichtest. Sagen wir mal, deine Interviews behandeln das Thema Remote Work und Stress.

Dann solltest du deinen Prompt auch genau dahingehend verfassen. Du musst dir immer vor Augen führen das ChatGPT nur so viel über die Aufgabe weiß, wie du der KI an Informationen mitgibst.

Die Interviewtranskripte behandeln das Thema Remote Work. Im Speziellen sollen die Kategorien, die du basierend auf den Antworten bildest, damit zu tun haben, wie Remote Worker digitalen Stress empfinden und welche Gegenmaßnahmen sie in diesem Zusammenhang unternehmen.

Der Detailgrad kann eigentlich nicht hoch genug sein. Es ist wichtig, dass du nicht ungeduldig wirst, sondern dir Zeit beim Verfassen nimmst.

#4 Gib ChatGPT eine Idee, wie die Ergebnisse der qualitativen Inhaltsanalyse aussehen sollen

Wenn du mit vorgefertigten Kategorien oder einem Codebuch arbeitest, dann würdest du ChatGPT jetzt erklären, in welche Kategorien die Daten eingeordnet werden sollen. Du kannst auch ein komplettes Codebuch mit einfügen.

Für unser Beispiel fahren wir aber weiter mit einer zusammenfassenden Inhaltsanalyse fort. Hier wollen wir von ChatGPT, dass die Kategorien noch nicht zu abstrakt sind. Außerdem brauchen wir Beispiele aus den Daten, welche die Kategorien repräsentieren.

Gib mir nicht mehr als 10 Kategorien für die ersten 3 Transkripte und suche dazu für jede Kategorie ein Textbeispiel von mindestens drei Sätzen Länge, welches die Kategorie bestmöglich widerspiegelt.

#5 Strukturiere deine Daten

ChatGPT liefert bessere Ergebnisse, wenn du die Transkripte so gut wie möglich strukturierst. Das heißt, nicht einfach copy & pasten, sondern darauf achten, dass das Format aus Frage und Antwort immer gleich ist.

Rechtschreibfehler oder Satzzeichen behindern die Performance nicht.

Der einfachste Weg um ChatGPT die Struktur der Daten zu erklären ist dieser hier:

Die Transkripte sind folgendermaßen strukturiert:

<Interviewer (gekennzeichnet durch die Abkürzung „I“)> : <Frage (endet mit „?“)>

<Teilnehmer (gekennzeichnet durch die Abkürzung „T“)> : <Antwort>

#6 Definiere das Format der Ergebnisse

Damit du die Ergebnisse möglichst gut weiterverarbeiten kannst, solltest du dir überlegen, wie ChatGPT sie dir ausgeben soll.

Hier empfiehlt sich in jedem Fall eine Tabelle. Das könntest du so in deinen Prompt integrieren:

„Bitte ordne die Ergebnisse in Tabellenform an. Die erste Spalte enthält die Kategorien, die zweite Spalte eine Beschreibung der Kategorien (mindestens drei Sätze), die dritte Spalte das Beispiel-Zitat und die letzte Spalte die Anzahl der Teilnehmer, die das Thema erwähnt haben.“

#7 Justiere nach

Nachdem du deinen Monster-Prompt eingegeben und ChatGPT mit den Transkripten gefüttert hast, kannst du natürlich immer noch Anpassungen vornehmen.

Wenn du das Gefühl hast, die 10 Kategorien sind zu wenig, dann frag nach mehr. Wenn du denkst, dass es zu viele sind, dann weise ChatGPT an, die Kategorien zu priorisieren. Zum Beispiel so:

Reduziere die Kategorien auf 8 und ordne die Tabelle so, dass die Kategorien zuerst aufgeführt werden, die von den meisten Teilnehmern angesprochen wurden.

Die ausgegebene Tabelle kannst du dann beispielsweise in Excel überführen und damit weiterarbeiten.

Qualitative Inhaltsanalyse mit ChatGPT3: Dinge, auf die du achten musst

Das Ergebnis überzeugt dich?

Sehr schön.

Aber nicht so schnell. Du solltest dir über einige wichtige Limitationen von ChatGPT in Bezug auf die qualitative Inhaltsanalyse bewusst sein.

#1 Transparenz der Analyse

Es ist oft schwierig, nachzuvollziehen, wie ChatGPT die Kategorien gebildet hat. Die Autoren des Working Papers haben in ihren Tests herausgefunden, dass zwei zusätzliche Anweisungen nicht nur die Ergebnisse verbessern, sondern auch die Transparenz erhöhen.

Analysiere die Transkripte Satz für Satz.

Mit dieser Anweisung bringst du ChatGPT dazu, die Transkripte wirklich von vorne bis hinten zu analysieren, so wie du es manuell auch machen würdest. Damit ist es zumindest unwahrscheinlicher, dass ChatGPT Teile der Daten überspringt oder nicht beachtet. Baue diesen kurzen Satz also unbedingt mit ein.

Gib mir für jede Kategorie eine kurze Erklärung, wie du auf die Kategorie gekommen bist.

ChatGPT wird dann eine Beschreibung ausgeben, wie die Kategorien mit den Daten zusammenhängen. Das macht es dir leichter, nachzuvollziehen, wie die Kategorien entstanden sind.

#2 ChatGPT kann „müde“ werden

ChatGPT ist eine Black Box, das heißt wir können nicht sehen, was unter der Haube passiert. Wenn du ChatGPT zu lange mit vielen unterschiedlichen Anweisungen malträtierst, kann es passieren, dass die Qualität der Ergebnisse abnimmt.

Es kann auch sein, dass sich das mit der Zeit verbessert, Unterschiede zwischen Pro oder kostenloser Version existieren und so weiter. Wir wissen es nicht. Was du deshalb tun solltest, ist es den ganzen Prompt so gut es geht zu erstellen und ChatGPT dann nur einmal rechnen lassen bzw. nur noch kleinere Anpassungen mitgeben.

#3 Reliabilität

Experimente, in denen die API ChatGPT ganz oft mit den gleichen Prompts angefragt wird, zeigt, dass die Ergebnisse jedes Mal ein bisschen anders sind. Das nennt man auch die „Temperatur“ des KI-Modells. Je höher die Temperatur, desto mehr unterscheiden sich die Ergebnisse, die man bekommt.

Als Otto-Normal User verlässt man sich auf die Standard-Einstellung, bei der die Temperatur nicht allzu hoch ist. Was du dennoch tun kannst (und solltest), ist eine manuelle Reliabilitätsprüfung durchzuführen.

So wie du es auch machen würdest, wenn du mit einem anderen Menschen zusammen kodieren würdest. Ein ausführliches Tutorial dazu findest du auf meinem Kanal.

---

Falls du dich fragst, warum ich in diesem Video nicht über das Thema Forschungsethik und Plagiarismus spreche, schau einfach mal bei meinem ChatGPT-Plagiat Video vorbei. Dort besprechen wir alle, was du wissen musst, um ChatGPT korrekt als Hilfsmittel für deine wissenschaftlichen Arbeiten zu verwenden.

Wenn du auf dem Weg zu mehr Erfolg im Studium noch ein wenig Starthilfe für deine wissenschaftliche Arbeit benötigst, dann habe noch ein PDF für dich, das du dir gratis herunterladen kannst:

Die 30 besten Formulierungen für eine aufsehenerregende Einleitung

---