Pretest für Fragebogen in Online-Umfrage machen: So geht's

Ein Pretest ist ein Testdurchlauf deines Fragebogens mit einer kleinen Gruppe, bevor die eigentliche Umfrage startet. Die Testpersonen füllen den Entwurf unter realistischen Bedingungen aus und melden dir zurück, was unklar, umständlich oder fehlerhaft ist. Du prüfst damit nicht die Ergebnisse, sondern das Instrument selbst – also den Fragebogen.

Kurz gesagt:
Der Pretest beantwortet eine einzige Frage – ist dein Fragebogen reif für den Versand oder muss er noch nachgebessert werden?

Wichtig ist die Abgrenzung zur späteren Stichprobe. Deine Testpersonen gehören nicht zu den echten Teilnehmern. Sie helfen dir nur dabei, den Fragebogen zu verbessern. Ihre Antworten fließen nicht in deine spätere Auswertung ein. Sinnvoll sind Personen, die deiner Zielgruppe ähneln, damit sie die Fragen aus einer vergleichbaren Perspektive lesen.

Der Pretest gehört zu den letzten Schritten der Fragebogen-Entwicklung. Er steht zwischen dem fertigen Entwurf und dem Start deiner Online-Umfrage. Wer diesen Schritt überspringt, merkt Probleme oft erst, wenn die Daten schon da sind – und dann ist es zu spät.

Ein Pretest deckt Schwachstellen auf, die du selbst kaum noch siehst. Du steckst tief im Thema, kennst jede Frage und liest über Stolperstellen hinweg. Deine Testpersonen lesen den Fragebogen zum ersten Mal – genau wie deine echten Teilnehmer. Vier Bereiche sind dabei besonders wichtig.

Verständnis

Verstehen deine Testpersonen jede Frage so, wie du sie gemeint hast? Wenn sie zögern, nachfragen oder eine Frage falsch interpretieren, liegt es oft an Fachbegriffen, zu langen Sätzen oder doppeldeutigen Formulierungen. Solche Stellen kannst du gezielt vereinfachen.

Technik

Wird deine Umfrage auf dem Smartphone genauso sauber angezeigt wie am Laptop? Lange Ladezeiten, verrutschte Antwortfelder oder eine Skala, die auf dem Handy nicht funktioniert, führen schnell zu Abbrüchen. Lass deshalb auf verschiedenen Geräten testen.

Logik

Wenn du mit Filtern oder Sprüngen arbeitest, muss die Verzweigungslogik stimmen. Es darf niemand auf Fragen landen, die für ihn keinen Sinn ergeben oder die er gar nicht beantworten kann. Im Pretest zeigt sich schnell, ob alle Wege durch den Fragebogen funktionieren.

Motivation

Ist der Fragebogen zu lang oder zu anstrengend, steigen die Teilnehmer vorzeitig aus. Auch Suggestiv- oder Fangfragen drücken die Motivation. Frag deine Testpersonen ruhig direkt, ab wann es ihnen zu viel wurde – das ist einer der wertvollsten Hinweise überhaupt.

Konkret beantwortet ein Pretest unter anderem diese Fragen:

• Lassen sich einzelne Fragen einfacher formulieren?
• Kannst du Fragen weglassen oder in mehrere aufteilen?
• Stimmt die Reihenfolge der Fragen?
• Passen die Antwortoptionen und ist die Skalierung sinnvoll?
• Gibt es Rechtschreib-, Grammatik- oder technische Fehler?

Viele dieser Punkte hängen direkt mit der Qualität deines Fragebogens zusammen. Der Pretest ist die letzte Kontrolle, bevor diese Qualität auf echte Teilnehmer trifft.

Pretests lassen sich grob in zwei Richtungen unterteilen. Qualitative Verfahren decken auf, warum eine Frage hakt. Quantitative Verfahren zeigen, ob die Antworten in der Masse brauchbar sind. In der Praxis startest du meist qualitativ und ergänzt quantitativ, sobald die gröbsten Fehler raus sind.

Qualitativer Pretest

Hier geht es um Verständnis und Wahrnehmung. Du arbeitest mit wenigen Personen und schaust genau hin, wie sie denken. Zwei bewährte Techniken aus dem kognitiven Pretesting:

Think-Aloud (lautes Denken)

Die Testperson spricht beim Ausfüllen alle Gedanken laut aus. So hörst du direkt, an welcher Stelle sie stutzt oder eine Frage anders versteht als gemeint. Das funktioniert entweder direkt beim Beantworten oder im Rückblick nach der Frage.

Probing (gezieltes Nachfragen)

Du fragst nach: „Was hast du bei dieser Frage gedacht?“ oder „Erklär mir die Frage in deinen eigenen Worten.“ Wenn die Person die Frage anders wiedergibt als beabsichtigt, weißt du, dass du nachbessern musst.

Quantitativer Pretest

Beim quantitativen Pretest schickst du den Fragebogen an eine etwas größere Testgruppe und wertest die Antworten aus – ähnlich wie bei der echten Umfrage, nur im Kleinen. Du achtest auf Abbruchquoten, auffällig oft übersprungene Fragen oder Antwortverteilungen, die nicht plausibel wirken. Das lohnt sich vor allem, wenn die offensichtlichen Verständnisprobleme schon behoben sind.

Pretest im Feld

Eine dritte Variante ist der Feld-Pretest: ein verkleinerter Probelauf der echten Umfrage unter realen Bedingungen. Er zeigt dir, ob Versand, Technik und Ablauf im Zusammenspiel funktionieren – und ist damit eine gute Generalprobe kurz vor dem Start.

Ein Pretest muss nicht aufwendig sein. Mit diesen fünf Schritten kommst du strukturiert zu einem belastbaren Ergebnis.

1. Fragebogen finalisieren

Teste erst, wenn dein Fragebogen komplett ist – inklusive Begrüßung, Logik und Abschluss. Ein halbfertiger Entwurf liefert nur halb brauchbares Feedback.

2. Testpersonen auswählen

Such dir Personen, die deiner Zielgruppe ähneln, aber nicht zur späteren Stichprobe gehören. So bekommst du Rückmeldungen aus der richtigen Perspektive, ohne deine echten Daten zu verfälschen.

3. Klare Testaufgabe geben

Sag deinen Testpersonen, worauf sie achten sollen: Verständlichkeit, Länge, Technik. Gib ihnen ein offenes Feld oder einen kurzen Rückmeldebogen, in dem sie Unklarheiten notieren können.

4. Ausfüllen und beobachten

Lass den Fragebogen unter realistischen Bedingungen ausfüllen – am besten auf verschiedenen Geräten. Bei qualitativen Pretests bist du dabei und hörst zu, bei quantitativen wertest du die Antworten anschließend aus.

5. Feedback einarbeiten

Sammle alle Rückmeldungen und überarbeite den Fragebogen. Bei größeren Änderungen kann ein zweiter, kleiner Pretest sinnvoll sein. Danach ist dein Fragebogen bereit für den Versand.

Wenn dein Fragebogen den Pretest bestanden hat, geht es weiter mit dem nächsten Schritt: deine Online-Umfrage erstellen und an die echten Teilnehmer ausspielen.

Für einen aussagekräftigen Pretest reichen in den meisten Fällen rund 5 bis 10 Personen, die deiner Zielgruppe ähneln. Diese kleine Gruppe deckt erfahrungsgemäß den Großteil der typischen Verständnis- und Bedienprobleme auf.

Die passende Größe hängt aber vom Verfahren ab:

• Qualitativer Pretest: Oft genügen wenige Personen, weil du sehr tief auf einzelne Fragen schaust. Bei Interviews reichen teils schon 1 bis 2 Testpersonen für erste Hinweise.
• Quantitativer Pretest: Hier brauchst du etwas mehr Teilnehmer, damit du Antwortverteilungen und Abbruchquoten sinnvoll einschätzen kannst.

Für eine Umfrage in der Bachelorarbeit oder Masterarbeit ist ein qualitativer Pretest mit einer Handvoll Personen meist völlig ausreichend. Wichtiger als die reine Anzahl ist, dass deine Testpersonen zur Zielgruppe passen und ehrlich Rückmeldung geben.

Achte außerdem darauf, dass deine Testpersonen den Fragebogen vollständig durchgehen. Eine Person, die ehrlich bis zum Ende ausfüllt und kommentiert, hilft dir mehr als fünf, die nur überfliegen.

Ein Pretest hilft nur, wenn er sauber durchgeführt wird. Diese Fehler tauchen besonders oft auf:

Testpersonen aus der echten Stichprobe

Wer am Pretest teilnimmt, sollte nicht später in der echten Umfrage mitmachen. Sonst verfälschst du deine Ergebnisse oder verlierst potenzielle Teilnehmer.

Nur am eigenen Gerät testen

Wenn alle nur am Laptop testen, fallen Probleme auf dem Smartphone durch. Lass bewusst auf verschiedenen Geräten und Bildschirmgrößen prüfen.

Kein echtes Feedback einfordern

„Passt schon“ bringt dich nicht weiter. Stell konkrete Fragen: Welche Frage war unklar? Wo wurde es zu lang? Gab es technische Probleme? Erst dann wird das Feedback nutzbar.

Den Pretest ganz weglassen

Aus Zeitdruck wird der Pretest oft gestrichen. Das rächt sich, wenn die Daten am Ende lückenhaft oder unbrauchbar sind. Schon ein kurzer Test mit wenigen Personen ist besser als gar keiner.

Viele dieser Stolperfallen überschneiden sich mit den allgemeinen Fehlern bei Umfragen. Wer beide im Blick behält, startet mit einem deutlich robusteren Fragebogen.

Tipp: Wenn du noch keinen fertigen Fragebogen hast, helfen dir unsere Fragebogen-Vorlagen als Startpunkt – die kannst du anpassen und anschließend direkt in den Pretest schicken.