Die häufigsten Fehler bei Umfragen: Darauf musst du achten

Bevor wir in die Details gehen, hier die Fehler, die uns in der Praxis am häufigsten begegnen. Wenn du diese im Kopf behältst, hast du schon den größten Teil der typischen Stolperfallen abgedeckt.

• Unklare oder mehrdeutige Fragen, die jeder anders versteht
• Suggestivfragen, die eine Antwort schon vorgeben
• Doppelte Fragen, die zwei Dinge gleichzeitig abfragen
• Zu viele Fragen, sodass Teilnehmer mittendrin abbrechen
• Falsche oder unpassende Fragetypen
• Unausgewogene oder lückenhafte Antwortskalen
• Eine unlogische Reihenfolge, die den roten Faden zerstört
• Kein Pretest vor dem Versand

Das Tückische daran: Die meisten dieser Fehler fallen dir selbst nicht auf, weil du dein Thema zu gut kennst. Du weißt ja, was du meinst. Deine Teilnehmer aber lesen die Frage zum ersten Mal, und genau da entsteht die Lücke. In den nächsten Abschnitten gehen wir jeden dieser Punkte einzeln durch, mit Beispielen, an denen du den Unterschied sofort siehst.

Die Frageformulierung ist die größte Fehlerquelle überhaupt. Eine schlecht gestellte Frage kannst du auch mit der besten Auswertung nicht mehr retten. Drei Muster tauchen dabei immer wieder auf.

Unklare und mehrdeutige Fragen

Eine Frage ist unklar, wenn zwei Personen sie unterschiedlich verstehen können. Nimm das Beispiel: "Nutzt du unser Produkt regelmäßig?" Für den einen heißt regelmäßig täglich, für den anderen einmal im Monat. Die Antworten sind dann nicht vergleichbar. Besser ist eine konkrete Angabe:

Statt "Nutzt du unser Produkt regelmäßig?" lieber: "Wie oft hast du unser Produkt im letzten Monat genutzt?" mit den Optionen täglich, mehrmals pro Woche, einmal pro Woche, seltener.

Vermeide außerdem Fachbegriffe und Abkürzungen, die nicht jeder kennt. Wenn du intern von einem "Onboarding-Flow" sprichst, heißt das noch lange nicht, dass deine Teilnehmer den Begriff verstehen.

Suggestivfragen, die die Antwort vorgeben

Eine Suggestivfrage schiebt dem Teilnehmer eine Meinung unter. "Wie zufrieden bist du mit unserem hervorragenden Service?" ist keine neutrale Frage, denn das Wort "hervorragend" lenkt schon in eine Richtung. Neutral wäre: "Wie zufrieden bist du mit unserem Service?" Auch Formulierungen wie "Findest du nicht auch, dass ...?" gehören in diese Kategorie. Sie liefern dir schöne Zahlen, aber keine ehrlichen.

Doppelte Fragen (zwei Fragen in einer)

Ein Klassiker, der leicht übersehen wird: "Wie bewertest du Preis und Qualität unseres Angebots?" Was, wenn jemand den Preis fair, die Qualität aber schlecht findet? Die Person kann nicht sinnvoll antworten. Trenne solche Fragen immer auf, eine Frage zum Preis, eine zur Qualität. Eine gute Faustregel: Sobald in deiner Frage ein "und" steht, prüfe, ob du eigentlich zwei Dinge abfragst.

Selbst wenn die Frage klar formuliert ist, kann der falsche Fragetyp die Auswertung erschweren. Jeder Fragetyp hat einen Zweck, und genau danach solltest du ihn auswählen.

Wann offen, wann geschlossen?

Mit geschlossenen Fragen bekommst du Antworten, die du leicht in Zahlen auswerten kannst, etwa Single Choice, Multiple Choice oder Skalen. Mit offenen Fragen bekommst du Begründungen und O-Töne, die du aber von Hand sichten musst. Beides hat seinen Platz. Der Fehler liegt im Übermaß: Eine Umfrage mit zehn offenen Feldern überfordert die Teilnehmer und produziert lauter leere oder einsilbige Antworten. Setze offene Fragen gezielt dort ein, wo dir das "Warum" wirklich weiterhilft, zum Beispiel als eine abschließende Frage nach Verbesserungsvorschlägen.

Antwortskalen, die kippen

Bei Skalen passieren zwei typische Fehler. Erstens unausgewogene Skalen, bei denen es mehr positive als negative Optionen gibt (gut, sehr gut, ausgezeichnet, eher schlecht). Dadurch verschiebst du das Ergebnis nach oben. Halte die Skala symmetrisch, also gleich viele positive wie negative Stufen mit einer neutralen Mitte.

Zweitens fehlende Ausweichoptionen. Nicht jede Frage ist für jeden relevant. Wenn du keine Möglichkeit für "weiß nicht" oder "trifft nicht zu" gibst, raten die Teilnehmer einfach irgendetwas, und du wertest am Ende Zufallsantworten aus. Eine kleine Einschränkung: Bei einer reinen Zufriedenheitsfrage kann eine zu prominente "weiß nicht"-Option auch dazu verleiten, sich nicht festzulegen. Biete sie an, aber stelle sie nicht in den Vordergrund.

Wenn du dir bei der Wahl der Fragetypen unsicher bist, hilft dir unser Leitfaden zum Fragebogen erstellen dabei, die passende Mischung zu finden.

Zwei Fehler beim Aufbau kosten dich besonders viele Teilnehmer: ein zu langer Fragebogen und eine Reihenfolge, die keinen roten Faden hat.

Lieber kurz und vollständig als lang und abgebrochen

Jede zusätzliche Frage senkt die Wahrscheinlichkeit, dass jemand bis zum Ende durchhält. Frag dich bei jeder Frage ehrlich: Was mache ich konkret mit dieser Antwort? Wenn dir keine Antwort einfällt, kann die Frage weg. Eine Umfrage, die in wenigen Minuten erledigt ist, bringt dir mehr vollständige Datensätze als eine umfassende, die zur Hälfte abgebrochen wird. Wie viele Teilnehmer am Ende wirklich durchkommen, hängt stark von der Länge ab. Mehr dazu findest du in unserem Beitrag zur Rücklaufquote bei Umfragen.

Eine Reihenfolge, die mitdenkt

Die Reihenfolge der Fragen beeinflusst die Antworten stärker, als viele glauben. Beginne mit einfachen, einladenden Fragen und steigere dich langsam. Heikle oder persönliche Fragen, etwa zu demografischen Daten, gehören eher ans Ende, wenn schon etwas Vertrauen da ist. Achte auch auf Reihenfolge-Effekte: Wenn du erst nach allen Schwächen eines Produkts fragst und danach die Gesamtzufriedenheit abfragst, fällt das Urteil schlechter aus, als es eigentlich wäre. Gruppiere Fragen thematisch, sodass die Umfrage sich wie ein Gespräch anfühlt und nicht wie eine zufällige Liste.

Wenn du den gesamten Aufbau Schritt für Schritt durchgehen möchtest, findest du in unserem Beitrag zum Aufbau einer Online-Umfrage eine bewährte Struktur.

Manche Fehler sieht man dem Fragebogen gar nicht an, weil sie im Drumherum stecken. Sie entscheiden trotzdem darüber, ob deine Ergebnisse belastbar sind.

Die falschen Leute befragen

Wenn du nur zufriedene Stammkunden anschreibst, bekommst du ein zu positives Bild. Das nennt man eine verzerrte Stichprobe. Überlege dir vorher, wen du eigentlich abbilden willst, und sprich diese Gruppe gezielt an. Auch zu wenige Teilnehmer sind ein Problem: Bei einer Handvoll Antworten kannst du keine verlässlichen Aussagen treffen. Wie du genügend passende Personen erreichst, zeigen wir dir im Beitrag Teilnehmer für die Umfrage finden.

Anonymität versprechen und dann brechen

Wenn du Anonymität zusagst, dann muss sie auch echt sein. Fragst du am Ende einer angeblich anonymen Mitarbeiterbefragung nach Abteilung, Standort und Position, ist die Person für viele wieder identifizierbar, und ehrliche Antworten bleiben aus. Halte dich an dein Versprechen. Was anonyme Befragungen wirklich ausmacht, erklären wir im Detail im Artikel zur anonymen Umfrage.

Datenschutz nicht mitdenken

Sobald du personenbezogene Daten erhebst, ist der Datenschutz relevant. Sammle nur Daten, die du wirklich brauchst, und erkläre transparent, wofür sie verwendet werden. Das schützt nicht nur dich rechtlich, es erhöht auch die Bereitschaft, ehrlich zu antworten. Eine genaue Einordnung dazu findest du in unserem Beitrag zum Datenschutz bei Umfragen.

Der größte vermeidbare Fehler ist, eine Umfrage ohne Test zu verschicken. Sobald sie draußen ist, kannst du nichts mehr ändern, und jeder Fehler vervielfacht sich mit jedem Teilnehmer.

So testest du in wenigen Minuten

Ein guter Pretest braucht keine große Vorbereitung. Gib die Umfrage drei bis fünf Personen, die deine Zielgruppe halbwegs widerspiegeln, und bitte sie um ehrliches Feedback. Achte dabei auf folgende Punkte:

• Versteht jeder die Fragen so, wie du sie gemeint hast?
• Gibt es Fragen, bei denen die passende Antwortoption fehlt?
• Wie lange dauert das Ausfüllen wirklich?
• Funktionieren alle Sprünge und Filter sauber?
• Sieht die Umfrage auf dem Smartphone genauso gut aus wie am Rechner?

Schon ein einziger Testdurchlauf bringt fast immer mindestens eine missverständliche Frage ans Licht. Wie du einen sauberen Test aufsetzt, beschreiben wir Schritt für Schritt im Beitrag zum Pretest deines Fragebogens.

Ein letzter Tipp: Du musst nicht bei null anfangen. Für viele Anlässe gibt es bei uns geprüfte Fragebogen-Vorlagen, in denen die häufigsten Fehler bereits vermieden sind. Wenn du deine Umfrage anschließend mit einem Tool umsetzt, das dich bei Fragetypen und Logik unterstützt, vermeidest du viele dieser Stolperfallen von vornherein.