Psychologische Studien nutzen oft Fragebögen, um Einstellungen und Merkmale von Menschen systematisch zu ergründen. Wenn diese Fragebögen von den Probanden aber nicht ehrlich ausgefüllt werden, verfälscht dies die Resultate und kann schwerwiegende Konsequenzen haben. Philippe Goldammer, wissenschaftlicher Assistent an der Dozentur Militärpsychologie an der Militärakademie (MILAK) an der ETH Zürich, hat zum Phänomen «unseriöses Antworten bei Datenerhebungen» geforscht und klare Empfehlungen abgeleitet.
Mit den heutigen technischen Mitteln gibt es verschiedene Möglichkeiten, um buchstäblich in die Köpfe von Menschen hineinzuschauen, beispielsweise durch Messung der Gehirnaktivität. Doch die meisten Studien nutzen zur Datenerhebung immer noch Fragebögen. Dabei sind die Probanden bei einer Reihe von Fragen aufgefordert, jene Antwort anzukreuzen, die am ehesten auf sie zutrifft. Das Problem ist, dass Teilnehmende nicht immer ehrlich antworten oder einfach nicht motiviert sind, ehrlich zu antworten oder die Fragen überhaupt zu lesen. Dann kreuzen sie irgendetwas an. Das nennt man in der Psychologie «careless responding» oder zu Deutsch: «unseriöses Antwortverhalten». Als Konsequenz können beispielsweise ineffektive organisationale Handlungsrichtlinien implementiert oder unzutreffende Massnahmen im Bereich der Führungskräfteselektion und –entwicklung getroffen werden.
Vom Projekt zur Studie
Die publizierte Studie besteht aus zwei Teilen. Im Ersten wurden die gängigsten Methoden zur Entdeckung von «unseriösem Antwortverhalten» auf ihre Effektivität überprüft. Fünf der sieben getesteten Verfahren erwiesen sich als effektiv, darunter beispielsweise die Antwortzeit pro Item. Das lässt sich dadurch erklären, dass Personen, die wahllos etwas anklicken, viel schneller antworten, als solche, die die Frage genau lesen. In einem zweiten Teil wurden diese fünf Verfahren, die sich als effektiv erwiesen haben, auf eine bereits durchgeführte Datenerhebung angewendet.
33% unseriöse Antworten
Zwischen 2013 und 2015 befragten Goldammer und sein Team 8838 Rekruten zu Leadership in der Schweizer Armee. Diese damals erhobenen Daten wurden noch einmal ausgewertet, um die Effekte von unseriösem Antwortverhalten auch ausserhalb des Forschungslabors aufzuzeigen. Dabei kam heraus, dass 33% der Teilnehmenden unseriös geantwortet haben und damit ein Drittel der Daten gestrichen werden müssten, um nicht falsche Schlüsse aus der Studie zu ziehen.
Quelle: Goldammer, P., Annen, H., Stöckli, P. L., & Jonas, K. (2020). Careless responding in questionnaire measures: Detection, impact, and remedies. The Leadership Quarterly, 101384.
Fragen an Philippe Goldammer
Philippe Goldammer ist wissenschaftlicher Assistent an der Dozentur Militärpsychologie und unterstützt die Forschung und Lehre. 2011 hat er als Hochschulpraktikant an der MILAK angefangen. Von 2012 bis 2016 leitete er das Forschungsprojekt "Evaluation der Kaderselektion". Die in diesem Zusammenhang erhobenen Forschungsdaten dienten ihm als Grundlage für seine Dissertation im Jahr 2018.
Wenn 33% der Antworten unseriös gegeben wurden, sind dann die Resultate der Studie von 2016 überhaupt noch brauchbar?
Philippe Goldammer: Ja, das sind sie. Wir haben schon bei der statistischen Auswertung damals einen grossen Teil dieser Personen, die unseriös geantwortet haben, aus der Studie genommen.
Wie werden die Daten verzerrt, wenn man die unseriös gegebenen Antworten nicht herausfiltert?
Die Ergebnisse sind in den Daten immer noch sichtbar, allerdings sind sie weniger erkenntlich. Man kann es sich wie einen Schleier vorstellen, der über die Daten gelegt wird.
Was bedeutet es für Sie, im «The Leadership Quarterly» publizieren zu können?
Es ist unglaublich, dass wir es geschafft haben, aus diesen projektbezogenen Daten von 2016 eine Publikation im drittgrössten Fachjournal für Leadership zu platzieren. Das ist ein echter Qualitätsausweis für unsere Forschung an der MILAK. Wir bauen damit Visibilität auf und werden international von Forschern wahrgenommen.
Was sind die Lehren aus dieser Studie für die Forschung an der MILAK?
Wir müssen die Studienteilnehmenden motiviert halten, damit sie gewissenhaft mitmachen. Beispielsweise indem man ihnen die eigenen Ergebnisse oder die Studienergebnisse zur Verfügung stellt. Oder indem man ihnen Zielsetzung und Sinn der Datenerhebung nachvollziehbar aufzeigt und wie wichtig es ist, dass sie gewissenhaft antworten. Und schliesslich ist es uns noch bewusster geworden, wie wichtig solche Screenings sind und dass man diese unbedingt machen muss. Für Studien werden wir immer etwa 15% mehr Probanden befragen, damit wir die unbrauchbaren Antworten herausfiltern können und immer noch eine genügend grosse Stichprobe haben.
Was empfehlen Sie anderen Forschenden?
Etwa 15% mehr Probanden zu befragen, als für die Stichprobe nötig wären, damit man unbrauchbare Daten eliminieren kann, ohne die Aussagekraft der Daten zu verringern. Des Weiteren darauf zu achten, die Probanden motiviert zu halten und im Nachhinein mit statistischen Tests die verfälschenden Daten aus der Erhebung zu löschen.
Quelle: Schweizer Armee
31.3.2020