Ziel eines jeden Forschungsprozesses, so auch in der Marktforschung, sind möglichst valide und fehlerfreie Ergebnisse. Zur Sicherstellung derselben wird eine Vielzahl von Methoden angewandt, die von der Stichprobenziehung bis zur Analyse der erhobenen Daten reichen. Die Qualität einer Studie hängt bekanntlich in hohem Maße auch von den erhebenden Interviewern ab. Dieser Tatsache wird bereits mit einem mehrstufigen Selektions-, Schulungs- und Kontrollsystem Rechnung getragen. Grund- und Nachschulungen sowie individuelle Einweisungen in jedes Projekt für Interviewer, Mithören während der Interviews, Kontrollerhebungen und Plausibilitätsprüfungen nach Abschluss der Studie sind nur einige Bausteine eines umfassenden Qualitätssystems. Dies ist für ForschungsWerk als seriös und qualitativ hochwertig arbeitendes Institut selbstverständlich. Nachdem bekanntlich jede Kette nur so stark ist wie ihr schwächstes Glied, werden laufend Verbesserungsmöglichkeiten erarbeitet, getestet und gegebenenfalls in den laufenden Betrieb integriert. Eine sehr viel versprechende, weil sehr zuverlässige und hoch effiziente Methode wird im Folgenden vorgestellt.

Mathematisches Gesetz über ZiffernhäufigkeitenDie Grundlage des neuen Verfahrens zur Qualitätssicherung liefert die Mathematik: Wo immer größere Datenmengen vorhanden sind, ist der Mathematiker bestrebt, diese zu beschreiben und zu verdichten. Damit unterscheidet er sich gar nicht so stark vom Marktforscher! Bei der Untersuchung einer Vielzahl von Datenmengen wurde herausgefunden, dass sich Zahlen, beispielsweise die Menge aller Zahlen einer Tageszeitung, oftmals nicht so verhalten, wie man es naiver weise erwarten würde. Man könnte zum Beispiel zunächst davon ausgehen, dass alle Zahlen von 1 bis 9 etwa gleich häufig als erste Ziffern vorkommen. Doch entgegen dieser Vermutung wurde festgestellt, dass die 1 häufiger vorkommt als die 2, die 2 häufiger als die 3 und so fort.

Diese verblüffende Erkenntnis wird gegenwärtig bereits von einer Vielzahl von Professionen eingesetzt. In aller Regel geschieht dies zu Kontrollzwecken. Alle Bereiche mit großen, nicht konstruierten Datenmengen und gleichzeitig hohem „Fälschungspotenzial", wie sie beispielsweise in der Bilanzprüfung, der Steuerfahndung und im Controlling vorkommen, eignen sich hierfür prinzipiell. Wenn Sie es nicht glauben, machen Sie einen Selbstversuch: Nehmen Sie Ihre Steuererklärung des letzten Jahres heraus, schreiben Sie alle Zahlen auf, die darin vorkommen, und zählen Sie, wie oft die 1 zuerst vorkommt, die 2 und so weiter. Für alle, die lieber in der freien Natur sind: Es funktioniert auch mit dem Gewicht von zufällig gesammelten Steinen. Sie müssen nur genügend sammeln, mindestens hundert Stück sollten es schon sein. Wenn dann die Ziffer 1 mit rund 30 Prozent, die 2 mit rund 18 Prozent, die 3 mit rund 13 Prozent und die restlichen Zahlen immer seltener vorkommen, halten Sie den Beweis im wahrsten Sinne des Wortes in den Händen.

Natürlich werden die Häufigkeiten nicht exakt zutreffen, doch um die Sicherheit einer Aussage bestimmen zu können, liefert uns die Mathematik bekanntlich Signifikanztests. Ein solcher existiert auf Basis eines Chi-Quadrat-Tests auch für die vorgestellte Verteilung.

Die mathematische Grundlage erscheint demnach als zumindest grundsätzlich für Daten der Marktforschung geeignet. In einem ausgiebigen wissenschaftlichen Prozess wurde von ForschungsWerk ein Überprüfungsverfahren für Interviewer-generierte Daten entwickelt. Im Fokus dieses Artikels steht die Erläuterung der Schritte des Transferprozesses. Im Augenblick wird das Überprüfungstool von ForschungsWerk automatisiert und ausführlich getestet.

Testfrage als Basis Mit Hilfe einer speziellen Testfrage, die als solche weder für die Interviewer noch für die Befragten erkennbar und gleichzeitig einer objektiven Überprüfung zugänglich ist, können mögliche Manipulationen durch den Interviewer leicht aufgedeckt werden. Zur primären Verifikation des Verfahrens wurde zunächst überprüft, welches Ergebnis der Signifikanztest bei einem unmanipulierten Testdatensatz liefert. Nur in ganz wenigen Einzelfällen wurde eine falsche Testentscheidung getroffen, was in diesem Fall bedeutet, dass irrtümlicherweise eine Manipulation unterstellt wird.

Zum Aufbau einer realen Datenbasis wurde die Testfrage bei ausgewählten Interviewern über einen längeren Zeitraum hinweg bei allen Studien mit abgefragt. Abbildung 1 zeigt die Verteilung der Ziffern im Testdatensatz, die der erwarteten Häufigkeit äußerst nahe kommen. Die Voraussetzung, dass die Verteilung auch bei Interviewer-generierten Daten auftritt, ist somit gegeben.

Hohe Trefferquote bei manipulierten DatenUm die Tauglichkeit im Ernstfall zu prüfen, wurden im nächsten Schritt am Testdatensatz nachträglich Fälschungen simuliert. Dabei wurden zwischen 18 Prozent und 80 Prozent der Interviews je Interviewer durch Supervisoren verändert. Der simulierte „Grad des Schummelns" variierte demnach von „weniger als jedes 5. Mal" bis zu „beinahe jedes Mal". Die Überprüfung der so entstandenen Datensätze durch den Signifikanztest ergab das überaus beeindruckende Ergebnis, dass alle Manipulationen identifiziert wurden! Der Test hat also alle „Fälscher" entlarvt. Zwei exemplarische Verteilungen sind abgebildet: Bei Abbildung 2 wurde ein Interviewer mit nur wenigen Fälschungsversuchen simuliert, während in Abbildung 3 ein grober Verstoß nachgebildet wurde.

Effektives und kostengünstiges Verfahren in der QualitätssicherungFälschungen werden durch den Test zuverlässig erkannt - damit liefert dieses Verfahren ein höchst effektives zusätzliches Instrument zur Qualitätskontrolle von Interviewern.

Für welche Art Studien das in Kürze erscheinende Tool geeignet ist, welches die optimale Anzahl an Interviews je Interviewer ist, um eine irrtümliche Unterstellung von Fälschungen auszuschließen sowie eine Vielzahl anderer Fragen wird nach Abschluss der Testphase in etwa einem halben Jahr erläutert. Zu diesem Zeitpunkt wird das Kontrollinstrument von ForschungsWerk auch interessierten Marktforschern zugänglich gemacht werden.