Jeder Marktforscher muss sich bei der Planung eines Produkttests über die Validität der Messergebnisse Gedanken machen. Die traditionelle Marktforschung legt vor allem Wert auf die externe Validität, das heißt auf die Generalisierbarkeit oder Repräsentanz der Messergebnisse. Demgegenüber stellt die Sensorische Produkt forschung (sensory analysis) die interne Validität in den Mittelpunkt der Betrachtung. Die in einem Produkttest ermittelten Akzeptanzunterschiede sollen ausschließlich auf physikalisch chemische Unterschiede zwischen den Testprodukten zurückzuführen sein. Zu beantworten ist in diesem Zusammenhang die Frage, wie beiden Gütekriterien in einem Produkttest gleichermaßen Rechnung getragen werden kann. Ein Messansatz gilt intern als valide, wenn die Veränderung der abhängigen Variablen (etwa das Akzeptanzurteil für ein Testprodukt) ausschließlich auf die Variation der unabhängigen Variablen (zum Beispiel die Variation der In tensität des Fruchtaromas eines Joghurts) zurückzuführen ist. Externe Validität bedeutet hingegen, dass das Ergebnis eines Produkttests nicht nur für die spezifischen Umstände gilt, unter denen er durchgeführt wurde, sondern generalisierbar ist. Es leuchtet unmittelbar ein, dass Maßnahmen zur Gewährleistung sowohl der internen als auch der externen Validität von großer Bedeutung für die Qualität der Ergebnisse von Produkttests sind.

Interne und externe Validität können konfligieren

Die unterschiedlichen Perspektiven der Marktforschung und der Sensorischen Produktforschung führen jedoch häufig dazu, dass nicht gleichermaßen beiden Gütekriterien angemessen Rechnung getragen wird. Problematisch für die konkrete Planung von Produkttests in der Praxis ist außerdem, dass zwischen der Sicherstellung der internen und der externen Validität ein Konflikt besteht. So führt etwa der Versuch, alle Störfaktoren einer Untersuchung zu eliminieren oder zu kontrollieren (zum Beispiel die Standardisierung der Verzehrmenge), um auf diese Weise eine höchstmögliche interne Validität zu erreichen, zwangsläufig zu einem realitätsfernen Testdesign.

Demgegenüber übt eine starke Fokussierung auf die externe Validität (etwa eine realistische Verwendungssituation) automatisch einen negativen Einfluss auf die interne Validität aus. Zu beachten ist jedoch in diesem Zusammenhang, dass eine Untersuchung, die dem Anspruch an eine hohe externe Validität genügen soll, zuvor die grundlegenden Bedingungen der internen Validität erfüllen muss, wie das folgende Untersuchungsbeispiel verdeutlicht.

Der Zielkonflikt bezüglich der gleich zeitigen Sicherstellung von interner und externer Validität der Messergebnisse lässt sich sehr gut am Beispiel von Nahrungs und Genussmitteln veranschaulichen, die von bestimmten Ziel gruppen ausschließlich in Kombination mit anderen Produkten verzehrt wer den. So trinken viele Konsumenten ihren Kaffee nicht etwa schwarz, sondern mit Milch, Zucker oder mit beiden Komponenten. Außerdem weisen die Verwender bezüglich dieser Zusätze unterschiedliche Präferenzen im Hinblick auf die Menge und die Qualität auf etwa Vollmilch, fettarme Milch oder Kaffeesahne.

In einem Sensoriklabor lässt sich ein hohes Maß an interner Validität erreichen, da die Proben „blind" und unter vollständig standardisierten Bedingungen präsentiert und beurteilt werden können (zum Beispiel Rotlicht, identische Zubereitung und Verzehrtemperatur). Die gemessenen Akzeptanzunterschiede eines solchen Tests lassen sich dann allein auf die chemisch physikalischen Produktunterschiede (etwa unterschiedliche Röstmischungen) zurückführen. Eine Fokussierung auf die externe Validität erfordert hingegen ein Untersuchungsdesign, bei dem der Kaffee wie gewohnt zubereitet und verzehrt wird. Jede Testperson kann die gewünschten Zusätze also frei bestimmen und dosieren. Ist die Untersuchung als Haushaltstest angelegt, kommen noch weitere Variablen hinzu (zum Beispiel die Wasserqualität oder die verwendete Kaffeemaschine), welche die externe Validität der Ergebnisse begünstigen, gleichzeitig jedoch zu einer geringen internen Validität führen.

Im Sensoriklabor des Instituts für Sensorikforschung und Innovationsberatung, der isi GmbH in Göttingen, wurde eine empirische Studie zur Erfassung der Akzeptanz von Filterkaffee durchgeführt. Das Ziel bestand darin zu ermitteln, in welcher Weise sich die Testergebnisse verändern, wenn das Untersuchungsdesign in Abhängig keit des Validitätsziels variiert wird. Dem geforderten Mindestmaß an interner Validität wurde dadurch Rechnung getragen, dass alle Proben unter standardisierten Bedingungen präsentiert wurden. Wichtigste Beurteilungsdimension für die Probanden war die sensorische Gesamtakzeptanz (erfasst mittels einer 9 Punkte „Hedonik Skala" von 1 für „sehr schlecht" bis 9 für „sehr gut").

Schwarz, standardisiert und nach Belieben

Insgesamt 180 Probanden, die alle die Kaffeezubereitungsart mit Milch oder Kaffeesahne präferierten, wurden zufällig einer von drei strukturgleichen Testgruppen zugeteilt. In der ersten Testgruppe (Gruppe „schwarz") wurde der Fokus auf ein Höchstmaß an interner Validität gelegt. Alle 60 Probanden mussten die Proben ohne jegliche Zusätze verkosten. Gemessene Akzeptanzunterschiede ließen sich folg lich direkt auf Variationen bezüglich der chemisch physikalischen Rezeptur parameter der Kaffeeproben zurückführen. Das hohe Maß an interner Validität der Messung in dieser Gruppe war allerdings mit einer extern wenig validen Verkostungssituation verbunden, da die Konsumenten die Proben in einer für sie untypischen Art und Weise „schwarz" trinken mussten.

Die zweite Testgruppe (Gruppe „frei") wurde mit dem Ziel der Sicherstellung einer möglichst hohen externen Validität der Messung gebildet: Alle 60 Befragten durften vor dem Verkosten je des Kaffees über die Art (Milch oder Kaffeesahne) und die Menge an Zusatz frei entscheiden. Durch diese für die Konsumenten typische Konsumsituation wurde allerdings die Forderung nach einem hohen Maß an interner Validität aufgegeben, da in der Gruppe gemessene Akzeptanzunterschiede auch aus den individuellen Zusätzen beziehungsweise der Interaktion zwischen Kaffee und Milch oder Kaffeesahne resultieren konnten.

Die dritte Testgruppe (Testgruppe „standardisiert") diente dazu, ein Kompromiss Testdesign zu realisieren, das sowohl der internen als auch der externen Validät angemessen Rechnung tragen sollte. Die Befragten verkosteten hier die drei zubereiteten Proben mit einer standardisierten Menge an Milch. Durch dieses Untersuchungsdesign wurde mit Rücksicht auf die interne Validität sichergestellt, dass der störende Einfluss des Zusatzes Milch für alle Kaffeeproben konstant gehalten wurde. Andererseits ließ sich eine vergleichsweise hohe externe Validität dadurch erreichen, dass die Konsumenten die Kaffeeproben durch Zugabe von Milch weitgehend ihren üblichen Konsumgewohnheiten entsprechend trinken konnten.

Vergleicht man die Akzeptanzdaten der drei Testgruppen miteinander, wird deutlich, dass die Akzeptanz Reihenfolge der Testprodukte für die Testgruppen „schwarz" und „standardisiert" identisch ist, die Akzeptanz bei letztgenannter Testgruppe jedoch höhere Werte aufweist (Abb. 1, S. 37). Daraus lässt sich schließen, dass die Akzeptanz der Proben abnimmt, wenn Konsumenten, die Kaffee üblicherweise mit Milch oder Kaffeesahne trinken, gezwungen werden, die Proben schwarz zu verkosten. Wie der Abbildung 1 zu entnehmen ist, bleiben die relativen Akzeptanzunterschiede allerdings erhalten.

Vergleicht man hingegen die Akzeptanzurteile der Testgruppe „frei" mit denen der Test gruppe „standardisiert", zeigt sich Folgendes: Die Probanden, denen die Art und Menge des Zusatzes freigestellt war, weisen keine nennenswerten Akzeptanzunterschiede zwischen den drei Proben auf, die relativen Abstufungen kehren sich sogar um (Abb. 2).

Kein „Entweder - Oder"

Ein hohes Maß an interner Validität ist zwingend erforderlich, wenn die Kernaufgabe eines Produkttests darin besteht, sensorische Akzeptanzurteile als Reaktion auf verschiedene Rezepturen zu erfassen. Die Missachtung dieser fundamentalen Bedingung für die Qualität einer Messung führt dazu, dass zwar Daten mit einer hohen Generalisierbarkeit erzeugt werden, es aber nicht gelingt, der Produktentwicklung Informationen über die Beliebtheit der Rezepturen bereitzustellen oder Optimierungsempfehlungen abzuleiten. Die Sensorische Produktforschung liefert geeignete Methoden für Tests mit einem hohen Maß an interner Validität.

Darüber hinaus stellt sie auch das Knowhow bezüglich der Realisierung der erforderlichen standardisierten Testbedingungen sicher. Neben der Kontrolle des Testraumes - ideal ist ein Sensoriklabor für die Durchführung - muss auch die Probenzubereitung und Verkostung so erfolgen, dass die Produktrezepturen im Mittelpunkt der Betrachtung stehen. Erst dann, wenn es auf diese Weise gelingt, bestmögliche Varianten zu identifizieren, sollte mit dem Testsieger ein Marktforschungstest mit einem hohen Maß an externer Validität (zum Beispiel ein Haushaltstest) geplant werden, der die absolute Beliebtheit einer Innovation unter realen Bedingungen misst. Insofern stellt sich bezogen auf das Gütekriterium der Validität nicht die Frage des „Entweder - Oder", vielmehr gilt es, die richtigen Untersuchungsansätze zur richtigen Zeit einzusetzen. In frühen Phasen des Innovationsprozesses ist es zunächst das Ziel, die beste Rezeptur aus einer Vielzahl an zur Verfügung stehenden Alternativen zu identifizieren. Folglich muss hier der internen Validität uneingeschränkt Rechnung getragen werden.