 Varia | |
| 5.4.2009 Willkür ist unseriös bei statistischer Auswertung 
Scheinbar einfach durchführbare Degustationen verleiten viele Firmen aber auch Konsumentenschützer, mit kleinem Aufwand ein brauchbares sensorisches Resultat zu erzielen. Auch wenn dieses vielleicht wegen Fehlern in der Methode oder Auswertung eher ein Zufallsresultat ist.
Professionelle Testinstitute wissen jedoch: Das Testkonzept muss sehr sorgfältig angelegt werden, damit nicht allfällige Konstruktionsfehler (un)willentlich zu unrepräsentativen Ergebnissen führen. Es können heterogene Testbedingungen sein, die zu Artefakten führen oder schlimmer: auch unsichtbare Manipulationen können vorkommen. Ein hypothetisches Beispiel: Angenommen, jemand wolle die Wurstqualität der Ostschweiz mit jener der Westschweiz vergleichen anhand der meistverkauften Produkte, so stünden sich wohl Kalbsbratwürste und Saucissons gegenüber. Wenn dieser Jemand dann den Test nur mit Ostschweizer bzw. nur mit Westschweizer Juroren durchführte, käme es einer Messinstrument-Manipulation gleich. Von Fachjuroren erwartet man zwar, dass sie persönliche Vorlieben ausser acht lassen, aber auch Juroren sind nur Menschen. Geht es nach wissenschaftlichen sprich statistisch fundierten Regeln, darf man beim Beliebtheits-Test nicht Produkte willkürlich auswählen sondern man muss das Los entscheiden lassen. Ansonsten ist eine Verallgemeinerung unzulässig oder noch schlimmer: die Resultate liessen sich fast beliebig manipulieren. 
Erstes Bild: Schokolade im Konsumententest Zweites Bild: Rotwein im Fachjurorentest Ein Beispiel: Es leuchtet ein, dass kaufkräftige Gourmets eher kleine Unterschiede zwischen Rauchlachs-Sorten herausschmecken als preisorientierte Lidl-Kunden, die kaum Erfahrung mit Luxusprodukten haben. Wollte ein Testinstitut «beweisen», dass zwischen teuren und billigen Rauchlachsen kein Qualitätsunterschied besteht, fragt es gerade nicht Passanten vor einem Gourmetshop sondern solche vor einem Billig-Supermarkt. Fazit: Durch eine einseitige Testanlage entstehen zwangsläufig unrepräsentative Resultate. Auch Zeitungsredaktionen beackern das spannende Thema der Produktetests wie etwa die Sonntagszeitung, Salz+Pfeffer und der Züri-Tipp. Aber auch sie können dazu keinen genug grossen Aufwand treiben und führen Degustationen teilweise nur mit Redaktionsmitarbeitern und ohne fundierte Methoden durch. Ein Resultat entsteht bei Degustationen immer, nur darf man es nicht immer verallgemeinern. Wenn eine Redaktion Notenergebnisse bekannt gibt, muss sie gar nicht falsche Schlüsse ziehen, denn der Leser nimmt natürlich an, der Test sei seriös und zieht dann selbst seine vielleicht falschen Schlüsse. Dies ist eine subtile Form von suggestiver Berichterstattung im scheinbar objektiven Kleid. Weiterlesen: Was können Kassensturztests bewirken? | |