Leitfäden BVM-Leitfäden zur Qualität in der Marktforschung
Hilfe und Anleitung für erfolgreiche Marktforschung
Die hier veröffentlichten Leitfäden richten sich insbesondere an weniger erfahrene Marktforscher bzw. nur hin- und wieder mit Marktforschungsfragen befasste Interessierte und sollen diesen wichtige Anregungen und Hilfestellungen für ihre forscherische Tätigkeit geben.
Was ist eigentlich ein gutes Marktforschungsergebnis – wie kann ich sicherstellen, dass ich für mein Geld die notwendige (Aussage-)Qualität erhalte? Das ist eine Frage, die sich immer wieder stellt, gerade wenn man nur gelegentlich Marktforschung heranziehen kann oder will, um Fragen an den Markt beantwortet zu bekommen.
Man könnte jetzt sagen, Erfahrung lässt sich nicht ersetzen, und wenn man selbst nicht über genügend Erfahrung verfügt, muss man eben dem Auftragnehmer vertrauen. Das ist einerseits richtig, andererseits ist sicher ein Basisverständnis wünschenswert, um die Herangehensweise und Methodik generell einschätzen zu können.
Idealerweise sollte auf beiden Seiten Klarheit darüber bestehen, welche Fragestellung auf welche Art und Weise bearbeitet werden soll, welche Erwartungen seitens des Auftraggebers bestehen bzw. von Seiten des Auftragnehmers überhaupt realistisch erfüllt werden können – und in welchem Kostenrahmen ein solches Marktforschungsprojekt ablaufen würde. Im Prinzip geht man dabei nicht anders vor als bei jedem anderen Projekt auch.
Mit dieser Reihe möchte das aus Instituts-und Betriebsmarktforschern zusammengesetzte Fachgremium des BVM-Fachbeirats „Standesregeln, Qualität, Methoden“ dem weniger erfahrenen bzw. nur hin- und wieder mit Marktforschungsfragen befassten Interessierten Hinweise und Anleitungen geben, worauf man bei Marktforschungsprojekten achten sollte. Die Reihe wird voraussichtlich aus sechs Modulen bestehen und soll einen Überblick darüber geben, was man idealerweise bei der Projektausschreibung, dem Angebotsvergleich, der Beurteilung von sogenannter „Feldarbeit“, der Auswertung und Analyse oder auch der Ergebnisdarstellung beachten sollte, erwarten kann bzw. wo mögliche Fallstricke liegen.
Natürlich können diese Leitfäden nicht alle denkbaren Möglichkeiten abdecken. Sie sollen lediglich Anregung und Hilfestellung bieten, damit eine vertrauensvolle Zusammenarbeit zwischen Auftraggeber und Auftragnehmer entstehen kann, bei der beide Parteien wissen, was der andere wünscht, tut bzw. ermöglichen kann.
Leitfaden - Ausschreibung
Zielgenaues Briefing für adäquate Angebote
Grundvoraussetzung für ein zielgerichtetes Angebot einer Dienstleistung ist eine gute Beschreibung dessen, was der zukünftige Auftraggeber als Entscheidungsgrundlage erwartet. Je genauer diese Beschreibung erfolgt, desto zielgerichteter kann ein gutes Marktforschungsinstitut den Bedarf des Auftraggebers erkennen und ein adäquates Angebot erstellen. Zentrale Punkte für die Ausschreibung eines Marktforschungsprojektes sind die Darstellung der Situation, aus der sich die Notwendigkeit der Marktforschung ergibt, die Formulierung der zu Grunde liegenden Geschäftsfrage und der sich daraus ableitenden Ziele des Projekts. Dies hilft dem Auftraggeber, Klarheit über die Problemstellung zu gewinnen und ermöglicht es dem Marktforschungsinstitut, schnell zu erfassen, worum es dem Auftraggeber geht.
Nicht zu allen im Leitfaden aufgeführten Punkten wird man als weniger erfahrener Auftraggeber Angaben machen können. So wird man z.B. bei der Methode, Interviewlänge oder Stichprobenzusammensetzung auf die Beratungskompetenz des Instituts vertrauen. Die möglichst genaue Beschreibung der Zielgruppe, die sich aus den Projektzielen ergibt, wird dabei dem Institut helfen, geeignete Vorschläge zur Methode und Stichprobenzusammensetzung zu unterbreiten.
Wesentlich ist für die Ausschreibung auch, dass der Auftraggeber seine Erwartungen formuliert. Im Folgenden wurden daher ein übersichtlicher Leistungskatalog und grundlegende Qualitätskriterien erarbeitet, die es gemäß den internen Richtlinien des Auftraggebers anzupassen gilt. Nicht zu vergessen ist zudem ein erster Zeitplan für das Projekt – vom Eintreffen der Angebote bis zur Vorlage des Projektergebnisses – dieser Aspekt nimmt besonders bei unveränderlichen Endterminen einen hohen Stellenwert ein.
Idealerweise und im Sinne von Transparenz in der Geschäftsbeziehung sollte der Auftraggeber die Kriterien angeben, anhand derer die Angebote begutachtet werden, z.B. die Gewichtung von Methode, Erfahrung des Instituts, Kosten etc.
Nun bleibt nur noch die Aufgabe, die Ausschreibung an zwei oder drei Marktforschungsinstitute zu schicken. Sollte Unklarheit darüber bestehen, wohin man die Unterlagen sendet, bieten das BVM-Handbuch oder das BVM-Dienstleisterportal www.marktforschungsanbieter.de mit Sicherheit adäquate Lösungsvorschläge.
Der Leitfaden kann als als Word-Dokument heruntergeladen und individuell bearbeitet werden.
BVM-Leitfaden "Die Ausschreibung" (Word-Dokument)
Leitfaden/Checkliste - Das Angebot
Dienstleistungen vergleichen und bewerten
Bei der Entscheidung für oder gegen ein Institut spielt das Angebot des Dienstleisters eine – wenn nicht die – wesentliche Rolle. Allerdings ist es mitunter relativ schwierig, die Leistungen unterschiedlicher Anbieter miteinander zu vergleichen. Dennoch gibt es einige zentrale Aspekte, die bei der Gegenüberstellung und Bewertung von Angeboten eine wichtige Rolle spielen und berücksichtigt werden sollten.
Davon ausgehend, dass der Auftraggeber allen potenziellen Auftragnehmern dasselbe Briefing zukommen lässt, sollte man annehmen, dass Angebote einfach zu vergleichen sind. In der Praxis stellt sich dies jedoch anders dar, denn jedes Institut wird ein Angebot abgeben, welches sich schon vom Format her von dem des Wettbewerbers unterscheidet. Der eine Provider wird ein Angebot als PowerPoint-Präsentation, der andere als Word-Dokument erstellen. Das eine Angebot beschränkt sich auf wenige Seiten, das andere enthält zusätzliche Informationen, die für das angefragte Projekt im schlimmsten Fall gar nicht relevant sind. Allerdings machen diese Unterschiede ein Angebot nicht per se "gut" oder "schlecht".
Vielmehr kommt es darauf an, ob im Angebot klar wird, dass Anfrage und Zielsetzung verstanden werden. Wichtig ist auch, ob ein hierfür geeigneter Studienansatz empfohlen wird und alle relevanten Punkte, die zur Durchführung der Studie gehören, aufgeführt werden. Grundvoraussetzung, damit ein Angebot dies erfüllen kann, ist freilich eine entsprechend exakte Ausschreibung (siehe hierzu den Beitrag "Die Ausschreibung").
Bei der Beurteilung eines Angebots sollte es auch nicht ausschließlich auf den Preis einer Studie ankommen, wenngleich dieser in Zeiten von "Cost Containment" sicher ein Hauptkriterium ist. Der Auftraggeber sollte darüber hinaus darauf achten, ob Methode und Stichprobenziehung beschrieben sind, wie groß die Zielgruppe ist und ob diese exakt und für die Zielsetzung passend definiert ist, welche Leistungen im Angebot enthalten sind, wie der Abstimmungsprozess geplant wird, ob das Timing realistisch und nachvollziehbar ist, welche Kontroll- und Qualitätssicherungen in welchen Projektphasen vorgesehen sind usw.
Die nachstehende Checkliste soll Sie dabei unterstützen, das passende Angebot für Ihr Vorhaben zu identifizieren. Sie beinhaltet alle Punkte, die in einem soliden Angebot aufgezeigt und idealerweise bereits im Rahmen des Briefings angefragt werden sollten. Zudem erleichtert der Leitfaden, der tendenziell eher auf Full-Service-Projekte ausgerichtet ist, den Vergleich mehrerer Angebote.
Grundsätzlich gilt jedoch, dass ein Angebot für ein komplexes Projekt sicher mehr Detailinformationen enthalten muss als das für ein vergleichsweise einfaches Projekt.
Die Checkliste kann als Word-Dokument heruntergeladen und individuell bearbeitet werden.
BVM-Checkliste "Das Angebot" (Word-Dokument)
Leitfaden - Die Studiendurchführung
Bei der Durchführung einer Studie kommt es besonders auf einen guten Start an. Dieser sollte in einem „Kick-off“-Gespräch erfolgen, bei dem diejenigen, die auf beiden Seiten das Projekt betreuen werden, die Ziele und die erforderlichen Projektschritte miteinander abstimmen. Die erste Phase ist die Entwicklung der genauen Vorgehensweise und der Erhebungsunterlagen, z. B. des Fragenbogens oder des Gesprächsleitfadens. Je nachdem, ob schon ein Fragebogen vorliegt oder dieser völlig neu zu erstellen ist, kann auch ein Fragebogen-Workshop hilfreich sein. Dabei werden am besten anhand von Vorlagen, wie z.B. alten Fragebögen und Themenlisten, die Entscheidungen getroffen, welche Inhalte einzubeziehen sind und wie der Fragenbogen konstruiert wird. In dieser Phase des Projekts wird die Grundlage für die Qualität der Ergebnisse gelegt, denn die Qualität der Fragen ist hierfür entscheidend. Im folgenden Leitfaden sind die wichtigsten Kriterien, wie z.B. die Reihenfolge der Fragen und ihre Verständlichkeit, spezifiziert. Die Erstellung der Erhebungsunterlagen sollte von einer möglichst genauen Vorstellung über die Art und Weise der Auswertung geleitet sein.
Besonders bei neu entwickelten Fragebögen ist die Durchführung eines Pretests empfehlenswert, in dem Eignung und Verständlichkeit des Fragebogens geprüft werden. Auf Basis der Pretest-Ergebnisse wird der Fragebogen dann ggf. für die Hauptstudie optimiert.
Nach der Entwicklung der Erhebungsunterlagen, in der sich der Auftraggeber einbringen kann, erfolgt die Erhebung der Daten durch das Institut. Während dieser Phase sollte der Auftraggeber über Verlauf und Stand der Erhebung je nach Bedarf informiert werden. Abhängig von Projekttyp und Erhebungsmethode kann das von regelmäßigen Feldberichten zur Fallzahl bis zum umfangreichen Real-Time Monitoring erfolgen. Bei qualitativen Studien gibt es zudem die Möglichkeit der Beobachtung.
Nach Abschluss der Erhebung werden die Daten aufbereitet und den zentralen Projektfragestellungen entsprechend analysiert.
BVM-Leitfaden "Die Studiendurchführung" (Word-Dokument)
Leitfaden - Die Analyse und Auswertung
Nach Abschluss der Feldarbeit folgt ein weiterer wichtiger Schritt, der maßgeblich die Qualität der beauftragten Studie bestimmt – die Auswertung und Analyse der erhobenen Daten. An dieser Stelle des Marktforschungsprojektes entscheidet sich die Validität und Aussagekraft der Informationen und Ergebnisse. Dies ist auch abhängig vom seitens des Instituts betriebenen Aufwand, wie intensive Plausibilitätsprüfungen bei quantitativen Befragungen oder komplexen statistischen multivariaten Auswertungsmodellen, wie Positionierungen oder Conjoint-Verfahren. Neben der Erfahrung des Instituts ist aber gleichermaßen eine vorherige, klare Festlegung von Auftraggeberseite notwendig.
Nützlich kann eine Hilfestellung des Auftraggebers z.B. bei der Codierung der Antworten von offenen Fragen sein oder die Abstimmung spezieller Fachtermini oder auch Antworten, die für den Auftraggeber innerhalb einer Gruppe (Overcode) gezählt werden sollen. Für eine erfolgreiche Auswertung kann es wichtig sein zu definieren, wie die Ergebnistabellen aufgebaut sein sollen, welche Teilgruppen ausgewiesen werden sollen oder auch an welchen stärker detaillierten Ergebnissen besonderes Interesse besteht.
Bei der Definition der getrennt auszuweisenden Teilgruppen ist darauf zu achten, dass die ausgewiesenen Teilstichproben noch ausreichende Fallzahlen aufweisen, um belastbar Ergebnisse darstellen zu können. All dies kann notwendig sein, damit der Projektabschlussbericht tatsächlich auch inhaltlich die Informationstiefe erreicht, die vom Auftraggeber mit der Auftragsvergabe erwartet wurde.
BVM-Leitfaden "Die Analyse und Auswertung" (Word-Dokument)
BVM-Fachbeirat: Fachgremium "Standesregeln, Qualität, Methoden"
Iris Schuster und Annika Mollenkopf von ForschungsWerk ergänzen das Fachgremium bei der Erstellung der Leitfäden.