NPS - Hochschule Heilbronn

Transcrição

Absicherung des Net Promoter
Score – die Ermittlung von
Konfidenzintervallen mit dem
Bootstrap Verfahren
Prof. Dr. Oliver Schwarz
Studiendekan Management und Vertrieb: Industrie
Hochschule Heilbronn, Campus Schwäbisch Hall
Ziegeleiweg 4
D-74523 Schwäbisch Hall
[email protected]
Zur Person
 Diplom-Volkswirt, Dr. rer. pol.
Institut für Allgemeine Wirtschaftsforschung, Abteilung für Statistik und
Ökonometrie an der Albert-Ludwigs-Universität Freiburg.
 Diverse Stationen in der Pharmaindustrie in den Bereichen Database
Marketing und Data Mining
 Duale Hochschule Baden-Württemberg, Mannheim (2003-2006)
Professur für Database Marketing und Data Mining
 Hochschule Heilbronn, Campus Schwäbisch Hall (seit 2006)
Professur für quantitative Methoden und VWL
Vorlesungsschwerpunkte: Marktforschung, Statistik, Mathematik und VWL
26.02.2013
Seite 2
Absicherung des Net Promoter Score – die Ermittlung
von Konfidenzintervallen mit dem Bootstrap Verfahren
1. Net Promoter Score – Einführung
2. NPS - Erfolgskennzahl und Wachstumsmotor?
3. Von der Punktschätzung zur Intervallschätzung
4. Anwendungen des NPS
5. Diskussion
26.02.2013
Seite 3
„Die ultimative Frage“ Reichheld (2006)
„Wie wahrscheinlich ist es, dass sie dieses Unternehmen
einem Freund oder Kollegen weiterempfehlen?“
0
1
2
3
5
6
7
8
neutral
sehr
unwahrscheinlich
Kritiker
4
9
10
sehr
wahrscheinlich
Passive
26.02.2013
Promoter
Seite 4
Charakteristika der Kundengruppen
 Promoter (Skalenwerte 9 + 10):
 enthusiastische Weiterempfehler
 Begeistert vom Unternehmen und den Produkten
 Passive (Skalenwerte 7 + 8):
 zufrieden aber nicht enthusiastisch genug für
Weiterempfehlungen
 offen gegenüber Konkurrenzangeboten
 Kritiker (Skalenwerte 0 bis 6):
 unzufrieden
 propagieren negative Einstellung
 möglicherweise rufschädigend
26.02.2013
Seite 5
Berechnung des Net Promoter Score (NPS)
 nP nK 
 100
NPS   
n 
 n
mit:
n
Anzahl der befragten Personen, davon:
nP
Anzahl der Promotoren,
nK
Anzahl der Kritiker.
Wertebereich:
 100  NPS  100
26.02.2013
Seite 6
Pro und Contra für den NPS als Erfolgskennzahl
Vorteil:
 Prozesskontrolle innerhalb von Marketing und Vertrieb.
 Kontinuierliche Erhebung ohne großen Aufwand möglich.
Nachteile:
 Kein Rückschluss auf kundenindividuelles Verhalten.
 NPS ist ungeeignet für Treiberanalysen.
 Einflussfaktoren für die Weiterempfehlungen bleibt
unberücksichtigt.
 Handlungsempfehlungen auf Basis des NPS sind nicht
möglich.
26.02.2013
Seite 7
„The one number you need to growth“ Reichheld (2003)
 Hypothese: Der NPS ist ein valider Wachstumsprädiktor!
 Uneinheitliche Ergebnisse in der Literatur:
Autor
Reichheld (2006)
Marsden et. al. (2006)
Keiningham (2007)
Morgan und Rego (2006)
Methode
(Einfach-) Regression
Korrelationsanalysen
Korrelationsanalysen
(Multiple) Regression
These bestätigt?
Autor
Ihr Urteil
Ja
Ja
Nein*
Nein
* Stokburger-Sauer/Hammerschmidt (2007) sehen hingegen die Ergebnisse
der Arbeit als Beleg für den NPS als Wachstumsindikator.
26.02.2013
Seite 8
Die Analysen von Reichheld (2006)
 Einfachregression:
 Abhängige Variable:
Umsatzwachstum
 Unabhängige Variable:
NPS
 Als Beleg für den NPS
als Wachstumstreiber
dient das
Bestimmtheitsmaß!
 valider
Wachstumsprädiktor!
Für das Beispiel: Die Korrelation ist
weder auf dem 1% noch auf dem 5%
Niveau signifikant.
26.02.2013
Seite 9
Das Problem bei Reichheld (2006)
 Das Bestimmtheitsmaß ist im Fall der Einfachregression
nichts weiter als der quadrierte Korrelationskoeffizient:
 Sagt nichts über die Kausalität aus!
 Das gleiche Ergebnis erhält man, wenn Ursache und Wirkung
vertauscht werden.
 Die Wachstumsdaten sind dem NPS Daten zeitlich
vorgelagert (der NPS geht nicht als Lag, sondern als Lead
in die Analyse ein).
 Wenn schon, dann ist allenfalls der umgekehrte Schluss zulässig.
 Sharp (2008) bezeichnete die Analysen von Reichheld als
„fake science“
26.02.2013
Seite 10
Die Analyse und das Problem bei Marsden et. al. (2006)
 Signifikante Korrelationskoeffizienten zwischen dem NPS
und dem Umsatzwachstum (p < 0,01)
 Problem:
 Der NPS basiert auf Umfragen aus dem Jahr 2005.
 In den Interview wurde nach der Weiterempfehlung innerhalb der
letzten 12 Monate gefragt.
 Das Umsatzwachstums stammt aber aus dem Jahr 2004.
 Gleiches Kausalitätsproblem wie bei Reichheld.
 Signifikanzniveaus sagen nichts über die Stärke des
Zusammenhangs aus.
26.02.2013
Seite 11
Die Analyse und das Problem bei Keiningham (2007)
 Konnten keine signifikanten Korrelationskoeffizienten
zwischen dem NPS und dem Umsatzwachstum
nachweisen (Banken und Kraftstoffhandel).
 Problem: Wie passt das zu Marsden et. al. (2006)?
 Altes Wachstum wird nicht mit „neuem“ NPS korreliert.
 Die Berechnung erfolgt auf Basis nur weniger Firmen (12 Banken, 4
Kraftstoffhandel).
 Je mehr Firmen in die Korrelationsanalyse eingehen, desto eher ist
c.p. ein Korrelationskoeffizient signifikant.
26.02.2013
Seite 12
Exkurs: Stichprobenumfang und Signifikanz
Wie hoch muss der Korrelationskoeffizient mindestens sein,
damit die Nullhypothese abgelehnt werden kann?
1.00
r ( α = 0.01)
0.90
r ( α = 0.05)
0.80
Korrelationskoeffizient
n
4
5
10
20
30
50
100
500
1,000
2,000
0.70
0.60
0.50
0.40
0.30
Minimaler
Korrelationskoeffizient
α = 0.01
α = 0.05
0.99
0.95
0.96
0.88
0.76
0.63
0.56
0.44
0.46
0.36
0.36
0.28
0.26
0.20
0.12
0.09
0.08
0.06
0.06
0.04
0.20
0.10
0.00
0
10
20
30
40
50
60
Stichprobengröße
70
80
26.02.2013
90
100
Seite 13
Die Analyse von Morgan und Rego (2008)
 Multiple Regressionsanalyse
 Abhängige Variable: Umsatzwachstum
 Neben dem NPS wurden weitere erfolgsrelevanten
Regressoren berücksichtigt.
 Ergebnis: Es konnte kein signifikanter
Regressionskoeffizient für den NPS ermittelt werden.
 Hinweis: Der NPS wurde bei Morgan und Rego nicht auf Basis beabsichtigter
Weiterempfehlungen, sondern aufgrund tatsächlich vorgenommener
Empfehlungen berechnet.
26.02.2013
Seite 14
Der NPS ist das Ergebnis einer Schätzung
Stichprobenziehung
„Die ultimative Frage“
Schätzung
NPS
Umsatzwachstum
In der Regel
nicht thematisiert..
Schätzung:
Korrelationskoeffizienten
Bestimmtheitsmaß
Regressionskoeffizienten
Modell: :
Korrelation
Regression
26.02.2013
Seite 15
Intervallschätzung für NPS: Motivation
 Eine Punktschätzung erlaubt keine Aussage über die
Güte der Schätzung.
 Heterogene Gruppen weisen eine höhere Streuung
auf, als homogene Gruppen. Gleichwohl kann der
Parameter für beide Gruppen identisch sein.
Beispiel:
 nP nK 
 100  50
NPS   
n 
 n
Fall A:
Promotoren und Passive Kunden
(Keine Kritiker)
Fall B:
Promotoren und Kritiker
(Keine passive Kunden)
NPS  0,5  0,0 100 50
NPS  0,75  0,25 100 50
26.02.2013
Seite 16
Konstruktion des Konfidenzintervalls für den NPS 1#3
Punktschätzung auf Basis der Realisierungen:
,
,…,
∙ 100
Bootstrap – Grundgedanke:
 Anstelle (möglicherweise) unrealistische Verteilungsannahmen zu
treffen, wird die Originalstichprobe wie eine Grundgesamtheit
behandelt.
 Aus der Originalstichprobe wird eine Vielzahl von
Zufallsstichproben mit Zurücklegen gezogen (im Umfang n).
 Die hieraus geschätzten NPS (Bootstrap Werte) bilden gemeinsam
die Bootstrap Verteilungsfunktion.
 Aus der Verteilungsfunktion wird das Konfidenzintervall abgeleitet.
26.02.2013
Seite 17
Bootstrap Stichprobe b
∗ ∗
, ,⋯, ∗
1, 2, … ,
Empfehlung:
B = 1.000
Funktionsparameter für die Stichprobe b
∗
,
∗
,⋯,
∗
26.02.2013
Seite 18
1.00
0.90
0.80
0.70
0.60
0.50
0.40
0.30
Perzentil Konfidenzintervall
0.20
;
0.10
0.00
46
47
48
49
50
51
NPS
52
53
54
26.02.2013
55
56
Seite 19
Empfehlungen bei der Anwendung
 Auch bei kleinem Stichproben (n>50) liefert das
Bootstrap Verfahren gute Ergebnisse.
 Der Schätzer ist konsistent, aber nicht zwingend
unverzerrt (insbesondere bei kleinen Stichproben).
 Neben der Perzentil Methode sollte daher auch die
mögliche Verzerrung berücksichtigt werden (BC = Bias
Corrected).
 Mindestens 1.000 Replikationen.
26.02.2013
Seite 20
Datenmaterial
 Monatliche Online-Kundenbefragung der Ing-DiBA.
 n = 2.657 Kunden im Alter zwischen 18 und 65 Jahren.
 NPS-Frage:
„Mit welcher Wahrscheinlichkeit würden Sie die ING-DiBa
einem Familienmitglied, Freund oder Kollegen
weiterempfehlen, wenn sie die Gelegenheit dazu hätten?“
 Antworten werden auf einer 10-stufigen Skala (1=nein,
auf keinen Fall, 10=ja, auf jeden Fall) abgebildet.
 Abweichung gegenüber der von Reichheld (2003) vorgeschlagenen 11-stufigen Skala
(0=unwahrscheinlich, 10=äußerst wahrscheinlich). Die Differenz in der Skala ist nach Keiningham
et. al. (2007) vernachlässigbar. Pingitore et. al. (2007) empfehlen gar eine auf einer 4-er Skala
basierende NPS Metrik.
26.02.2013
Seite 21
Net Promoter Score der Ing-DiBa
NPS
n
2.657
Promotoren
1.581
Kritiker
224
NPS
Bias Std. Err. [95% Conf. Interval]
51,07 0,0425
1,245 48,66
53,56
48,55
53,52
59,50 0,0183
0,962 57,64
61,42
57,66
61,46
8,43 -0,0242
0,529 7,38
9,47
7,45
9,52
(P)
(BC)
(P)
(BC)
(P)
(BC)
P = Perzentil Methode, BC = Bias-Corrected, n = Stichprobenumfang, Observed = Net Promoter Score aus der OriginalStichprobe geschätzt.
65
60
NPS
55
50
53.5
53.2
52.7
45
49.9
45.9
40
35
Mai 08
Jun 08
Jul 08
Aug 08
26.02.2013
Sep 08
Seite 22
Net Promoter Score - Benchmark von Satmetrix (2012)
 Banken in Deutschland:
 Spitzenreiter Sparda-Bank mit 60% Promotoren.
 Schlußlicht „Anonym“ mit 45% Kritikern.
26.02.2013
Seite 23
Konfidenzintervalle für den Net-Promoter-Score nach
dem Share of Wallet.
Share of Wallet
unter 25%
von 25 bis unter
n
NPS
Bias
Std. Err.
773
39,20
0,1028
2,5290
483
47,00
-0,0251
2,7397
50%
von 50 bis unter
582
59,28
0,0548
2,3310
75%
75 % und höher
565
68,85
0,0251
2,2158
[95% Conf. Interval]
34,15
44,18
(P)
33,64
43,73
(BC)
40,89
52,17
(P)
40,79
51,97
(BC)
54,73
63,92
(P)
54,64
63,92
(BC)
64,60
73,10
(P)
64,60
73,27
(BC)
P = Perzentil Methode, BC = Bias-Corrected, n = Stichprobengröße, Observed = Net Promoter Score aus der Original-Stichprobe geschätzt.
26.02.2013
Seite 24
Bootstrap Verteilung der Promotoren und Kritiker nach
dem Share of Wallet
90%
80%
70%
Promotoren
60%
50%
40%
30%
Share of Wallet:
unter 25%
von 25% bis unter 50%
von 50% bis unter 75%
75% und mehr
20%
10%
0%
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
20%
Kritiker
26.02.2013
Seite 25
dem Geschlecht
80%
70%
60%
Promoter
50%
40%
Männer
Frauen
30%
20%
10%
Frauen
Männer
0%
0%
2%
4%
6%
8%
10%
NPS
63.1
44.1
12%
[95% Conf. Intervall]
59.8
66.9
41.0
47.3
14%
Kritiker
26.02.2013
Seite 26
dem Beschwerdeverhalten
70%
Beschwerde durchgeführt
(n=105)
60%
Grund zur Beschwerde, aber
nicht durchgeführt (n=77)
Promotoren
50%
40%
keine Beschwerde (n=2.475)
30%
20%
n
2,475
keine Beschwerde
Beschwerde durchgeführt
10%
105
Grund zur Beschwerde, aber
nicht durchgeführt
0%
0%
10%
20%
Kritiker
77
30%
NPS
Std. Err. [95% Conf. Interval]
53.21
1.2522
50.79
55.58 (P)
51.03
55.68 (BC)
30.48
7.1276
16.19
43.81 (P)
16.19
43.81 (BC)
10.39
8.2149
-5.19
27.27 (P)
-3.90
28.57 (BC)
40%
26.02.2013
50%
Seite 27
Fazit
 Der NPS gewinnt an Glaubwürdigkeit, wenn anstelle
einer Punktschätzung ein Vertrauensintervall angegeben
wird.
 Die Angabe eines Konfidenzintervalls für den NPS hilft,
Fehlinterpretationen und daraus resultierende
zweifelhafte Schlussfolgerungen zu vermeiden.
 Bei einer Schichtung der Kunden nach dem Share of
Wallet, sind Unterschiede in der Höhe des NPS bei
weitgehend überschneidungsfreien Konfidenzgrenzen
vorhanden. Damit ist die Anwendung von
kundengruppenspezifischen Strategien sinnvoll.
26.02.2013
Seite 28
Literatur
Literatur 1#2

Brandt, D. Randall (2007): For Good Measure, in: Marketing Management, 16(1), 20-25.

Briggs, A.H., Wonderling, D.E., Mooney, C.Z. (1997): Pulling Cost-Effectiveness Analysis up by its Bootstraps: A NonParametric Approach to Confidence Interval Estimation, in: Health Economics, 6, 327-340.

Brosius, Felix; Ziegeler, Carina (2008): Der Net Promoter Score: Die ultimative Frage in der Marktforschung, in: planung &
analyse, 2/2008, 80-84.

Bauer, Florian; Bössow, Oliver; Studzinsky, Jörg (2007): Über Sinn und Unsinn des Net Promoter Score (NPS), in: planung
& analyse, 4/2007, 69-73.

Campbell, M.K.; Torgerson, D.J. (1999): Bootstrapping: Estimating Confidence Intervals for Cost Effectiveness Ratios, in:
QJM, 92, 177-182.

Chernick, Michael R. (1999): Bootstrap Methods: A Practitioners Guide, Wiley, New York.

Efron, Bradley; Tibshirani, Robert J. (1993): An Introduction to the Bootstrap, Chapman-Hall, New York.

Efron, Bradley (1979): Bootstrap Method: Another look at the Jackknife, in: Annals of Statistics, 7, 1-26.

Engel, Joachim; Grübel, Rudolf (2008): Bootstrap – oder die Kunst, sich selbst aus dem Sumpf zu ziehen, in:
Mathematische Semesterberichte, 55(2), 113-130.

Keiningham, Timothy L.; Cooil, Bruce; Andreassen, Tor Wallin; Aksoy, Lerzan (2007): A Longitudinal Examination of Net
Promoter and Firm Revenue Growth; in: Journal of Marketing, 71, 39-51.

Keiningham, Timothy L.; Aksoy, Lerzan; Cooil, Bruce; Andreassen, Tor Wallin (2008a): The Galileo Effect, in: Marketing
Management, 17(1), 48-51.

Keiningham, Timothy L.; Aksoy, Lerzan; Cooil, Bruce; Andreassen, Tor Wallin (2008b): Net Promoter, Recommendations,
and Business Performance: A Clarification on Morgan and Rego, in: Marketing Science, 27(3), 531-532.

Lei, Ming; Lomax Richard G. (2005): The Effect of Varying Degrees of Nonnormality in Structural Equation Modeling, in:
Structural Equation Modeling, 12(1), 1-27

Löthgren, Mickael; Zethraeus, Niklas (2000): Definition, Interpretation and Calculation of Cost-Effectiveness Acceptability
Curves, in: Health Economics, 9, 623-630.
26.02.2013
Seite 29
Literatur
Literatur 2#2

Marsden, Paul; Samson, Alain; Upton, Neville (2006): Advocay Drives Growth, in: Brand Strategy,
Dec2005/Jan2006, Issue 198, 45-47.

Mooney, Christopher Z.; Duval, Robert D. (1993): Bootstrapping – A Nonparametric Approach to Statistical
Inference. Sage University Press, Newbury Park.

Morgan, Neil A.; Rego, Lopo Leotte (2006): The Value of Different Customer Satisfaction and Loyalty Metrics
in Predicting Business Performance, in: Marketing Science, 25(5), 426-439.

Morgan, Neil A.; Rego, Lopo Leotte (2008): Can Behavorial WOM Measures Provide Insight into the Net
Promoter Concept Customer Loyalty?, in: Marketing Science, 27(3), 533-534.

Pingitore, Gina; Morgan, Neil A.; Rego, Lopo L.; Gigliotti, Adriana; Meyers, Jay (2007): The Single-Question
Trap, in: Marketing Research, 19(2), 9-13.

Poi, Brain P. (2004): From the Helpdesk: Some Bootstrapping Techniques, in: The Stata Journal, 4(3), 312328.

Reichheld, Fred (2003): The One Number You Need To Grow, in: Harvard Business Review, December, 4654.

Reichheld, Fred, (2006): Die ultimative Frage – Mit dem Net Promoter Score zu loyalen Kunden und
profitablem Wachstum, Hanser, München.

Ruf, Stefan (2007): Würden Sie diese Methode einem Freund weiterempfehlen?, in: Verband Schweizer Marktund Sozialforscher (Hrsg.): Jahrbuch 2007, 38-40.

Shaw, Robert (2008): Opinion Piece Net Promoter, in: Journal of Database Marketing & Customer Strategy
Management, 15, 138-140.

Sharp, Byron (2008): Net Promoter Score Fails the Test, in: Marketing Research, 20(4), 28-30.

Stokburger-Sauer, Nicola; Hammerschmidt, Maik (2007): Die Relevanz verhaltensorientierter Größen zur
Prognose des CLV, in: Bayón, Tomás; Herrmann, Andreas; Huber, Frank (Hrsg.): Vielfalt und Einheit in der
Marketingwissenschaft, Gabler, Wiesbaden, 348-374.
26.02.2013
Seite 30

NPS - Hochschule Heilbronn

Transcrição

Documentos relacionados

„Die“ Kennzahl im Kundenbeziehungsmanagement: Der Net

Über Sinn und Unsinn des Net Promoter Scores (NPS)

Absicherung des Net Promoter Score – die Ermittlung von

Die Aussagekraft des Net Promoter Score

News - X

Jamie Oliver - Deutscher Nachhaltigkeitspreis

Leseprobe aus: Charles Dickens, Oliver Twist Erstes

mystery shopping plus - Mystery Shopping

KATALOG

Mobile Promotion Bahnhof