从川普获胜看满意度和NPS调研的缺陷
来源: 时间:2016-12-08
美国东部时间11月8日晚,美国大选川普获胜。这“意外”的结果震惊全球,全球股市地震,华尔街的精英没有想到,硅谷的精英也没预测到,就在前一天民调机构的结果显示,希拉里会获胜。选举日,川普各种打脸!
恐怕所有人中,一向宣称科学预测的美国民调机构是脸最肿的,包括耳熟能详的Gallup(盖洛普),还有各大媒体和主要报纸等,民调机构集体掉在了阴沟里。事实上,这不是他们第一次翻船,比如1948年的美国大选,盖洛普和多数民调机构都预测,杜威会击败杜鲁门,结果是杜鲁门获胜,就连当时处在内战困境中的蒋介石也被带到沟里去了。而且从历史来看,各家民调机构的结果常常相左,同一家机构每天的结果变化跳跃也非常大,究其根源,主要问题出在调研方法上。
理论上来讲,民调机构和我们客服行业的常常采用的调研满意度和NPS调研是一致的!众所周知,民调公司的做法主要是三个步骤:随机采样,调查问卷和计算数据,这是概率论中最常用的推测结果的方式,无论满意度调研又或者NPS调研,理论、方法和步骤是异曲同工的。所以,大选的民调失真,很值得我们借鉴和审视这两个作为客服中心评价的重要指标,是否有缺陷?应该怎么修正?
一、调研样本的随机性难以保证
无论民调、满意度调研、NPS推荐值,采用的都是在社会调查和社会研究中应用较广泛的统计方法,随机抽样法;主流的调研方式是电话访问的方式。比如在美国大选中,你找了上1万人调研得出Obama的支持率在 51%,那他真正的支持率,应该有 95% 的机率在50% - 52%之间,这个叫置信区间。
影响这种方法的关键在于两点,第一是样本的随机性;第二是样本的数量。一般来说,美国的专业民调机构,在一个州采样在要1200以上,可以让刚提到的 95% 的置信区间控制在正负3%之内,想不起来为啥的可以翻翻《概率论与数理统计》,要代表全国真实情况,那样本量要非常庞大。
随机性和样本数量这两者是相辅相成的,因为完全随机这一点很难控制,所以通常采用足够丰富的样本的数量来保证随机性。举例来讲,某公司有一个多亿的用户,而满意度调研只有几百的样本量,其结果的置信区间是非常宽的,也就是说,结果的真实性不高。所以,无论满意度调研还是NPS调研要保证样本的数量丰富。从这个角度看,及时的挂机满意度调研比事后的满意度调研回访真实性更高!
保证样本的随机性可以采取分层随机抽样法,因为不同区域的样本情况差异很大,如果横比就破坏了随机性。美国大选一共有538张选举人团票,根据人口数量的不同,每个州的选举人团票数量不同;更重要的是“胜者全得”规则,即如果一个人在某个州获得了相对较多的选民票数,那么他就获得了这个州的所有选举人团票。这个规则的核心关键,是承认不同区域的不同性。类比来看,中国同样幅员辽阔,不同的省份之间因为经济发展、语言思维等情况的不同,地域差异性非常大,所以,满意度调研结果的对比,采用省内同类企业的满意度结果横比的方式比各省之间对比更接近真实情况。
二、电话调研的方式已经很陈旧
美国大选民调历史上有一个很知名的故事,《文学文摘》此前准确预测过5次总统选举结果而名声大噪。1936年大选中,《文学文摘》当年邮寄出1000万份问卷,回收到230万份,样本做到了绝对够大。分析后,他们预测阿尔夫•兰登会战胜罗斯福当选总统,结果却是罗斯福获得了压倒性的胜利——在48个州中胜出意度结果横比的方式比各省之间对比更接近真实情况。
二、电话调研的方式已经很陈旧
美国大选民调历史上有一个很知名的故事,《文学文摘》此前准确预测过5次总统选举结果而名声大噪。1936年大选中,《文46个。《文学文摘》惨遭到羞辱,不久后就宣告破产了。
原来,《文学文摘》是按照电话号码本选出的这1000万调查对象,但在当年的美国,能装得起电话的往往是较富裕阶层,而支持罗斯福的广大工人群体基本被排除在调查范围之外,在样本上造成了显著偏差。但另一家刚成立了一年的民调公司只用了5万样本,得出了完全相反的结果,也相应的名声鹊起,这家公司就是盖洛普,其采用的办法是分层随机抽样,保证了样本的随机性。
这个案例一方面证明了前文谈到的分层抽样的观点,另外也集中的点出了,随着时代的变迁,调查的方法应该与时俱进,因为不同的调查方法已经代表了不同群体。80年前,我们用电话寻找群体是错误的,那现在我们一律采用打电话的方式去调研也是错误的。在移动互联网高速发展的今天,无论是互联网原住民、移民还是难民,恐怕都难以耐心接听电话,并且承受那磨磨唧唧的漫长问卷。
川普本来就是一个超级网红(他在Twitter和Facebook上一共有2580万粉丝),事实上他也一直在社交媒体上精心运作,呼吁大家去投票。再比如今年的美国民调机构,甚至宣布在x-box中都插入了问卷去调研,就是这个道理。从这个角度看,能够耐心的完成你的电话调研的人群其实早已经是偏是错误的,那现在我们一律采用打电话的方式去调研也是错误的。在移动互联网高速发展的今天,无论是互联网原住民、移民还是难民,恐怕都难以耐心接听电话,并且承受那磨磨唧唧的漫长问卷。
川普本来就是一个超级网红(他在Twitter和Facebook上一共有2580万粉丝),事实上他也一直在社交媒体上精心离了样本的随机性!
还有一个很有意思的案例,在今年的民调中,一家公司意外猜中,原因是他的调研问卷比别人家增加了一项,问你的邻居会选谁?而在这一项的得分中,川普得分很高。我的理解是,也许是电话调研本身有一种紧张感,或者其他因素,可能让眼下越来越内向的人群更加沉默,不愿意表达自己的观点但不代表没有观点。
所以,一个调研如果能让拒绝的人群、沉默的人群来充分表达自己的观点,也许调研的结果,才是真实有效的。
三、嘴上说说不如动点真格的
网传,与美国那些做的满头大汗的民调公司相比,我国义乌的“小商品指数”已经轻松的指出了结果。

这个案例说明了大数据的巧妙应用,但更重要的说明了,真金白银才能更说明问题。对于NPS我一直想不通的是,你打个电话,问别人“你多大程度上会向你的亲友推荐我公司的产品?”还给个数值给别人选,这是一个十分虚幻又烧脑的过程啊朋友!
我们不需要“逗你玩&rdqfile//201612894136.png" width="500" height="437" alt="" />
总而言之,在全民互联网的今天,客户的行为统统是在线的,我们可以看到非常多的路径去做到这些调研。相反的我们客服行业普遍非常重视的,满意度调研得分和NPS推荐值却非常传统,在调研的样本、方法、问卷、模式均存在很多的缺陷,绝不应该作为最终的、唯一的服务质量判定指标,应该科学合理的看待,更应该科学合理的改善。
综合运输服务发展专业委员会 版权所有 粤ICP备11022414号-7 电话:020-29886389
© CopyRight 2009-2013, ts.gzoutsourcing.cn, Inc.All Rights Reserved.
广州服务贸易与服务外包公共服务平台:http://www.gzoutsourcing.cn/