别骗自己了,那些让你拿出去吹嘘的都是「虚荣性指标」

摘要

对于一家企业来说,哪些数据指标对他们来说才是真实而有价值的?

编者按:许多公司都会测量自身发展中的许多指标,一方面是为了更好地了解自己,另一方面也是为了吸引更多的投资。但,你所测量的内容真的是有用的指标吗?本文编译自 First Round Review,略有删改,原文标题为「I’m Sorry, But Those Are Vanity Metrics」http://firstround.com/review/im-sorry-but-those-are-vanity-metrics/)。


我们对「虚荣性指标」的迷恋从我们很小的时候就初见端倪了。上学的时候,分数就是最重要的东西,但一个「A」真的能反映出学生的学习水平,或者就能承诺他未来在社会中的发展吗?也许,拿到「B」以上的成绩只是代表着「学习更用功」,而非「更聪明」。

分数很容易让你陷入虚荣中去,让你喜欢比较而非追求卓越,让你执着于自我而非进步。这些分数可以成为教师对比学生或学校董事会评估学校的工具,而非让学生进步。所以,我们很容易成为「A」的牺牲品。

Looker(数据可视化分析公司)的 CTO Lloyd Tabb 在科技界也看到了同样的问题,各种指标是提升了——从 DAU(日常活跃用户)到利润,但实际的帮助可能却不大。事实上,这些测量往往倾向于让投资者衡量一家公司是否有价值,而不是显示它自己能如何创造更多的价值。

这些证明了我们大多数人仍然执着于得到一个「A」。在三十年的公司管理经验之后(其中包括了大名鼎鼎的 Netscape),Tabb 获得的最大收获不是你所期望的,也不是你想要听到的:你正在测量错误的指标和数据。

lloyd_tabb_v0001.jpg

                                                         (Lloyd Tabb)

在下面的内容中,Tabb 将分享如何遵循数据所指引的发展方向,而非背道而驰。他比较了少数几类公司(包括了服务型、广告、软件、电商)中存在的虚荣性指标与清晰化指标,以演示如何找到更好预测未来行为的方法。

虚荣性指标(Vanity Metrics)vs. 清晰化指标(Clarity Metrics)

对于学生来说,GPA 分数是他们能否进入大学的关键指标,因为这能简单的反映学生整体的表现。科技公司同样也需要这样宽泛的指标——比如用户数量——来说服投资人和投资顾问相信这家公司有前途。

在 Tabb 看来,「虚荣性指标不是没有用,他们适合其他人来对你进行评价和比较。」但别在自己内部也这样做,追踪那些清晰化的指标才能帮你建立良好的公司业务。

下面是他们的区别所在:

  • 虚荣性指标是那些表面性的数据指标,他们通常都是很大型测量内容,比如产品下载量,这能给别人留下印象。你可以用他们来启动合作伙伴关系,并且获得关注。
  • 清晰化指标则是操作性更强的指标,比如产品实际的使用时间或是用户获取服务所需的时间等等。他们通常是推动公司发展的隐形齿轮,好好利用他们能巩固你在竞争中的优势。

混淆这两种类型的测量内容可能会带来灾难,迷恋虚荣性指标会让企业无法建立真正可行的商业策略。「在 2014 年,一个招聘网站会在用户注册之后通过 Facebook 中的好友信息进行病毒式推广,他们的投资顾问和投资人迫使他们不断提升自己平台的 DAU,所以这就是他们所关注的一切」,Tabb 说道,「当然,这个策略看上去奏效了,3300 万的 DAU 获得了 4900 万美元的投资,这一切都发生在不到两年的时间里。他们非常专注于这个单一指标,于是他们没有注意到自己流失用户就和自己获得用户一样快,所有人都对他们的做法表示不满。他们成为了一颗最终坠落的流星。」

这家公司因为过度关心增长而损害了单个用户的利益,「你得到了你想要的东西,但却留下了糟糕的后果」,Tabb 说道。

下面是他根据几种不同类型的企业所给出的建议。

服务型公司

如果你正在售卖一项服务,那你最常见的虚荣性指标就是你的用户数量。将你的发展速度和你的竞争对手作比较能显示出谁赢了,但这不会告诉你如何以及为什么。「对于服务型公司来说,你要发现并测量那些能带领你获得用户欢心的内容。你的目标应该是回答这个问题:我们的用户得到了好的服务了吗?我知道这是一个具有挑战性的问题,因为服务好不好是很主观的」,Tabb 说道,「如果你找到了一项好的指标,那就随着时间测量用户行为的变化,如果情况变得更好了,那就说明这就是你要做的事。」

那企业如何发现这些呢?走出你所在的行业可能会帮助你更开放、更有创造性地思考。举个例子,假设你正在一家餐厅评估它的服务是否良好。「对一家餐厅来说,你有很多昂贵的方式来测量它的服务是否出色,比如你能计算究竟有多少客人在同一时间试图寻求服务生的帮助。但这比较困难,因为你很难判断客人们究竟是不是在寻求服务。所以,你需要的是一个容易测量并且不容易被误解的措施。比如测量每个客人杯子里的水有多少,通常这都能反映出一家餐厅的服务水平,并且容易很测量。「

瞄准服务的最早期行为。对于服务型公司来说,在你设立测量指标时,请再往前看一点。比如共享出行服务经常引用的指标是每月活跃车主的数量。「但这就是虚荣性指标,因为这并不能解释为什么用户会持续使用你们的服务以及服务能够如何改进。想要让服务变得更好,请去测量用户搭一次车需要花费的时间,车辆到达得越快,用户再次使用的可能性就越大」,Tabb 说道,「等待 1 分钟和 10 分钟的差别能清晰反映服务质量的差别,数据分析能告诉你用户等待时间的极限。再结合区域、司机等不同因素,你就能提升用户的满意度。」

这个经验对于 Tabb 格外重要,他在虚拟呼叫中心公司 LiveOps 花了一年时间处理数据,试图去找出如何预测呼叫代理质量的方法。因为没有两个电话是一样的。「我试图测量电话的长度,我的假设是,如果你接到的电话都很短,那说明你更快地解决了问题,你是一个更好的代理。但这其实不是一个很有说服力的指标,因为它无法预测服务质量」,Tabb 说道。

然后他突然明白了,所有 LiveOps 的代理商都是独立的承包商,他们只会在自己想工作的时候工作,所以他们的表现全都取决于他们自己。「我瞄准了可以测量的最早期行为:出勤率。我们开始追踪谁出现了而谁没有,事实证明,出勤率是问责制的典型代表,也是衡量代理们业绩的最佳标准。它不是很明显,有时在电话里可能什么都没有发生。但成功的最佳指标是你是否说到做到,我们开始把打入的电话接给那些最好的代理商——那些能言出必行的人,而且我们所有客户的收入都在增加。」

广告公司

在 Tabb 看来,广告公司很容易受到虚荣性指标的影响。因为广告曝光度只代表「曝光」而非最终的结果,他们并不能预测后来的行为。

「有足够多的公司在吃过亏了之后才知道『用户属性』才是真正重要的东西」,Tabb 说道,「如果您不追踪同一数据库中的用户点击率和购买指标,你就只能停留在点击你广告的用户比例这个数字上,你不会知道他们接下来做了什么。你要知道,可能有 100 万人访问了你的网站,但他们什么也没买。而平均值是一维的虚荣性指标,如果没有上下文,他们就会失去其意义。」

你所测量的东西——用户数、点击量、交易量——他们都各自存在。所以,你为什么要在单独的数据流种对他们进行分析呢?

「指标之间会互相影响,而你需要知道他们是如何互相影响的」,他说道,「不要仅仅去测量是哪些点击变成了订单,把它们备份并且拆解,从这些用户最开始接触你们的地方查看起来,一直到他们真正在你们网站上下单。你要做的就是必须一路连着查看下去。」

如果你是一家电商公司,那你要再往前走一步。「一旦你获得了一个用户,确定你从哪里获得了他,你为获得他付出了多少成本,以及你收回这个成本所需要的时间。不要停留在表面,你为这些点击付出了成本,你需要了解这些。这是你真正了解客户终身价值的唯一方法」,Tabb 说道,「我们与一家在线时尚经销商合作发放了一批免费赠品,我们觉得一旦有新的注册用户进来并成为了常规用户,收回那些成本应该不会花太长时间。但你要知道,免费是有危险性的行为,你能从中看到很多不好的行为,其中绝大多数的新『用户』都不会真正转化成常规用户。我们知道这些是因为我们一路追踪这些人的行为,从他们点击到注册一直到购买。」

把你的数据整理进事件流中。孤立的数据会伪装成真实性指标,「第一,将用户行为整理进一条单独的数据流,这种事件流能显示人们对你们的产品做出了何种反应,也能让你好好分析他们的行为」,Tabb 说道,「对很多人来说,这不是一项自然的选择。公司通常会根据人口统计特性来整理他们的用户,或者将他们的数据构建到单独的事务表中。单独的表格更容易阅读,也能让你直接用软件来工作。但这不能让你全面地了解你的用户到底发生了什么。」

回答下面这些问题来开始创建你的事件流:

  • 用户什么时候注册我们的产品/服务?
  • 他们进行了购买行为吗?
  • 他们在我们这边花费的有效时间到底是多少?
  • 他们在哪部分花了最多的时间?他们在哪部分花了最少的时间?哪些数据可以预测他们的行为?
  • 他们的行为如何随着时间的推移而改变?
  • 他们在何时何地停止使用我们的产品?

创建事件流后,Tabb 建议您尝试简单的练习。「计算用户在一天内在你们这里超过 5 分钟的活跃时间,尝试寻找他们行为中的集群性动作以及其中的差异所在。这是了解用户实际情况的一种简易方式。他们在你的网页上花费了很长的时间,这是因为感兴趣还是因为没有搞明白而困惑呢?如果他们做出了购买行为,那他们在购买之前访问了几张网页呢?」Tabb 说道,「如果你的事件流中没有按时间排列数据,你就没办法回答这些问题。」

软件公司

当你上线了一款产品——不管是一个 app 还是 SaaS 平台——它的用户数就是产品/市场的核心,也是你向投资人和合作伙伴推销自己关键卖点。但 Tabb 在这里提出了一个相反的观点:你下载了多少自己根本不用或是使用时间极短的软件了吗?「下载你产品的人数与贵公司的生存无关」,Tabb 说道,「有多少 app 在爆发式增长之后就迎来了死寂?软件公司需要专注的是用户的活跃使用时间,这就是清晰化的指标。

活跃使用时间是 Tabb 在 Looker 测量的第一指标:人们每天在软件中花费多少有效活跃时间?「我不在乎收入或用户数量,当我们得到了一个新的用户,我需要知道他们是否真的在使用这款软件。虚荣性指标容易误导公司,人们可以夸耀说,90%的用户都有登录,但有多少人实际使用它?如果用户使用了它,那他们是否在积极地浏览其中的内容,还是它只是在后台被唤起?它不会告诉你人们如何使用你的产品,有时,你甚至要给用户打电话才能发现这些东西。」

拿起电话给异常用户打过去。每次 Tabb 在 Looker 的用户群中发现了一个异常值时,他会查找客户的联系信息和电话。尤其在早期时候,这是他每天都在做的事。「我打电话给用户,因为我想知道他们如何使用我们的软件。如果他们没有使用 Looker,我想知道为什么。如果他们是活跃用户,我想了解他们的经验,以及我们该如何改进。这是我在 LiveOps 学到的经验,当我在一组电话中发现了在统计学上奇怪的情况时,我会很高兴去接听那些电话。比如我注意到一个代理的电话都特别长,我就会发现他说话很慢,但是客户真的也很投入,所以在这种情况下,时间很长的电话也不是坏事。」

在 Tabb 看来,常见的一个错误是人们过度依赖 A/B 测试来解码数据中的模型。「凡事都有例外,A/B 测试在有些时候是很有用的,比如用户在网站上的身份无法识别时,这种类型的测试可以帮助识别匿名的用户」,Tabb 说道,「但大多数时候它并没有太多帮助。第一,如果你的数据是孤立的,A / B 测试将告诉你最近的结果而非长期后果。举个例子,随着『关闭』按钮的尺寸被缩小,你会发现用户点击它的次数翻了一番,但其实是因为用户都点错了。即使你有十亿级的用户,如果你的数据都是孤立存在的,那你也无法在其中找到任何的结构化存在。相反,你要做的就是去研究用户的事件流信息。」

另一个提升用户活跃使用时间的方法是减少那些让用户放弃你产品的内容,具体地说,就是要追踪两个数据:失败率(failure rates)以及毒药率(poison rates)。

发现并降低失败率。失败率是贵公司无法兑现承诺的次数,它是所有企业共有的运营数据之一,「要获得你们公司的失败率,请首先在各个部门找到它们。每一项功能都会有一个失败率来评估他们的工作,对于客户体验部门来说,它就是你们无法解决用户的问题;对于供应链部门来说,它就是客户尝试购买已售完商品的次数。每个团队成员都需要了解并监控他自己和部门的失败率。每次你更换操作流程或产品时,你都需要根据失败率来做调整。」

失败率不是性感的外部指标,但它可以为企业带来理性。「有一次,Venmo(移动支付公司)进行了设计上的更改,使得用户在发出请求时会意外汇款。一方面,这是虚荣性指标所驱使的后果,比如交易次数,因为每个错误的汇款都需要用户做额外的一个动作来抵消它。但这在本质上其实是非常糟糕的,因为用户会在付款时感到困惑,无法控制整个流程。而 Veemo 对一次『往返式交易』进行了特定测试,以此来判断是否是新的设计导致了问题,最终证明他们的假设是正确的。」

请重视毒品率。毒药率是失败率的一个分支,它指的是当用户在第一次接触产品的时候却遇到了非常糟糕的体验而一去不复返的情况。「这类似于在餐厅用餐却出现了食物中毒,用户在之后基本不可能再来了」,Tabb 说道,「公司很少会测量毒药率,但是当你想要控制用户群的增长时,它们可以是强大的杠杆。你不仅会失去一个潜在客户,而且会失去他们周围的人。要知道,在社交媒体时代,毒药是真的有毒。」

挖掘你对数据的感觉

每个商业模式都有其虚荣性指标及其清晰化指标。放心,你肯定已经有了足够的数据来帮助你分清楚它们,你需要的只是训练。

  • 首先提高那些能预测单个客户随时间变化的行为的指标,而不是把它们单独拎出来和竞争对手作比较。
  • 然后组织你的事件流信息,以便按时间顺序查看人们如何使用你的产品,以便你可以按部分进行测试。
  • 不要落入 A/B 测试的陷阱,相反,当你发现了特殊情况时,给他们单独打电话,要知道数据无法揭示用户的感受。
  • 确保每个部门了解他们的失败率,并减少它。
  • 教会你的团队如何吸收并查看数据。你需要一个数据监测团队,而不是一个福尔摩斯。

「数据流畅性不仅仅适用于技术部分,事实上,每个公司的每个部门都必须为其投资:客户支持,设计,业务发展等等。你必须通过数据分析来发现其中的奥妙,一旦察觉到了问题,就深挖其中。不要给数据团队设立限制,让人们都暴露在数据团队的阴影下,并在每个团队内都设置数据科学家」,Tabb 说道,「我希望人们在未来能像在 Google 上搜寻信息一样挖掘数据。当你第一次使用 Google 时,你需要花些时间才能了解怎样获取信息。当你学会了这些之后,你发现了一个惊人的世界。而对大多数公司来说,它们还处在数据挖掘的『第一页』。因此,从现在开始,不要再沉迷于虚荣性指标了。」

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。