你会怎样衡量你的产品？ —— 一点产品数据分析的经验分享

目标读者：涉及产品数据的新人（PM、数据分析师、产品运营）

当我刚开始在文图做产品实习生的时候，想做点数据分析，但有很多问题，不知道怎么做，比如

• 怎样对产品做数据分析？用什么样的工具？
• 怎么定义产品的指标 (metrics)？
• 为什么要做数据分析？数据分析能带来什么样的价值？

于是找了不少书和资料，才做了一点微小的工作。

目前，这方面的例子并不多，所以，这里以我们的产品文图(https://www.wentu.io/) 为例，分享一点微小的经验，希望能对和我一样的新人们有所帮助，当中存在的问题也欢迎指正

注：因为商业上的一些考虑，所以对数据做了遮挡处理，希望大家可以理解

1. 产品与Metrics

(1) 文图是什么？

文图是一款用来做数据报告（下图）的产品

比如，你写了一篇数据分析报告，然后希望看起来比较专业（排版、颜色），那么可以用文图，因为有设计好的样式。另一方面，图表、表格中的数据都是可交互的，也有目录导航，对读者有较好的阅读体验。

(2) 怎么定义产品的数据指标？

产品数据分析的基本，是各项指标(metrics)，当中最常用的是AARRR模型 [1]，也就是把用户从访问到使用，分成了获取（Aquisition）、激活（Activiation）、留存（Retention）3个阶段（下图）

其核心指标是留存/活跃用户数，也就是希望用户能再次访问（e.g. 微信, 微博）

然而，AARRR并不适合所有产品

一个简单的例子是，Airbnb的留存肯定也很低，因为没有人会每天订房间。文图也类似，没有人会每天写报告，可能一个月一篇就不错了。因此，短期留存的意义不大, 留存/活跃用户更大程度上是产品好坏的最终反映，而非需要直接提升的指标。

所以，我们用HEART模型来定义metrics （下图，具体介绍见[2]）

具体而言，是从产品本身的目的入手，更为本质。

文图的目的是帮助用户制作数据文档，在产品中由多个事件组成：文档创建 -> 编辑文档 -> 文档完成（发布/下载）。最核心的指标，是完成文档的数量，即有多少文档发布、下载了。同样的, Airbnb的核心指标之一是订床的数量, 而不是每天的活跃用户有多少。

不过，这只是对“制作者”而言。对于运营人员、数据分析师这些制作者来说, 他们最终的目的是希望“读者”能方便的阅读文档，了解数据和分析的结果，文图也因此才会有移动端阅读、分享到微信等功能。所以，只有保证读者有良好的体验，制作者才会长期的使用下去。不过，这方面并没想到好的指标。

最后，总的metrics包括

(1) 基本状况

• 注册用户数（按周/月）
• 活跃用户数（按周/月）

(2) 业务指标

• 文档制作者: 创建文档 -> 编辑文档 -> 发布、下载
• 文档读者: 暂缺

(3) 增长指标

• aquisition 转化率: 访问 -> 注册按钮-> 注册成功
• activiation 转化率: 注册成功 -> 创建文档 -> 编辑文档

2. 实现

设计好了metrics，怎么具体得到这些数据呢？

我们用神策（类似Mixpanel/GrowingIO），包括基本的dashboard和更复杂的事件分析

上图是我们的dashboard, 包括注册用户、文档创建等指标，每天用来了解产品的基本使用情况。

在代码实现上，用户做了相应的操作，就用js把相应的数据传输到后台进行记录（埋点），之后就可以用神策进行分析了。

比如

(1) 文档制作漏斗

可以用漏斗模型看文档制作中各个步骤的转化率（创建 -> 编辑 -> 下载/发布）

而完成文档的用户数，就是我们产品的核心用户群

这个也放在了dashboard中，可以看到，每周都会有许多用户在文图上完成了文档制作

(2) 注册成功/失败比例

对用户注册的行为做了记录（分成成功和失败），能看到产品注册成功/失败的曲线

(3) 文档类型比例

文图的文档有多种类型，包括单页-PPT-打印文档3种，这3种各占比例多少呢？我们内部几乎都是用单页文档，但看到数据，发现实际用户创建PPT的并不少，比我们预想的多多了

3. 案例：这个模板好用吗？

文图的核心功能之一，是用户可以使用模板（下图）创建文档。这些模板都是经过设计的，比单纯的Excel + Word来的要更好看。

但是，我们对模板的设计并不满意，觉得一些模板并不好看，而且，也常有用户说某个模板颜色对比不够等等

这些模板好用吗？怎么分析这个问题？

可以从文档完成率考虑 —— 用户创建文档后，经过一系列的操作，最终完成文档（发布、下载）。期间，有没有可能因为模板的不足（e.g. 颜色对比不够），而放弃呢？

各模板的创建量、完成量和完成率（完成率=完成量/创建量）如下

可以看到

• 默认模板(blue)创建量明显高于其他模板，说明数据基本准确
• 完成率和创建量相当不同，创建最多的并不是完成率最高的，而一些小众模板（pure）的完成率不错，说明计算基本上有效。而且这个顺序和我们主观的感知也大致相符

仔细观察完成率最后几位 (my_red, my_blue, my_green)，可以发现一个共同点，都带有header. 这和一些用户的反馈相同，“自己写了个文档，结果头上顶个别人家的header, 觉得不爽 ”，也难怪写到一半就不写了

而很有意思的是，blue 和my_blue的关系（下图）

这两个模板大体相同，只是后者带了header，而完成率就有了区别。考虑到blue作为默认的模板本身会有大量的试用，其实际完成率要更高， 因此可以说，单单加上这个header，文档的完成率就会往下掉大概15% 。而去掉header, 文档完成的数量就很有可能提升。

总之，通过完成率，可以发现模板设计的好坏对文档完成有较大影响

而且，假如把所有模板的设计水平都提升到第一的水准，是近40%的提升。把这些分析结果告诉设计师，他们也就更有动力、方向做改进了，而不是简简单单的说“把模板设计得更好看”

4. 案例: 为什么产品没有增长？

仔细观察dashboard，会发现更深层次的问题

• 注册量: 始终不变. 意味着自然流量来源没有增加，也就是说没有任何人为我们自发宣传，没有口碑传播
• 文档创建量: 始终不变，意味着活跃用户没有增长, 否则应该逐渐积累并增加. 意味着大量的用户流失, 没有继续使用

简单来说，产品没有明显的增长，尽管这一年更新了许多功能 ，尽管每周会有许多用户在文图上完成文档制作（此处应有心碎的声音，呜呜）

为什么会这样？

可能原因之一，是文图本身的特性所致。

像上图，是典型用户的行为次数统计，可以看到3-4月第一次使用，再次使用就是8月了，而下次使用呢？这是我们的用户，但他的留存效果并不明显。Airbnb也是类似，其留存是按年计算的 [3]。

那怎么分析这个问题？

数据分析师同学们可能已经摩拳擦掌，想了很多模型、算法了。。。。。

但更好的办法是直接找到用户，问他们为什么继续使用/放弃使用，也就是用户访谈。在这里，可以分群体访谈，比如

• 流失用户：3个月前注册并完成文档的用户，但之后没有再使用的。为什么没有再使用？是使用效果不满意，还是行为本身低频？
• 留存用户：本月完成文档，但是在3个月之前注册的老用户。为什么持续使用？他们用来做什么？有没有可能找到更多类似的用户？他们是从哪里知道文图的？
• 尝试但是未完成文档的用户：本月注册成功，并尝试使用（编辑文档5次以上），但最终没有完成文档的。产品在哪些方面有问题，最终没有完成文档？

5. 总结

这里，我们以自己的产品文图为例介绍了产品数据分析的一些基本的内容，包括

• 怎样设定metrics (HEART)，而不仅仅是从活跃用户数的角度去考虑
• 怎样运用metrics分析 （模板完成率的分析，实质是定量分析）
• 怎样不用metrics做分析（用户访谈，实质是定性分析）

不过，为什么要对产品做数据分析？

数据分析只是手段，重要的是目的

通常，我们会关心这些问题

• 产品发展得如何，是否有增长？存在什么问题？
• 新开发的功能反映如何？是不是起到了效果？
• 怎么和团队沟通这些判断、分析？

用数据分析可以较好的回答这些问题，尤其在团队内部沟通的时候。

因为对产品，人们总有不同的看法/感觉，有的人觉得这样好，有的人觉得那样好。用数据交流，效果就更好一点，因为是在拿结果说话，而不是光靠感觉。更何况，大家很多时候会发现，用户的实际反馈和你的感觉并不一样。（这点对老板们也很重要，否则团队就是在满足老板的“感觉”，而不是实际的用户需求。）

但另一方面，数据分析也不是万能的，很难告诉我们“为什么”

就比如最后的例子，产品做了很多功能，为什么还是没人用呢？数据其实没有办法直接告诉我们原因，这需要采用访谈等其他方法了。

6. 学习资源

最后，介绍一些产品数据分析方面的学习资源，方便同学们入门

关键字：Product Analytics，不是Data Science. Data Science更接近于推荐系统中涉及到的算法，而Analytics 则是数据分析、指标这些了。

(1) Lean Analytics, 中文版《精益数据分析》

https://book.douban.com/subject/19992844/

包括了许多实际的案例，很好的说明了数据分析能带来什么价值。我个人非常喜欢案例中通过分析解决问题的思维方式。

刚入门的话，只看第1部分即可，之后可以按需要再回头看

(2) How to Measure Anything, 中文版《数据化决策》

https://book.douban.com/subject/24773139/

只看第1部分即可，也是学习当中数据分析的思维方式

顺带一提，看完这部分，产品面试中常见的估算问题也能基本搞定了

(3) Growth（用户增长）

说到产品的数据分析，一定会提到Growth，这两个很多时候是等价的。这方面内容很多，作为入门，我推荐

a. Andrew Chen: The Next Feature Fallacy

http://andrewchen.co/the-next-feature-fallacy-the-fallacy-that-the-next-new-feature-will-suddenly-make-people-use-your-product/

“产品没人用？ 那做个更NB的功能吧，这样就有人用了。” —— 这样做对吗？

b. YC Startup课程: How to Get Users and Grow - Alex Schultz

https://www.youtube.com/watch?v=URiIsrdplbo

YC的课程，Facebook的VP Growth专门讲Growth的，个人也非常喜欢

最后，数据分析落到实处，其实就是这句话 [4]

Good teams celebrate when they achieve a significant impact to the business KPI’s. Bad teams celebrate when they finally release something.
好的团队在达成重要的KPI的时候进行庆祝, 差的团队在终于发布了点东西的时候进行庆祝。

[1] AARRR, http://500hats.typepad.com/500blogs/2007/09/startup-metrics.html

[2] HEART, https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be

[3] Airbnb, http://blog.ycombinator.com/growth-guide2017/

[4] Good Product Team, Bad Product Team, https://book.douban.com/review/8421504/

文： @子珂

可视化工具：文图

更多文章关注：数据冰山-知乎专栏