永洪社区
标题: 亲授8000字绝密宝典，揭秘如何用数据驱动业务飙升 [打印本页]
作者: 喝酸奶不舔盖 时间: 2024-4-12 14:49
标题: 亲授8000字绝密宝典，揭秘如何用数据驱动业务飙升
分析师的商业价值
直觉驱动的困境
我是统计科班出身，对数据较为亲近，毕业后便在互联网开始从事机器学习与数据分析工作。几年观察下来，发现许多业务虽然都会引入算法工程与分析师等这些数据职能，但是大部分的决策还是基于直觉来拍。当然，有些时候直觉是唯一的选择，例如产品从零到一的设计或者算法早期预测和排序目标的选择会更多参考行业内的成熟做法。但是当数据积累到一定规模，业务也已经过了早期高速增长的阶段的时候，如果业务还在保留「直觉驱动」的惯性，就会浪费掉许多增长机会点：你们身边的业务是否不经过 AB 实验就去判断一个策略是否应该上线？是否有算法团队半年以上一直在围绕有限几个指标来预测和排序，但是未曾用数据证明过这些指标对业务和用户体验的实际价值？又是否发现每个项目的数据看起来都不错，但是公司全局却没有增长？—— 当身边的业务出现以上现象，就很可能没有利用好分析的资源来催化自身业务的增长。
无论对错，当下许多互联网企业是采用 OKR 体系做自上而下的目标拆解的。一个业务线的 OKR 里面的的「O」通常就是业务的 KPI，在这个体系下，不论是算法、运营、产品、还是分析，日常的项目都可以概括成「通过策略来提升 KPI」的过程。同时，策略的制定来源于直觉与客观事实（数据）两个方面，只有轻重多寡之分，「直觉驱动」更依赖经验判断，「数据驱动」更多基于客观事实反推决策。因此，一个业务当下的策略应该更多依赖直觉还是数据就需要看清过往一段时间「直觉驱动」与「数据驱动」策略哪个提升 KPI 的成功率是最高的。业务开展早期，「直觉驱动」成功率更高，可能也是仅有的方案。但是随着业务发展，好的直觉会被逐渐穷尽，业务增长进入瓶颈期的时候，「数据驱动」的价值就会越来越大。
分析师是谁？做什么？产出的价值？
「宋世君：我们谈谈“DS 是谁”. 用心理学的术语, 这个其实是 DS 的“本我”。我们是一群在相关量化领域受过专业的训练, 并且希望应用自己的量化能力, 在数据中挖掘对业务有用的信息, 并且通过这些信息为业务发展提供助力但是同时又保持数据的中立性的人。......，从个体的角度, 这也意味着我们看待 DS 并不是看这个人的学术专业, 而是看这个人的动机和意愿。公司里跟数据有关的职能是多样的, 有些是把数据作为拿到业务结果的抓手, 要对业务结果负责, 这些是数据运营. 有些是把数据作为研发的对象, 对跟数据相关的这些产品负责, 这些是工程研发. 有些是基于数据做实时地在线实现, 这些是算法工程师的工作. 这些都是我们的合作伙伴, 但是我们又有我们自己的定位, 跟这些都不同. 我们应该为我们工作的中立性和科学性负责. 我们需要有业务的思想, 但是我们并不是要做业务本身, 我们希望做业务发展的催化剂。」
我非常认同世君老师上面这段话对分析师的定义。分析师需要兼备定量能力和业务思维，在保证科学性与中立性的前提下，通过定量手段（数据驱动）来补足直觉驱动的短板。「直觉驱动」的短板可以分为以下四类：
- 看不清自己的用户是谁、有什么行为，体验如何「= 拿不准用户」；
- 将顶层 KPI 拆解成若干抓手和子目标的时候，并不明确这些抓手和目标事实上是否可以提升 KPI，或者哪些抓手与目标更加有效「= 打法不清晰」；
- 难以评估策略对用户与 KPI 的影响「= 算不准影响」；
- 不知道业务健康度如何以及当下要采取的行动「= 看不清现状」。
补足短板的具体解决过程体现了分析师日常在做的事情以及数据分析的价值：
「拿不准用户」：当直觉不能很好契合用户诉求的时候，对用户画像细分、行为轨迹分析、流程转化等分析可以帮助业务更了解用户：他们是谁，喜欢什么，什么环节体验不好，什么诉求尚未满足；
「打法不清晰」：通常业务完成某个 KPI 可以用到的抓手非常多，比如，内容平台的终极目标之一是用户留存，同时提升留存的抓手有很多，例如 CTR、赞读比、访问时长、公域私域相互导流等。直觉并没有办法有效判断这些抓手哪个在当下最可能把留存提升上去，这时候，基于数据的观测性研究可以估算抓手与 KPI 之间的关系强弱，辅助业务排布各个项目优先级。
「算不准影响」：直觉无法策略一个策略对用户的影响，实验分析是高效评估策略影响的解决方案，AB 测试可以帮助业务看清每个策略对各个细分人群体验的影响并持续小步向前迭代；
「看不清现状」：当大盘指标异常波动的时候，异动归因分析相比直觉是更加科学高效的方法来定位指标波动原因并提出解决方案。
业务不同阶段下数据分析的发力点与交付
良性的业务发展通常要经历从直觉驱动到数据驱动的过程，本节进一步展开这个过程并讨论不同发展阶段的业务特点与痛点，以及这个阶段数据驱动业务的打法。这里采用 Noriaki Kano 的 KANO 需求模型将数据分析需求分成三类：
- 基本型需求：分析师必须具备的能力与交付，是分析师做事情的行为底线。基本型需求完成不好的时候，再多的锦上添花也是徒劳，也会直接失去业务方的信任；
- 期望型需求：一般业务与分析师正式拉会所讨论的项目与预期就在期望型需求的范围，这部分需求完成的越及时或者越多，业务方对数据分析的评价也会越高；
- 惊喜型需求：主动分析，跳出业务的思考框架，数据分析产生的洞见帮助业务解决困惑，发现战略机遇，或者数据所提供的策略帮助业务完成难以达成的目标，就是惊喜性需求。惊喜性需求没有被满足业务不会不满，一旦被满足的时候业务的满意度是非常高的；
第一阶段：从零到一，直觉驱动业务野蛮生长
业务开展早期通常可以通过学习头部竞品的成功经验快速获得大规模的业务增长，同时，产品运营同学也很容易在业务早期的雏形中凭直觉找到增长抓手。虽然从 0 到 1 的开展业务是非常辛苦的，但是单从获得业务增长而言，这却是最轻松的第一阶段，第一阶段的典型特点就是：从零到一，直觉以较高的成功率驱动业务早期的野蛮生长。数据分析在这个阶段会跑在后面紧跟，业务在第一阶段对数据的需求就是 T+1 准确反映业务 OKR 指标表现，分析师及时做好 BI 角色支持，不要在业务需要临时看数据的时候连现成的 sql 都没有备好：
基本型需求：埋点、OKR 指标口径与常用 sql、数仓明细表；期望型需求：业务日报（OSM），每天早上盯住关键指标并及时报备异常波动；用户生命旅程数据刻画（UJM） 惊喜型需求：通过描述性统计帮助产品找到发力点：用户属性、行为研究帮助产品看清各个模块与内容上面的用户密度；产品漏斗转化率分析帮助业务看清产品各环节表现，找到转化瓶颈并重点改善体验。比对分析竞品该业务早期的关键指标数据，大致判断目前的增长速度是否足够快，空间还有多大。
第二阶段：增长放缓，实验评估助力业务小步迭代
第一阶段临界终点的时候，直觉依然可以找到大量改进措施，但是从大盘指标上可以看出业务增长放缓甚至横盘。这时业务就进入了第二阶段，这个时期显著影响大盘指标的策略会越来越少，很难通过上线前后大盘数据对比来判定业务动作的好坏：投石问路的过程中业务最怕的是听不清石头落地的声音，因此分析师在这个阶段为业务提供的关键价值就是引入实验机制，以 AB 测试为典型的统计方法可以精确、科学的度量每个实验的微弱效应，帮助业务在投石问路过程中「听到」方向。实验机制是业务第二阶段的高效解决方案的另外一个原因是，实验可以对线上同时运行的多个策略带来的影响分别进行准确估算，因此实验机制在速度和精度上都全面超越原始的事前事后对比法。在这个阶段，分析师需要充分发挥统计专业能力，做好实验方法咨询的角色并积极推进技术、业务部门之间协作打通实验平台：
基本型需求：实验分析支持 为业务方提供统计专业咨询，e.g. 实验设计，AB 数据含义，统计指标的计算口径 期望型需求：联动业务、后端、前端开发、BI 协同搭建实验平台 平台可以并行线上实验同时可以自动化处理实验分流不均、检验指标显著性 向业务普及 AB 方法与对业务的价值，出具实验分析白皮书强化业务对实验的信任 惊喜型需求：将实验分析报告模板化，赋能业务在脱离分析师资源的情况下自主完成实验设计与分析报告 维护业务上下线的实验明细日志，包含实验 ID、业务策略、影响、上下线时间、上下线理由，季度性提供给业务去复盘总结
第三阶段：增长遇到瓶颈，数据驱动业务找到新目标体系与增长发力点
与第二阶段不同，在第三阶段开始的时候，策略的成功率与影响程度都大幅降低。这个阶段，产品和运营侧好的直觉基本被穷尽，算法侧已经把特征体系和技术选型迭代到了相对完备复杂的水平，再想提升预测精度是非常困难的，便开始频繁出现实验结果不显著或者负向的业务策略，业务增长正式进入横盘阶段。在业务缺少方向感的时候，数据驱动业务方向的选择就越来越被重视。分析师的话语权也开始变大，毕竟到了第三个阶段产品运营与算法团队初步具备了一定规模，不增长的后果是很难想象的。
因此，分析师一定在这个阶段有业务主人翁的意识，开始深度思考业务问题并主动提出需要数据分析的问题。有必要强调的是，分析师在这个阶段要主动思考和分析，不能被动响应业务需求；不要妄想去证实业务这个阶段的直觉是不是对的，而要站在更加全局的层面去思考业务发展的关键问题是什么；不要再沉浸在实验方法的优化上面，而要开始频繁旁听业务讨论会，重点体会业务高层在会上提出来的问题以及流露出来的困惑点。这些对于分析师找到需要分析的关键问题是非常重要的，也是分析师在这个阶段产生影响的第一步。
对于增长而言，第三阶段也许最为重要的指标就是用户留存率。用户增量 = 新用户+沉默召回用户+活跃用户*留存率，业务早期的增长可以通过业务之间导流与拉新来完成，当业务成熟后，提升存量活跃用户的留存是最为经济的手段。不过实际上，每个业务策略、项目、或者算法模型的目标与留存提升之间通常是靠直觉强行连接起来的，不够，目标是否有可能错了？能够有效提升留存的目标应该是什么？这就是分析师要在第三阶段试图用数据来回答的关键问题。当初笔者刚接触一个做社区内容平台的业务时，该业务快半年内的所有算法和业务策略都没有任何提升用户留存的迹象，分析团队在梳理这块业务时候发现业务和算法都在用 CTR、赞读比、收藏读比等有限几个指标来衡量用户的阅读体验并做排序。分析师基于 DID 建模分析发现当时大盘用户里面留存提升的群体通常伴随着上一期深度阅读量与 CTR 的显著提升，而赞读比、收藏读比与留存的相关性并不高。问题是，业务过高估计了赞读比、收藏读比的价值，并在排序的时候没有考虑内容被深度阅读的概率高低。团队后续推进了一系列的策略建议：我们首先大幅提高了 CTR 的排序权重，这个简单的策略就打破了长达半年来业务留存率无法提升的困境；团队进一步在排序目标里面引入深度阅读概率、平均阅读速度等与留存关联性最强的指标，并设计了多目标融合的公式，这个新目标（公式）成为了算法、产品运营的新业务目标，并带来了新一轮的留存增长，业务顺利走过了第三个阶段的增长瓶颈期。
平台的终极目标是流量、利润，这个顶层目标会在 OKR 体系下被拆解成二级指标，三级指标等子目标。无论是业务策略还是具体算法，它们都在直接影响一个子目标（e.g. 价格，CTR，时效性），无论他们在完成这个子目标的时候多么数据驱动，通常都在基于直觉假设他们的子目标与公司的终极目标是直接挂钩的。问题是，直觉是会犯错的，因此才存在业务第三阶段的瓶颈期，这时也就体现了数据驱动的价值。
基本型需求：通过历史策略和数据开展观测性研究，通过数据估算策略当下每个子目标对公司顶层指标的影响，联动业务制定并落地新的目标和增长方案；期望型需求：积极主动创新，寻找更具增长潜力的新指标，纳入当前业务的子目标体系，提供子目标整合成统一一个目标的方案；惊喜型需求：观测性研究方法工具化，赋能业务在脱离分析师资源的情况下自主完成目标优化。
第四阶段：数据持续驱动细分人群的差异化策略迭代