策略产品如何进行效果评估

原标题：战略产品怎样进行作用评价？

本文以“战略产品怎样进行作用评价”为评论方针，以为能够在不同阶段，结合用户反应、埋点、AB测等办法进行评价。

新人产品司理要牢记从“定性思想”转变到“定量思想”。特别是战略产品，要在整个产品生命周期里进行实时的数据监控。

那么一个新战略要怎样进行作用的猜测和评价呢，以下是我的一些考虑感悟，希望能协助到咱们。

一、战略是怎样诞生的

在说战略衡量方针之前咱们要先了解战略是怎样诞生的？战略具有以下四个要素：

1. 待处理问题：即咱们进行这个战略的最实质的意图
2. 输入：即咱们经过考虑不同场景下的不同用户的感触和诉求，得到的一系列影响战略拟定的要素
3. 核算逻辑：也便是咱们怎样将这些要素运用起来，而且赋给他们适宜的权重和核算规矩
4. 输出：即问题的详细处理方案

下面能够以一个比方详细阐明四要素的详细运用：

feed流智能引荐战略

1. 待处理问题：针对不同的用户供给更为恰当、更感兴趣的信息引荐。

2. 输入：

• 用户特征，或许包含用户的性别、年纪、查找过的内容、观看的时长、点赞保藏了哪些信息等。
• 信息标签，如信息包含的关键字、当今热度的匹配状况（比方明星成婚离婚总引领信息热门）。

3. 核算逻辑：经过对这个不同输入赋予不同的权重，设置一个多要素的公式终究得到用户喜爱度这种量化的方针。

4. 输出

二、树立衡量方针的含义

经过对四要素的了解，咱们能够将树立衡量方针的含义笼统为以下几点：

1. 待处理问题：清晰“待处理问题”的聚集和定位是否精确
2. 输入：查验输入的多要素是否足够并恰当
3. 核算逻辑：查验赋值权重是否适宜
4. 输出：清晰此战略是否有用的处理了问题，以及处理问题的占比

三、树立衡量方针

战略产品有别于和端触摸亲近的用户产品，其首要意图是进步功能，进步精确率，所以端上的感知和反应就未必有其他类型产品显着，因而树立更为精确的衡量方针更显得尤为重要。

1. 小数据，代表性的case剖析——CPO投诉、用户反应+case剖析

（1）

CPO投诉首要是用户对产品体会萌发不满情绪，经过网站或进线客服等方法对产品做出投诉。

CPO投诉的特征是以负面反应为主，样本量小，重要性高。咱们在进行战略优化和迭代时，首要意图是在确保满意用户底子需求的基础上（即能用，好用）添加个性化体会（即好用）。而CPO反映给咱们的通常是一些Badcase，即产品连用户底子需求都满意不了，所以是需求咱们侧重留意的。

长处：对Badcase的定位和剖析能够协助咱们敏捷定位到战略的不足之处，从而快速止损。

缺陷：

1. 由于客服同学对战略的了解不可细心，且用户的表述也一般不会十分清晰，会导致用户的实践反应和case对应困难，很多的投诉实践上并没用于终究的剖析；
2. 能够和case相关的投诉也或许由于客服同学的不了解无法定位到详细原因导致还需求花费很多的时刻进行case的中转；
3. 由于样本量小，咱们无法精确衡量这类问题的占比。

比方：

比方司机在开网约车的时分发现导航存在绕路现象被乘客告发，打电话给渠道投诉，希望渠道给予补偿。或许你以为查一下前史log，假如是咱们的问题就给予补偿，并从中发现优化点就OK了。

而实在的状况或许是这样的：

1. 大部分司机无法供给精确的时刻和方位，这会导致司机投诉的状况和case难以对应。
2. 即便case对应上了，客服同学或许简略的以为导航绕路是路途规划的问题从而中转给规划的pm同学，但实践的问题是由于司机点定位的漂移，所以case浪费了规划同学的人力，还要再进行中转，导致case剖析的周期长。
3. 比及中转到恰当同学那里log现已过期了，什么都查不到。
4. 就算log没过期，咱们最终查明晰原因给予了司机补偿，可是司机等候时刻长，用户满意度跌倒谷底，以为咱们的客服机制拖延时刻，没有用率。

改善方向：

1. 加强的用户的引导，用户进线时供给更精确和详细的信息，协助case定位。
2. 加强客服训练同学的学习，协助case能够快速的流转到对应的产品同学名下。

（2）

用户反应首要经过查询问卷、用户调研等方法展开。和CPO投诉不同，用户反应的互动性更强，更能得到不同用户的特征感触，且用户反应传递的是正面和负面的信息兼而有之，其样本量也比CPO投诉要大。

长处：强互动性，经过和不同集体用户的对话能够协助发现他们不同的诉求，便于咱们完善输入方针和规矩，也能够协助清晰咱们处理问题的定位是否精确。

缺陷：

1. 尽管样本量比CPO投诉高，但仍是不具有代表性；
2. 需求的时刻花费、人力本钱十分大；
3. 有时用户的感知和他们的行为是相悖的，所以输出成果的精确性也不高；
4. 别的也会存在和case对应不上的状况。

比方：

咱们想衡量一个feed流智能引荐新算法是否好用，所以邀请了小张来做用户调研。

小张的用户画像是一个在互联网公司的软件工程师，平常的喜好是在休息时刻看看NBA，小张诉苦feed流每天给他引荐的都是女友喜爱看的吃播，他怀疑是由于女友有时分用他手机看吃播形成的。

这时咱们的产品司理或许就以为是前史观看赋的权重太大且粗糙了，要给短时长内的前史观看视频赋予给小的权重，所以回去修修改改了良久。

但实践上或许这个战略的赋权是没有问题的，每天推给小张的也是很多的体育新闻，仅仅偶然有一个吃播推送，可是在不喜爱吃播的小张眼里这条推送就显得无比“耀眼”，所以给出了过错的反应。

改善点：

1. 在进行查询问卷设计时要尽量运用清晰的问题和答案，削减用户片面理性上带来的误差。
2. 有意识的树立“用户反应群”、“喜好者群”这类人群调集，引导他们在运用中进行有意识的查询，可是这种有意识以及特定集体或许又会使得样本的随机性被损坏，所以对此也要进行恰当的权衡。

（3）

case剖析实践上是这上述两者发挥作用的最重要的一部分，也是在战略迭代中要不断进行的一个作业，下面举个比方来阐明case剖析是怎样协助咱们进行方针的衡量的

比方：

仍是用feed流智能引荐距举例：

48岁的赵叔叔诉苦每天给她推送的都是哪个明星又成婚了离婚了，这是他的爱人黄阿姨喜爱看的东西，可是他底子不知道这些明星是谁，他仅仅想看看新闻。

咱们经过case剖析，发现给信息标签中热度匹配状况赋予的值太高了，可是轻率的赋值低也不太好，所以咱们考虑到经过人群标签来辅导热度匹配状况的赋值，比方年轻人或许更喜爱明星八卦，就能够尽量赋值高些。年纪略微大些的人呢，或许对此不太感兴趣，就能够赋值低一点。女生或许更喜爱女团，就能够赋值高一些；男生更喜爱篮球，就能够尽量将体育类赋值高些。

经过上述比方咱们能够看出，case剖析会协助咱们更为精确的剖析多要素，而且将其粒度变得更细，面临不同场景下不同用户赋予更为精确的权重，得到更为精确的核算规矩。

2. 大数据，计算性的方针剖析——埋点计算、AB测验+阶段性放量

（1）

埋点便是指在开发过程中，RD小哥哥写在代码里的一些“感知器”，咱们会给埋点设置必定的触发机遇（比方命中了XXX战略，点击了XXX按钮），和收集数据特点（比方用户id，触发时刻等）。所以这些埋点便能够在咱们设定的机遇将咱们希望其上传过来的数据以log的方法连绵不断的发送过来。

在咱们进行方针选取时首先要清晰咱们需求处理的问题，优化的点是哪？这个问题答复的越小而详细，方针就会树立的越清晰，以下是两个比方：

比方一：

布景：车辆内行驶过程中违背规划路途这一状况被称为“偏航”，假定咱们这个新战略是为了让导航更快的感知到车辆的偏航。

方针：咱们能够将方针量化为【偏航辨认间隔】和【偏航辨认时刻】。

触发/完毕机遇：这个成果是瞬时的，需求在每次偏航时供给给我（即进行一次记载）。

比方二：

布景：咱们设定了新战略是让视频智能引荐变得更精确。

方针：咱们能够将方针量化为【用户点击主页视频的次数】和【用户点击视频后观看的时长】等等。

触发/完毕机遇：这是一个持续性的事情我希望设置的事情开端是【用户初次进入app】和【用户回来主页】，那么事情的完毕是【用户退出app】和【用户切入后台】和【用户在查找栏进行查找】和【用户进行手动改写】等。

所以总结来看怎样设置一个埋点只需求答复两个问题，即我想在什么时刻获取到信息？以及我想获取的信息是什么？

埋点的设置能够参阅以下表格：

咱们能够总结埋点的优缺陷。

长处：不用忧虑样本量和精确性，数据是不会哄人的；便于剖析case的占比状况。

缺陷：

1. 开发本钱比较大
2. 很多的数据才有计算含义，可是在新战略上线阶段，直接给予很高的流量是有很大危险的，所以其运用时段有约束。
3. 和用户的互动性差，仅经过埋点难以定位到用户的详细诉求和他们的感触。

改善点：埋点的首要问题是和端的互动性差，能够将埋点剖析和用户查询、case剖析等结合起来。

（2）

AB是PM在进行战略作用衡量时一种常用的手法，简略来说便是为同一个方针拟定两种处理方案（一般为新战略和旧战略），经过用户的运用状况，数据出现来剖析哪个战略是更优的。

一般能够挑选几个试验城市进行AB测的放量，即确保了样本量是足以消除掉个别差异和其他要素搅扰的，也能够有用操控流量确保危险的可控性。

AB试验示例：

1. 城市挑选：一般挑选特征和该战略待优化点共同的无其他试验的城市。

2. 分组依据：为了确保流量的独立性，即A组和B组没有交集，一般选用手机倒数第二位来进行AB分组。

3. 时刻挑选：且为了防止假日或许不同作业日影响，一般AA阶段和AB阶段都要在一周及以上，避开节假日（新年、端午等，不指周六日）。

• AA阶段：即两样本战略彻底相同，经过数据比照和显着性剖析来验证其随机性。
• AB阶段：即两样本只要试验战略不同，经过数据比照（可从平均值、相对差值、肯定差值几个维度）和显着性剖析（即p值<0.05以为显着）来衡量收益状况。

长处：AB测能够很好的处理样本量的问题，经过数据的比照和数据显着性查验来精确衡量战略的收益。

缺陷：

1. 无法做到彻底随机；
2. 试验的周期长，AB试验两阶段完结至少需求两周；
3. 新战略或许具有尝鲜效应，导致收益不能精确衡量（这一点在CPO投诉、用户反应中也有体现）。

改善点：能够运用的方法加强样本的随机性。即必定时刻内试验城市一切流量都用A战略，经过一段时刻后翻转一切流量都用B战略，经过不断的翻转来完成AB的切换，在进行数据计算的时分不是依据AB组进行，而是依据AB事情进行。

（3）

阶段性放量实践上并不是一种战略收益衡量方法，而是为了确保战略上线稳定性而进行的一种灰度放量形式。在进行阶段性放量时pm要不时进行埋点数据的监控，并顺次进行放量方案的调整或许叫停。

衡量方针在不同阶段的运用

总的来看战略性产品作用衡量是以【埋点计算】为主，【用户片面感触】为辅，由于其首要面向进步产品功能，进步精确性，虽然最实质的意图是为了进步用户体会，可是端上感知并不用定显着，所以假如过于依靠用户片面感触的话或许会导致成果不精确。

而埋点计算是大数据下的产品，也便是说只要在需求上线且样本量多的状况才干反映出其精确性，有用的消除掉个别的影响和其他要素的搅扰，可是新需求上来就全量或许大面积放量肯定是不可的，所以在不同的阶段下进行的作用衡量和评价是不同的。

阶段一：未上线——经过离线数据集进行的埋点计算

以我实习过的偏航为例，在上线一个新战略之前一般RD会在离线数据集上进行新战略的“试用”，即经过一些前史轨道进行回放查询其在新战略上的体现，假如这个体现是正向且契合预期的，一般才会正式上线。

阶段二：小流量上线——AB测进行数据比较+用户反应

离线阶段以为此战略能够上线后，一般仍是会保存的先上线一部分用户（一般是用户反应体会群、产品组里的用户）和试验城市，经过收集他们的片面感触和试验城市的AB组数据衡量必定流量下新战略的体现并进行下一步放量方案的拟定。

阶段三：随机放量——埋点数据为主，用户反应为辅

在此阶段一般会拟定相关的放量方案，这时的流量一般就比较大了，用户的埋点数据也更为实在可信，所以以埋点数据为主，进行施行的监控，直到全量。

本文由 @Crystal 原创发布于人人都是产品司理。未经许可，制止转载

题图来自 Unplash，根据 CC0 协议

责任编辑：