数据分析——辛普森悖论：数据会说谎？小心总体与分项分析的陷阱

数据会说谎？数据同行们应该对这个话题都有较多的感触。今天咱们一起聊聊一个比较有意思、但经常忽略的数学现象：辛普森悖论，看一看这回数据到底是怎么说谎的。

1、到底哪个结论是对的

我们来看一个案例。

我们想判断医院A和医院B哪家医院的死亡率更低，希望通过死亡率判断医院的诊治水平。

统计A和B的总体死亡率，我们发现A的死亡率是36%（假设总病人100，死亡36人），B的死亡率是40%（假设总病人100，死亡40人）。

假设我们上述的数据统计口径都是完全一致的，没有口径上的差异，那是不是可以得出结论：B医院的诊治死亡率更高？再延伸一下，那是不是代表B医院的治疗水平差，毕竟死亡率高嘛！

如果是这样的推理逻辑，其实存在了巨大的漏洞。我们将A和B医院的病人按照危重程度进行二分类，分为危重病人和轻症病人，再来看一看数据情况，如下图：

通过上图我们发现，A医院的危重病人比重较低，100个人中只有20个，剩下的80个病人都是轻症病人；而B医院的情况恰恰相反，80个危重病人，20个轻症病人。无论是A医院还是B医院，重症病人的死亡率都很高，A医院甚至达到了100%；而轻症病人的死亡率相对较低，B医院0死亡。

纵向对比发现，无论是重症病人、还是轻症病人，B医院的死亡率都是要低于A医院的。但是由于B医院的重症病人比重远大于A医院，导致了总体的死亡率高。

因此，我们到底要说B医院的诊治死亡率是高呢，还是低呢？

如果单纯从总体数据上得出结论：B医院的总体死亡率更高，这个从统计上没问题，但是并不代表B医院的治疗水平差，因为从细分结构上看，B医院的水平都更高。

这就是典型的辛普森悖论：即总体得出的结论和拆分后分项得出的结论，完全相反。

有没有觉得很神奇。那为啥会出现这种现象呢？我们从数学和通俗两个角度分别看一下。

（1）数据角度

我们先从数学的角度来看一看。其实可以用下面的图形化来表示：

上图中的3个黑点代表了A医院，3个白点代表了B医院。右上侧的黑点和白点代表了A医院和B医院的总体，适应于向量的加法，是由两个子向量（即重症和轻症）相加得到。x轴是患病人数，y轴是死亡人数。因此，每个向量的斜率代表了死亡比率。

通过上图，我们可以发现：

子部分的比例大小，汇总后的整体大小关系并无绝对性。

再看一个散点图，也是很直观地说明了这一点：

上面的散点图，如果不拆分到子部分，单纯看x和y，明显是负相关。但如果通过颜色第三个维度进行区分，明显发现x和y是正相关的。

（2）通俗实践角度

我们从通俗实践的角度，看看为啥会出现辛普森悖论。

简而言之：当我们对总体进行了第三个维度的拆分后（也就是我们常说的下钻），由于不同分析对象在第三维度的比例结构有差别，最终导致了悖论现象的发生。

换句话说，如果两个分析对象，在所有的维度拆分上的比例结构都一致，那么也就不会出现辛普森悖论。

但通常来讲，实践中总会有差别的结构维度，因此出现该悖论也是概率不低的。往往没发现结构性差异，是因为关键的拆解维度没有被找到，而不是不存在。比如下面这个航空公司准点率的例子：

总体延误率明显是西部航空更低，但是拆分到起飞机场维度，发现每个机场的阿拉斯加航空的延误率都低于西部航空。主要的干扰数据就是凤凰城机场，西部航空的航班异常多，拉低了整体的延误率。

但是拆分机场这种关键维度，有时候是不是也不太能想到。只有对业务充分了解、对数据足够敏感，才能发现这其中的问题吧~