5分鐘講清楚ABtset，詳解數(shù)據(jù)分析必備模型——辛普森悖論!

假設你是一個APP的負責人，你的團隊成員在爭吵不休。因為一個頁面的設計修改，你現(xiàn)在面臨一個選擇問題:選擇方案A是否更好？B計劃更好嗎？

今天介紹的分析思維模型:A/B測試模型可以幫助你做出更科學的選擇。

1.模型介紹

A/B測試是將優(yōu)化前和優(yōu)化后的方案在同一時間段展示給同類用戶，通過數(shù)據(jù)分析判斷是否符合預期的測試方法。

廣告界有一句經(jīng)典的話:

我知道廣告的投入有一半是沒用的，但問題是我不知道是哪一半。

這句話在傳統(tǒng)廣告行業(yè)一直都是成立的。

但隨著互聯(lián)網(wǎng)的發(fā)展，人們可以快速獲取大量的用戶行為數(shù)據(jù)，從而準確衡量廣告的效果，減少無效廣告的投放。這背后的關鍵技術是A/B測試模型。

互聯(lián)網(wǎng)時代，細節(jié)決定成敗。

谷歌、臉書、字節(jié)跳動等知名互聯(lián)網(wǎng)公司正在廣泛應用A/B測試。無論是色彩調整、位置擺放還是文案設計，很多細節(jié)都會通過A/B測試來驗證，從而實現(xiàn)產(chǎn)品的不斷優(yōu)化。2.應用示例

A/B測試廣泛應用于互聯(lián)網(wǎng)、醫(yī)療、金融等領域。以APP設計方案的選擇為例:

首先要明確指標是什么，比如轉化率高就代表好。

其次，要合理劃分流量，保證A組和B組的用戶特征基本一致，并且兩者都具有代表性，能夠代表整體用戶特征。

如果整體流量比較大，為了減少測試可能造成的損失，建議在測試初期小范圍嘗試，比如取2%的流量，其中1%的用戶為A組，1%的用戶為b組。

當流量足夠大時，可以根據(jù)用戶的特征(如年齡、性別等)將用戶劃分為更細致的用戶群。)分別進行A/B測試，盡量排除其他因素的干擾。

然后，通過數(shù)據(jù)分析，比較檢驗結果，并做顯著性檢驗。

可以使用在線AB測試結果分析工具輸入訪問次數(shù)和轉化次數(shù)，可以自動計算轉化率和統(tǒng)計顯著值。

如果測試結果不顯著，可能是由于樣本量不足。建議增加檢驗的比重，以便得到更明確的檢驗結果，從而指導下一步的決策行動。

最后，在大膽假設的基礎上，一定要仔細驗證和考慮灰度發(fā)布是否必要，讓一部分用戶先試用新版本，避免出現(xiàn)辛普森悖論，否則可能造成不良影響。

辛普森悖論(Simpson Paradox)是由英國統(tǒng)計學家辛普森在1951年提出的，即在一定條件下的兩組數(shù)據(jù)分開討論時會滿足一定的性質，但一旦放在一起考慮，就可能得出相反的結論。

比如A組男性1000人，女性200人，轉化率分別為10%和75%。B組有200名男性和1000名女性，轉化率分別為5%和50%。

如果男女分開，A組的轉化率明顯高于B組，10%高于5%，75%高于50%。

但如果男女合計，A組的轉化率只有20.8%，還不到B組42.5%轉化率的一半。

因此，在A/B測試過程中，需要特別注意組的權重，消除組基數(shù)差異帶來的影響，使測試樣本真實反映總體分布。

因為數(shù)量和質量并不等價，但是，因為數(shù)量更容易衡量，人們總是習慣用數(shù)量來評價好壞，結果卻可能是錯過了重點。

從辛普森悖論中，我們可以得到一點啟示:A做了很多不重要的小事，而B做了幾件非常重要的事，最后A的成就可能遠不如B。

這就是為什么我們要牢記二八法則，用20%的高效時間專注于做能產(chǎn)生80%效果的重要事情。臨終遺言

在應用A/B測試模型時，也要遵循大事優(yōu)先的原則，運用全局思維，優(yōu)先考慮那些對業(yè)務影響較大的測試，而不是不分輕重緩急抓眉毛胡子一把抓。

從小到大經(jīng)歷過各種各樣的考試，我們都有這樣的經(jīng)歷:從0到90，從90到99，從99到100，三者花費的時間是一樣的。分數(shù)越高，難度越大，效率越低。

在計算機軟件開發(fā)領域，有一個“99定律”，也被稱為90-90定律:

前90%的代碼占用了90%的開發(fā)時間，剩下的10%的代碼又占用了90%的開發(fā)時間。

在做A/B測試之前，我們可以花少量的時間快速定位正確的方向，先把細節(jié)放在一邊(必要的話后期再做優(yōu)化也不遲)，這樣才能實現(xiàn)快速迭代，形成良性循環(huán)，從而獲得更好的結果。