營銷活動該怎么來評估？

01 前言

在實際的效率評估工作中，不是所有的營銷活動都做了AB實驗，也不是所有的公司都將PSM做了模型產品化，在沒有AB實驗和PSM建模的情況下，有其他的方法可以進行評估嗎？今天給大家介紹一種比較常用也是比較容易操作的分析方法，叫做雙重差分法。

02 DID介紹

2.1 DID概述

雙重差分法DID英文名Differences-in-Differences，別名“倍差法”，小名“差中差”。雙重差分法估計的本質就是面板數據固定效應估計，雙重差分簡單理解就是差分兩次。作為政策效應評估方法中的一大利器，雙重差分法受到越來越多人的青睞，概括起來有如下幾個方面的原因：

• 很大程度避免內生性問題的困擾：政策相對于微觀經濟主體而言一般是外生的，因而不存在逆向因果問題；
• 緩解了遺漏變量偏誤問題；
• 傳統方法下評估政策效應，主要是通過設置一個政策發生與否的虛擬變量然后進行回歸，相較而言，雙重差分法的模型設置更加科學，能更加準確地估計出政策效應；
• 雙重差分法的原理和模型設置很簡單，容易理解和運用；

2.2 DID模型

基準的DID模型設置如下：

其中，du為分組虛擬變量，若個體i受策略實施的影響，則個體i屬于處理組，對應的du取值為1，若個體i不受策略實施的影響，則個體i屬于對照組，對應的du取值為0。dt為策略實施虛擬變量，策略實施之前dt取值為0，策略實施之后dt取值為1。du·dt為分組虛擬變量與策略實施虛擬變量的交互項，其系數a3就表示了策略實施之后的凈效應，即可用于評估策略的效果。

為什么a3就能夠體現出策略的凈效應呢？這一點可以通過下表來體現（下表也反映了雙重差分法五個字的真正含義）：

雙重差分法的基本思想就是通過對策略實施前后對照組和實驗組之間差異的比較構造出反映策略效果的雙重差分統計量，將該思想與上表的內容轉化為簡單的模型（1）,這個時候只需要關注模型（1）中交互項的系數a3，就得到了想要的DID下的策略凈效應?？梢杂孟聢D體現DID的思想：

模型（1）是一個只有分組虛擬變量du和策略實施虛擬變量dt的簡單模型，構成的多項式回歸方程也比較簡單，在實際應用到自己的策略評估中，影響元素不會只有兩個，因此，模型中的變量也會不止兩個，需要具體問題具體分析。

雙重差分方法最重要的一個估計是組之間具有共同趨勢，也叫共同效應，就是假設兩個組未施加策略的情況下具有相同的變化趨勢。如果未施加策略的情況下兩個組不具有共同趨勢，那DID方法無法發揮作用，因為此時得到的系數a3受到其他元素影響，不能體現策略實施帶來的效果。因此，在使用DID做策略評估之前，需要進行DID的穩健型檢驗，其中主要進行共同趨勢的檢驗，確保應用DID可行。

03 DID實操

假如現在市場營銷部進行了一次廣告投放，然后讓你評估一下這次廣告投放是否有效，評估是否有效的標準是“是否帶來了GMV增量”。運營同學在日常評估中，最常見的方式就是前后比：如下所示，廣告觸達的用戶中，投放前的GMV是100萬，投放期間的GMV是150萬，那么廣告投放帶來GMV增加50萬。那這50萬就真的全部是這次廣告投放帶來的增量嗎？

很顯然不太可能，因為廣告投放前和廣告投放期間天然的就有一個時間差，比如投放前是4月份，廣告投放期是5月份，5月份自然的多了五一節等節假日，對于旅游相關的企業來說，節假日自然而然交易就會上漲。因此，這個時候就要用到上面提到的雙重差分法，在增量的基礎上，減去一個自然的增量。

選擇那些用戶作為自然增量呢，工作中常見的有以下幾種：

• 直接采用大盤非廣告觸達用戶，優點是簡單粗暴，參考大盤自然趨勢即可，缺點是廣告觸達的用戶可能本身就是更加容易帶來GMV的用戶，而未被廣告觸達的用戶可能相對就不夠活躍，GMV增長就比如廣告觸達用戶。
• 利用第三方的網民樣本PANEL庫，從PANEL庫中匹配出在公司有訪問的目標用戶群，其中被廣告觸達的為實驗組，未被廣告觸達的為對照組，優點PANEL庫基本可以代表整體網民，通過是否被廣告觸達篩選出實驗組和對照組，缺點是如果公司的廣告投放目標用戶是PANEL庫中的某一小部分如某個城市群體，那么最終的結果可能會有很大誤差。
• 通過PSM方法篩選大盤非廣告觸達用戶，這個其實就是上一次文章分享PSM方法中提到的PSM+DID，主要是PSM建模構建對照組，然后通過DID進行誤差修正。由于本文主要還是介紹無法使用AB實驗和PSM建模的情況下如何進行評估，所以此處的PSM+DID也不贅述了。

好，假設我們對照組也構建好啦，如下表所示，那么凈GMV增長就是30萬，表示雖然被廣告觸達的用戶交易額增長了50萬，但是如果不投廣告這些用戶自然也有20萬的交易額增長，所以最終凈GMV增長是30萬。

04 后記

雙重差分DID在日常運營工作中的確是最快最容易上手的評估方式，但是往往準確性也不如AB實驗。如果要真的用于決策一個項目是否值得投入更多的錢，建議在策略不變的基礎上做多期的DID評估，看效果值是否穩定。