導(dǎo)讀 本文將分享因果推斷在有限資源決策中的應(yīng)用。

【資料圖】

主要內(nèi)容包括：

1. 什么是因果推斷

2. 有限資源決策

3. 因果推斷技術(shù)如何助力智能決策

4. Future Work & Discussions

分享嘉賓｜羅文娟 博士 快手 增長(zhǎng)算法工程師

編輯整理｜林文輝 西安工業(yè)大學(xué)

出品社區(qū)｜DataFun

01

什么是因果推斷

1. 吃冰淇淋導(dǎo)致溺水的謬論

首先，介紹一下什么是因果推斷，在互聯(lián)網(wǎng)算法領(lǐng)域，尤其是用戶增長(zhǎng)算法圈，我們提到的因果關(guān)系到底是指什么。

先舉一個(gè)例子，某個(gè)文章的統(tǒng)計(jì)數(shù)據(jù)表明，隨著冰淇淋銷量的增加，溺水的人數(shù)在急劇增加。溺水和冰淇淋之間的強(qiáng)相關(guān)性，受到混雜變量——天氣熱的影響。對(duì)兩個(gè)沒(méi)有因果關(guān)系的變量進(jìn)行相關(guān)性統(tǒng)計(jì)，有時(shí)候也能得出很強(qiáng)的相關(guān)性系數(shù)。相關(guān)不等于因果，由相關(guān)性得到的信息進(jìn)行決策有錯(cuò)誤歸因的危險(xiǎn)。若想做出一個(gè)相對(duì)理性的決策，需確保我們從數(shù)據(jù)中得到的結(jié)論是可信的，并且沒(méi)有其它未觀測(cè)到的混雜變量。

2. 相關(guān)性建模和因果推斷的區(qū)別

對(duì)于一個(gè)經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)，相關(guān)性建模需要回答的問(wèn)題是，給定輸入 X，輸出 Y 會(huì)如何。一個(gè)基于圖的結(jié)構(gòu)化因果模型需要回答的問(wèn)題是，如果改變輸入的某一維 T，Y 會(huì)如何變化，它更關(guān)注 ΔT 帶來(lái)的 ΔY 是什么。

靈魂拷問(wèn)：對(duì)于一個(gè)二分類模型，AUC 高的模型和因果效應(yīng)區(qū)分度高的模型等價(jià)嗎？

答案是不等價(jià)。對(duì)于 Y 的學(xué)習(xí)誤差小，并不等價(jià)于對(duì)于 ΔY 的學(xué)習(xí)誤差小，反之亦然。

一般而言，我們所要預(yù)估的因果效應(yīng)，也叫 treatment effect，就是指我們改變模型中某個(gè)控制變量 T ，能夠帶來(lái) outcome 變量 Y 多大的變化，這個(gè)控制變量的變化到 outcome 的變化，ΔT 到 ΔY 的關(guān)系，是我們需要去研究的。

--

02

有限資源決策

1. 有限資源決策場(chǎng)景

（1）經(jīng)典背包問(wèn)題

給定一組物品，每種物品都有自己的重量和價(jià)格，在限定的背包總承重重量?jī)?nèi)，我們?nèi)绾芜x擇，才能使物品的總價(jià)格最高？這個(gè)問(wèn)題里面，我們的資源總量是背包的總承重容量，我們需要決策的是，每個(gè)物品選或者不選。這個(gè)問(wèn)題在解空間不大，或者約束條件不很復(fù)雜的時(shí)候，都能找到不錯(cuò)的解法。但是如果物品空間變得極大，幾十億或者幾百億，約束條件變得更復(fù)雜，有容積的約束，還有成本的約束，這種情況下我們應(yīng)如何求解？

（2）網(wǎng)約車補(bǔ)貼分配

在網(wǎng)約車交易市場(chǎng)中，不同的用戶或城市對(duì)補(bǔ)貼的敏感度不同，在給定總預(yù)算的前提下，如何分配補(bǔ)貼，使得整個(gè)交易市場(chǎng)的總 GMV 最大？在這個(gè)問(wèn)題里，約束就是總預(yù)算，我們需要決策的變量就是某個(gè)城市分配還是不分配補(bǔ)貼，如果分配的話，能夠分配的補(bǔ)貼是多少？

（3）不同日期的機(jī)票定價(jià)

機(jī)票價(jià)格通常在提前一段時(shí)間預(yù)定的時(shí)候比較便宜，在越接近出行日期的時(shí)候越貴，在給定飛機(jī)總座位數(shù)的情況下，如何給不同預(yù)定日期的機(jī)票定價(jià)，使得整個(gè)航班的運(yùn)營(yíng)收入最大化？在這個(gè)問(wèn)題里，資源約束是機(jī)票的座位數(shù)，需要決策的變量是在不同日期的機(jī)票售價(jià)。

2. 有限資源決策中的數(shù)學(xué)抽象

將目標(biāo)拆解成一個(gè)個(gè)容易預(yù)估的子模塊。好的目標(biāo)拆解讓建模結(jié)構(gòu)更清晰，同時(shí)提升系統(tǒng)容錯(cuò)率。目標(biāo)拆解的好壞取決于在當(dāng)前業(yè)務(wù)中積累沉淀的業(yè)務(wù)知識(shí)。對(duì)約束也需做相應(yīng)拆解，好的約束拆解能夠提高系統(tǒng)穩(wěn)健性。拆解的總思路是讓模型和模型之間的預(yù)測(cè)任務(wù)正交，也就是說(shuō)一個(gè)模型的錯(cuò)誤會(huì)盡可能少的傳遞給下一個(gè)模型。對(duì)做完拆解的目標(biāo)或約束，我們都要去預(yù)估如果改變決策變量 x，那么目標(biāo)和約束會(huì)有怎樣的變化。這里就需要因果建模去預(yù)測(cè)。

3. 有限資源決策中的技術(shù)抽象

為了解決有限資源決策中的數(shù)學(xué)問(wèn)題，要搭建什么樣的系統(tǒng)，建設(shè)什么樣的能力呢？主要分為兩大部分， 預(yù)測(cè)服務(wù)和運(yùn)籌優(yōu)化。

預(yù)測(cè)服務(wù) 包括目標(biāo)預(yù)測(cè)和成本預(yù)測(cè)。成本預(yù)測(cè)又分為固定成本和浮動(dòng)成本，固定成本不會(huì)隨決策變量的選擇而變化，例如航班燃油費(fèi)和倉(cāng)庫(kù)租金等；浮動(dòng)成本會(huì)隨著決策變量的選擇而變化，例如城市的資源分配中，不同城市選擇不同的補(bǔ)貼，會(huì)影響城市的投入成本。遍歷所有的決策變量，完成對(duì)應(yīng)的目標(biāo)和成本的預(yù)測(cè)后，會(huì)生成候選集，在對(duì)候選集進(jìn)行合理的過(guò)濾、剪枝、聚類后，再采用 運(yùn)籌優(yōu)化 的辦法，在滿足約束的條件下，對(duì)目標(biāo)進(jìn)行最優(yōu)化，最后產(chǎn)出讓目標(biāo)最優(yōu)的解決方案。

--

03

因果推斷技術(shù)如何助力智能決策

1. 城市資源分配

以城市的資源分配為例，下圖中左圖是經(jīng)典的價(jià)格需求曲線，經(jīng)典的定價(jià)問(wèn)題需準(zhǔn)確地預(yù)估價(jià)格需求曲線，并且基于價(jià)格需求曲線做出讓總收益最大化的定價(jià)。中間這幅圖，是一個(gè)經(jīng)典的投入回報(bào)曲線，總回報(bào)會(huì)隨著投入的增加而增加，即我們熟悉的單調(diào)性。但是這種回報(bào)的增加速度，會(huì)隨著投入的增加而逐漸放緩，也就是我們熟悉的邊際效應(yīng)遞減。

再舉一個(gè)城市資源分配的例子，如下圖所示?？梢园l(fā)現(xiàn)，我們對(duì)投資回報(bào)率高的城市 B，分配了較少的預(yù)算，對(duì)于城市 C 則投入了大量的預(yù)算。在理想的情況下，應(yīng)是拉齊城市 B 和城市 C 的邊際回報(bào)，即再增加一塊錢的預(yù)算投入，城市 B 和城市 C 的回報(bào)是一樣的。

所以，資源分配的本質(zhì)應(yīng)該是拉齊不同城市的邊際回報(bào)的 ROI，為了達(dá)到這個(gè)目的，其實(shí)我們需要給投入回報(bào)高的城市多分預(yù)算，給投入回報(bào)低的城市少分預(yù)算，所以一次比較合理的分配應(yīng)該是如圖中五角星所示。

上面的最優(yōu)分配結(jié)果有一個(gè)比較強(qiáng)的前提假設(shè)，即我們已經(jīng)準(zhǔn)確地知道了所有城市的投入回報(bào)曲線，然后在約束總預(yù)算的情況下進(jìn)行決策。但在實(shí)際應(yīng)用中，我們?cè)鯓硬拍軠?zhǔn)確地預(yù)估投入回報(bào)曲線呢？投入回報(bào)曲線其實(shí)是要預(yù)估不同的投入情況下的回報(bào)，這是一個(gè)典型的因果推斷問(wèn)題。

2. 因果推斷中隨機(jī)實(shí)驗(yàn)的設(shè)計(jì)

設(shè)計(jì)隨機(jī)實(shí)驗(yàn)的準(zhǔn)則就是因果效應(yīng)可識(shí)別的準(zhǔn)則，主要有三點(diǎn)：

（1）可交換性。 被測(cè)試的人群滿足可交換性，使人群和人群之間是同質(zhì)的。

（2）非負(fù)性。 每個(gè)人被分配到某個(gè) treatment 的概率都是大于 0 的。

（3）SUTVA（Stable Unit Treatment Value Assumption）。 指的是我們對(duì)A用戶進(jìn)行隨機(jī)實(shí)驗(yàn)并觀測(cè)結(jié)果，不會(huì)影響我們對(duì) B 用戶的觀測(cè)和隨機(jī)實(shí)驗(yàn)。

3. 業(yè)界常用的因果推斷模型

接下來(lái)介紹一些業(yè)界常用的因果推斷的模型，主要有四大類：

① 樹模型；

② Meta-Learners；

③ 表征學(xué)習(xí)；

④ DML。

各個(gè)模型的優(yōu)缺點(diǎn)如表格中所示。目前因果森林和表征學(xué)習(xí)在業(yè)界應(yīng)用較為廣泛。

4. 因果推斷建模算法原理

簡(jiǎn)單介紹一下各個(gè)建模算法的原理。

（1）因果森林

因果森林借鑒了隨機(jī)森林的思想，由多棵因果樹構(gòu)成，每一棵因果樹的構(gòu)造按照最大化不同節(jié)點(diǎn)之間的因果效應(yīng)的異質(zhì)性進(jìn)行節(jié)點(diǎn)分裂。

（2）Meta-Learners

主要介紹四大類：T-learner、S-learner、X-learner 和 R-learner。

T-learner 是基于機(jī)器學(xué)習(xí)方法來(lái)實(shí)現(xiàn)的，T-learner 把訓(xùn)練數(shù)據(jù)分成兩部分，control 組樣本訓(xùn)練一個(gè)模型 M0，treat 組樣本訓(xùn)練一個(gè)模型 M1，因果效應(yīng)的計(jì)算用 M1 的預(yù)測(cè)值減去 M0 的預(yù)測(cè)值。T-learner 的優(yōu)點(diǎn)就是因果效應(yīng)的公式比較清晰，缺點(diǎn)是因果效應(yīng)的預(yù)估疊加了兩個(gè)模型的預(yù)測(cè)誤差。

S-learner 是直接建模一個(gè)模型，然后 treatment effect 就是模型等于 1 時(shí) treatment 的預(yù)測(cè)值減去 treatment 等于 0 時(shí)的預(yù)測(cè)值。S-learner 的缺點(diǎn)是當(dāng)建模的特征維度很高，或者建模的特征中有和 treatment 強(qiáng)相關(guān)的特征時(shí)，模型學(xué)不出來(lái) treatment effect。

X-learner 的學(xué)習(xí)流程比較復(fù)雜，一共包括 5 個(gè)模型。X-learner 的優(yōu)點(diǎn)也是理論比較清晰，然后問(wèn)題和 T-learner 有點(diǎn)相似，就是它的預(yù)估其實(shí)是疊加了 5 個(gè)模型的誤差的。

最后介紹 R-learner ，R-learner 是有一個(gè)比較強(qiáng)的前提假設(shè)，就是回歸的 treatment 誤差和 treatment 以及回歸特征 X 之間是無(wú)關(guān)的。R-learner 需要學(xué)習(xí)三個(gè)模型。

（3）表征學(xué)習(xí)

許多用深度學(xué)習(xí)做因果推斷的想法和之前介紹的 Meta-learners 比較相似，只不過(guò)是把 Meta-learners 中每一個(gè)學(xué)習(xí)的模塊用深度學(xué)習(xí)的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。以下這幅圖片，是一篇 paper 里面的，試圖從更本質(zhì)的角度來(lái)區(qū)分統(tǒng)計(jì)模型和因果模型。

（4）DML

DML 的提出同樣是基于一個(gè)比較強(qiáng)的假設(shè)，即在這個(gè)公式里面這個(gè) treatment D 對(duì) outcome Y 的因果效應(yīng)是由這個(gè) θ0 刻畫的，并且回歸 Y 的其它模型或者變量都與 treatment D 無(wú)關(guān)。這樣 θ0 和它的預(yù)估值 θ 之間它的殘差就可以寫成最下面這個(gè)公式的形式，然后我們對(duì) θ0 的預(yù)估也就是因果效應(yīng)的預(yù)估和它真實(shí)的因果效應(yīng) θ0 之間的誤差盡可能小。

5. 評(píng)估因果推斷模型常用指標(biāo)

業(yè)內(nèi)用的比較多的指標(biāo)有以下三個(gè)：

（1）QiniScore

QiniScore 是一個(gè)排序類的指標(biāo)，計(jì)算公式按照因果推斷模型預(yù)估的 ITE，從大到小排序，然后在前t個(gè)排序的樣本中 treatment 組樣本的總 outcome 減去 control 組樣本的總 outcome。為避免 treatment 組的樣本和控制組的樣本總的不均衡，對(duì)后者做了一個(gè)樣本數(shù)量占比的加權(quán)。即這條曲線通常會(huì)和一條隨機(jī)排序的線做比較，曲線在和隨機(jī)排序的線之間的面積就是 QiniScore。通常對(duì)于有正 ITE 的 treatment，這個(gè)值越大，表明模型對(duì) ITE 的區(qū)分度越好。

（2）AUUC

AUUC 的計(jì)算原理和 QiniScore 非常相似，只不過(guò)它排序時(shí)計(jì)算的是ATE。由于 AUUC 的計(jì)算最后要除以總的 ATE，可以把它看成是一個(gè)歸一化版本的 QiniScore。

（3）AUCC

AUCC 的全稱是 Area Under Cost Curve，它也是按照模型預(yù)估的因果效應(yīng)進(jìn)行排序之后，產(chǎn)出的成本和回報(bào)之間的一個(gè)曲線。如圖中所示，如果 QiniScore 和 AUUC 度量的是曲線和隨機(jī)線之間的面積 A，那么 AUCC 其實(shí)算的是 (A+B)/2B 這樣一個(gè)比值，也就是說(shuō) QiniScore 和 AUUC 度量的是比隨機(jī)挑人要好多少，AUCC 度量的是比隨機(jī)挑要好多少個(gè)百分比。

6. 因果推斷中的特征選擇

接下來(lái)介紹因果推斷中的特征選擇，有以下幾點(diǎn)需要注意：

① 多做減法，少做加法，非必要不添加特征；

② Explore 實(shí)驗(yàn)時(shí)，盡量避免引入工具變量；

③ 工具變量，調(diào)整變量，混淆變量合理分解；

④ 不要引入對(duì)撞變量；

⑤ 不要 post-treatment 變量。

這是浙大況琨老師論文里的一張圖，在建模過(guò)程中把特征的混淆變量和調(diào)整變量作了一些分解，這樣的分解也會(huì)讓 ATE 的預(yù)估的方差變小，感興趣的同學(xué)可以去了解下具體的原理和證明。

--

04

Future Work & Discussions

最后和大家探討下我們?cè)诠I(yè)界做因果建模時(shí)碰到的一些還沒(méi)有解決的特別好的問(wèn)題。

（1）因?yàn)榉煞ㄒ?guī)等不可抗力的原因無(wú)法做隨機(jī)實(shí)驗(yàn)，怎么進(jìn)行因果推斷？

在法律允許的情況下，我們可在某個(gè)人群的分層中做隨機(jī)實(shí)驗(yàn)，比如說(shuō)雖然法律不允許人和人之間的差異化定價(jià)，但是不同的區(qū)域、不同的城市，因?yàn)榻?jīng)濟(jì)發(fā)展水平的不同，進(jìn)行差異化定價(jià)是否可以？當(dāng)然如果還是無(wú)法做隨機(jī)實(shí)驗(yàn)，那么我們?cè)趺椿谟^測(cè)到的有偏數(shù)據(jù)進(jìn)行因果推斷？基于觀測(cè)數(shù)據(jù)做因果推斷需要做非常多消偏的工作，并且需要在目標(biāo)函數(shù)里面加入非常多的正則項(xiàng)。但是最終因果效應(yīng)預(yù)估的準(zhǔn)確性其實(shí)還是需要隨機(jī)的實(shí)驗(yàn)數(shù)據(jù)來(lái)評(píng)估的。

（2）treatment 維度過(guò)高，treatment 空間過(guò)大，怎么進(jìn)行因果推斷？

這個(gè)問(wèn)題我個(gè)人的經(jīng)驗(yàn)是可以優(yōu)先對(duì) treatment 空間進(jìn)行剪枝，有一些不需要探索，或者是收益極低的 treatment 可以不進(jìn)行隨機(jī)實(shí)驗(yàn)。其次，如果高維的 treatment 之間的各個(gè)維度是可以正交的，那么可以分維度進(jìn)行正交的隨機(jī)實(shí)驗(yàn)，然后做一些正交的優(yōu)化策略，也就是分維度的做因果效應(yīng)的優(yōu)化。當(dāng)然這個(gè)方案肯定不是一個(gè)最理想的解決方案，但是它可能是在高維空間里面一條可行的解決方案。

（3）隨機(jī)實(shí)驗(yàn)之間不滿足 SUTVA 假設(shè)時(shí)，怎么進(jìn)行因果推斷？

這個(gè)效應(yīng)其實(shí)在做網(wǎng)絡(luò)效應(yīng)比較大的 A/B 實(shí)驗(yàn)時(shí)，我們碰到過(guò)。實(shí)驗(yàn)的人群之間存在網(wǎng)絡(luò)效應(yīng)。這個(gè)問(wèn)題的解法其實(shí)就是不再做人群隨機(jī)分流的隨機(jī)實(shí)驗(yàn)了，而是做時(shí)間片輪轉(zhuǎn)的隨機(jī)實(shí)驗(yàn)。

（4）當(dāng)觀測(cè)到的 UPLIFT 信號(hào)極弱，模型很難學(xué)出來(lái) ITE，我們?cè)趺醋鰞?yōu)化？

這個(gè)問(wèn)題其實(shí)目前沒(méi)有特別好的解法，我們的做法更像是一些 trick，當(dāng)因果推斷模型學(xué)不出來(lái)一個(gè)比較靠譜的 ITE 時(shí)，我們會(huì)嘗試觀測(cè)數(shù)據(jù)因果建模那一套來(lái)調(diào)整模型，這里確實(shí)是需要特別強(qiáng)而且特別靠譜的業(yè)務(wù)先驗(yàn)知識(shí)，把這些業(yè)務(wù)先驗(yàn)知識(shí)變成損失函數(shù)，讓模型產(chǎn)出一個(gè)雖然有偏但是可用的預(yù)估。

以上就是今天的分享內(nèi)容，謝謝大家！

▌2023數(shù)據(jù)智能創(chuàng)新與實(shí)踐大會(huì)

4大體系，專業(yè)解構(gòu)數(shù)據(jù)智能 16個(gè)主題論壇，覆蓋當(dāng)下熱點(diǎn)與趨勢(shì) 40+演講，兼具創(chuàng)新與最佳實(shí)踐 1000+專業(yè)觀眾，內(nèi)行人的技術(shù)盛會(huì)

第四屆DataFunCon數(shù)據(jù)智能創(chuàng)新與實(shí)踐大會(huì)將于? 7月21-22日 在北京召開，會(huì)議主題為新基建·新征程，聚焦數(shù)據(jù)智能四大體系： 數(shù)據(jù)架構(gòu) 、 數(shù)據(jù)效能 、 算法創(chuàng)新 、 智能應(yīng)用 。在這里， 你將 領(lǐng)略到數(shù)據(jù)智能技術(shù)實(shí)踐最前沿的景觀 。

歡迎大家 點(diǎn)擊下方鏈接 獲取大會(huì)門票～

關(guān)鍵詞：