監(jiān)測預警基礎42-這次學透 ARIMA之第3講：自相關(guān) & 偏自相關(guān)

系列簡介

這是我們一系列原創(chuàng)技術(shù)貼，從易到難，每天學習一點。所有內(nèi)容均為疾控數(shù)據(jù)分析、科研論文相關(guān)，或者說很多和現(xiàn)在的熱門監(jiān)測預警相關(guān)，所以我們這個系列就叫“監(jiān)測預警基礎”。

今天是第42節(jié)，這算是我們一個小專題吧，大概11講，我們細化，短篇化，徹底把ARIMA模型搞懂。

今天是學透ARIMA專題第3講的內(nèi)容，學習自相關(guān)和偏自相關(guān)，也是要理解后續(xù)內(nèi)容非常重要的概念，是你要懂ARIMA就必須弄懂的概念。

上一篇我們搞定了 ARIMA 的第一道門檻：平穩(wěn)性與差分。

把數(shù)據(jù)處理成平穩(wěn)序列后，接下來就要給模型定階——也就是確定 AR 的階數(shù) p 和 MA 的階數(shù) q。

很多同行學到這里會卡殼：自相關(guān)圖（ACF）和偏自相關(guān)圖（PACF），看著長得差不多，到底有啥區(qū)別？常說的 “截尾”“拖尾”，到底怎么判斷？兩個圖看來看去，還是不知道 p 和 q 選幾？

這一篇我們就用疾控場景的例子，徹底講清這兩個核心工具，全程不用記公式，看完就能看懂圖、會初步定階。

1. 從 “普通相關(guān)” 到 “自相關(guān)”
相關(guān)我們肯定都知道，我們平時說的相關(guān)系數(shù)，是衡量兩個不同變量的關(guān)聯(lián)，比如 “氣溫越低，流感病例數(shù)越高”，就是氣溫和流感病例的相關(guān)性。
自相關(guān)，顧名思義就是「自己和自己的相關(guān)」—— 衡量的是同一個時間序列里，當期數(shù)值和過去某一期數(shù)值的線性關(guān)聯(lián)強度。簡單說就是：過去的發(fā)病情況，和現(xiàn)在的發(fā)病情況，到底有多大關(guān)系？
我們用流感周病例數(shù)舉例：
滯后 1 階自相關(guān)就是本周病例數(shù)和上周病例數(shù)的關(guān)聯(lián)程度；滯后 2 階自相關(guān)就是本周病例數(shù)和上上周病例數(shù)的關(guān)聯(lián)程度；滯后 52 階自相關(guān)就是本周病例和去年同周病例的關(guān)聯(lián)程度，用來判斷有沒有年度季節(jié)性。
2. 怎么解讀自相關(guān)系數(shù)
自相關(guān)系數(shù)的取值固定在[-1, 1]，非常好判斷：
越接近 1：正相關(guān)越強，也就是過去發(fā)病多，現(xiàn)在大概率也多，發(fā)病有延續(xù)性； 越接近 - 1：負相關(guān)越強，過去發(fā)病多，現(xiàn)在反而少，有高低交替的規(guī)律； 接近 0：兩者基本沒有線性關(guān)聯(lián)，過去的情況對現(xiàn)在沒影響。
疾控的監(jiān)測數(shù)據(jù)里，絕大多數(shù)傳染病滯后 1 階的自相關(guān)系數(shù)都很高（接近 1），因為發(fā)病有連續(xù)性 —— 上周病例多，本周大概率不會突然降下來，這也是我們能做預測的基礎。
3.最關(guān)鍵的特點：它是「總相關(guān)」，包含所有間接影響
這也是它和偏自相關(guān)最核心的區(qū)別。
自相關(guān)系數(shù)算的是過去某一期對當期的全部影響，不管是直接作用，還是通過中間期傳導的間接作用，全部累加在一起
還是用流感病例舉例子，我們看 “上上周病例（滯后 2 階）” 和 “本周病例” 的自相關(guān)，這里面藏著兩條影響路徑：第一是直接影響，也就是上上周的感染者潛伏期較長，到本周才確診，直接貢獻病例；第二是間接影響，是指上上周的感染者先傳染給上周的人，上周的感染者再傳染給本周的人，通過 “上周病例” 這個中間環(huán)節(jié)間接影響本周。
自相關(guān)系數(shù)，就是把這兩條路徑的影響全部加起來，得到的總關(guān)聯(lián)強度。

1. “偏” 的核心：剔除中間干擾
“偏” 這個字，意思就是「排除其他因素干擾，單獨看」。偏自相關(guān)系數(shù)，就是把中間所有滯后項的影響全部剔除后，只看某一個滯后期，對當期的純直接影響
對應上面的流感例子：想知道上上周病例對本周病例有沒有直接作用，我們就先把 “上周病例數(shù)” 固定住 —— 相當于所有樣本的上周病例數(shù)都一樣，堵死 “上上周→上周→本周” 這條間接路徑。這時候再看上上周和本周的關(guān)聯(lián)，剩下的相關(guān)性，就是滯后 2 階的偏自相關(guān)系數(shù)。
如果固定上周的數(shù)值后，上上周和本周就沒關(guān)系了，說明它們之前的相關(guān)性全是靠上周 “中轉(zhuǎn)” 的，沒有直接影響，偏自相關(guān)系數(shù)就會接近 0；如果還有明顯關(guān)聯(lián)，就說明存在直接作用。
2. 一個好懂的類比
可以把它想象成家族遺傳的相似度：自相關(guān)（ACF）是爺爺和孫子的總相似度，里面包含了爸爸的遺傳中轉(zhuǎn)，是整個家族血脈的總關(guān)聯(lián)；偏自相關(guān)（PACF）是排除了爸爸的基因影響后，爺爺和孫子的直接遺傳相似度，只保留最直接的關(guān)聯(lián)。

定階的核心概念：截尾 vs 拖尾
定階就是確定p/d/q分別是多少，d是根據(jù)我們上一節(jié)講的差分來確定的，p和q是根據(jù)我們這一節(jié)講的自相關(guān)和偏自相關(guān)定的。
看懂了自相關(guān)和偏自相關(guān)兩個系數(shù)的含義，接下來要認識兩個定階的關(guān)鍵特征：截尾拖尾這兩個詞聽著抽象，其實非常好理解。
截尾就是到某一階突然 “斷了”。截尾，就像用刀切尾巴，到了某一階之后，相關(guān)系數(shù)突然全部落入 0 附近的置信區(qū)間（圖里的兩條虛線），沒有統(tǒng)計顯著性了，相當于相關(guān)性直接消失了。簡單判斷標準就是超過第 k 階之后，幾乎所有柱子都在兩條虛線之間，都接近 0，那就是 k 階截尾
拖尾就是慢慢衰減，一直 “拖著”。拖尾，就是相關(guān)系數(shù)不會突然消失，而是逐漸向 0 衰減，可能是慢慢下降，也可能是正弦波動，一直有小幅的波動，不會齊刷刷掉進置信區(qū)間里，相當于尾巴拖著慢慢消失。簡單判斷標準是超過很多階之后，還是有柱子偶爾超出虛線，整體緩慢衰減，就是拖尾

ACF 和 PACF 是一對互補的工具，兩者的截尾 / 拖尾特征組合起來，就能直接判斷模型類型和階數(shù)，這是 ARIMA 手動定階的核心規(guī)則。

我們直接對應疾控常用的場景，給大家整理成好懂的規(guī)則：

對于新手來說，
1. 一定先平穩(wěn)，再看圖非平穩(wěn)的序列，ACF 圖會出現(xiàn)緩慢下降的趨勢，前幾十階都顯著為正，根本沒法判斷截尾拖尾。永遠遵循上一篇的流程：先做平穩(wěn)性檢驗，數(shù)據(jù)平穩(wěn)了，再畫 ACF/PACF 圖定階，否則看了也白看。
2. 真實數(shù)據(jù)不用死摳 “完美截尾”

教材里的理論模型數(shù)據(jù)，截尾會非常整齊，但我們疾控的真實監(jiān)測數(shù)據(jù)，往往會有個別階數(shù)偶爾超出置信區(qū)間，不用死摳完美標準。只要大部分滯后項都落入?yún)^(qū)間，整體呈現(xiàn)截尾趨勢，就可以初步定階。拿不準的時候，配合auto.arima()自動定階的結(jié)果交叉驗證就可以，不用死磕手動看圖。

看懂了定階的工具，下一篇我們就正式拆解 AR、MA、ARMA 三個基礎模型。

把這篇的定階規(guī)則和模型原理對應起來，徹底搞懂 ARIMA 里的 p 和 q 到底代表什么，模型到底在擬合什么規(guī)律。

參考：

《時間序列分析-基于R》. [M] .王燕.中國人民大學出版社出版

傳染病預測預警技術(shù)及實踐案例分析. [M]. 楊鵬, 王小莉. 人民衛(wèi)生出版社

編輯：普通疾控人 | 審核：詩酒趁年華

文章來源 | 原創(chuàng)

說明 | 轉(zhuǎn)載只為分享，如有侵權(quán)聯(lián)系刪除

?版權(quán)聲明 | 部分信息和圖片來自公開網(wǎng)絡

轉(zhuǎn)載請注明

再次轉(zhuǎn)載請注明出處

科普健康 | 宣傳疾控

本號為多位疾控機構(gòu)從業(yè)者運營

重點關(guān)注國內(nèi)外健康事件

致力于疾控科普

在做好科普服務大眾的同時

做好疾控機構(gòu)的宣傳

讓更多的人了解疾控，擁抱健康

歡迎加「小編」微信(cdcjkr126com)

本文具體說明

本文為原創(chuàng)內(nèi)容，文章為個人理解所學，不涉及疫情信息及內(nèi)部保密數(shù)據(jù)，發(fā)表的目的為自我總結(jié)及給有需求的人士學習使用。如有不妥之處，歡迎聯(lián)系小編修改、刪除。

更多精彩視頻，盡在“CDC疾控人”視頻號