因果涌現理論是復雜系統(tǒng)研究的潛力方向，為意識形成、生命起源、集體行為等一系列宏觀涌現問題提供了新的研究思路。1月26日，因果涌現理論提出者Erik Hoel做客集智讀書會。在讀書會上，Erik Hoel回顧了因果涌現理論的核心邏輯，并分享了他對因果涌現的最新研究進展。本文梳理了Erik講座的核心邏輯與研究重點。
在本次報告中，Erik首先對因果涌現理論進行了介紹：因果涌現理論認為，宏觀尺度可以減少因果關系中的噪音，從而在系統(tǒng)的宏觀尺度上形成更強的因果關系。基于此，Erik提出一種用于度量因果強度的算法框架：即有效信息框架。
Erik還進一步介紹了他的即將發(fā)表的最新工作《Causal emergence is widespread across measures of causation》[1]：這篇文章回應了對因果涌現理論的核心批評，即因果涌現可能是基于有效信息算法下的一種特例。作者通過對多種度量因果強度的算法框架進行對比得出結論：宏觀因果關系是一個關于因果關系的普遍事實，而非任何特定因果關系度量下產生的特例。
最終，Erik展望了因果涌現理論的潛在應用，因果涌現理論不但可以幫助我們識別系統(tǒng)（例如人腦神經系統(tǒng)）的最優(yōu)尺度，還可能幫助我們進行復雜系統(tǒng)的模型設計。
Erik Hoel | 講者
張章 | 整理
鄧一雪 | 編輯
自然界中自然地存在著很多尺度：小至量子，大至星系。當我們觀察一個系統(tǒng)時，我們也可以選擇不同的尺度去觀測——事實上，我們一直以來也是這樣做的：通過對組成物質和射線的基本粒子的理解，人們建立了粒子物理學；通過對生物大分子的結構與功能的闡述，人們建立了分子生物學，通過對微觀分子的集體行為的描述，人們進一步建立了統(tǒng)計物理學……如上每個學科的都在關注著我們的世界這一巨大系統(tǒng)的某一個特定的尺度——一個系統(tǒng)往往存在著多個尺度，而因果涌現理論的目的便是幫助我們識別有足夠信息的尺度。讓我們用一個簡單的例子來說明什么是一個系統(tǒng)的宏觀和微觀尺度，以及我們將要如何根據微觀尺度的系統(tǒng)得到宏觀尺度的系統(tǒng)。根據因果涌現理論，我們可以從時間、空間及共同考慮時空這三個角度從系統(tǒng)的微觀狀態(tài)找到一個宏觀狀態(tài)，如下圖：圖1：三類方法找到系統(tǒng)的宏觀狀態(tài)上圖是一個通用的示意圖，我們可以將上圖中的節(jié)點看作系統(tǒng)的一個狀態(tài)，連邊即為系統(tǒng)狀態(tài)之間的轉移概率，這樣上圖即表示了任一系統(tǒng)的狀態(tài)在狀態(tài)空間中的變化過程。上圖也可以表示一個復雜網絡，如基因網絡，節(jié)點可以代表基因，而連邊則代表了基因之間隨機游走子的隨機游走子轉移概率[2]（參見：https://campus.swarma.org/course/3575）。我們以上圖中的第一列為例來說明如何從空間角度定義處于微觀和宏觀尺度的系統(tǒng)：因為系統(tǒng)的原本狀態(tài)包含了關于該系統(tǒng)的一切信息，所以我們將系統(tǒng)的原本狀態(tài)定義為系統(tǒng)的微觀尺度。進一步地，我們可以讓系統(tǒng)的部分節(jié)點組成新的宏觀節(jié)點，如將將BCD這三個節(jié)點規(guī)約為一個宏觀節(jié)點μ|A，由此我們產生的新系統(tǒng)則可以表示宏觀尺度的系統(tǒng)。根據前述定義，我們顯然可以以人為的方式任意組合節(jié)點從而產生宏觀尺度的系統(tǒng)，但何種宏觀尺度的系統(tǒng)是有意義的呢？因果涌現理論告訴我們，當一個宏觀尺度的系統(tǒng)呈現出比微觀尺度更清晰的因果關系，則它是有意義的。從信息的角度而言，如果通過某種組合，使得我們的到了一個呈現更多信息，具有更少不確定性的宏觀系統(tǒng)，那么因果涌現便發(fā)生了。數學上，我們可以這樣量化一個系統(tǒng)的因果涌現水平：其中CSmacro代表宏觀尺度系統(tǒng)的因果強度，CSmicro則代表微觀尺度系統(tǒng)的因果強度，自然地，二者的差CE可以被用于代表因果涌現水平?，F在想象這樣一個系統(tǒng)，其系統(tǒng)本身的因果強度并不高（沒有明確的因果關系），但經過重新劃定之后的宏觀系統(tǒng)的因果強度很高（有明確的因果關系），那么我們便可以用紅微觀因果強度的差來量化因果涌現水平了。實際上，存在著很多種方法可以對一個系統(tǒng)的因果強度進行量化地度量，我們將在下一小節(jié)介紹有效信息理論，該理論是最早在被用于度量因果涌現水平的因果強度量化方法。有效信息理論可以很好的幫助我們識別任意系統(tǒng)的因果強度[3]，基本上，一個系統(tǒng)的因果越明確，其有效信息就越大。我們用如下例子來說明一個系統(tǒng)的有效信息如何計算：圖2：系統(tǒng)的馬爾可夫狀態(tài)轉移概率矩陣
上圖使用馬爾可夫轉移概率矩陣來描述了一個系統(tǒng)從t時刻到t+1時刻之間的狀態(tài)轉移概率，我們可以這樣定義狀態(tài)A的有效信息：上式中，EI(A)表示狀態(tài)A的有效信息，該有效信息實際上由兩個分布的KL散度（一種衡量分布之間的距離的算法）計算得來。這兩個分布中，是指當系統(tǒng)處于A狀態(tài)時，下一時刻系統(tǒng)狀態(tài)的分布，而<>則是指當系統(tǒng)處于最大熵分布時，系統(tǒng)下一時刻的狀態(tài)分布。我們可以這樣理解針對狀態(tài)A的有效信息，實際上這衡量了當系統(tǒng)處于A態(tài)時，我們對系統(tǒng)未來狀態(tài)的確定性比隨機擾動得到的系統(tǒng)未來狀態(tài)的確定性高了多少。在計算了單個狀態(tài)的有效信息之后，我們可以進一步定義整個系統(tǒng)的有效信息為所有單個狀態(tài)的有效信息的平均值，即：以上定義是從系統(tǒng)處于不同狀態(tài)下對未來的確定性出發(fā)來確定的。我們也可以從確定性與簡并性兩個概念出發(fā)來定義有效信息，其結果是完全等價的。所謂確定性和簡并性是存在于任意一種因果結構中的兩種屬性，他們決定著原因和結果之間的確定程度，確定性和簡并性可以由上述方法計算有效信息時的KL散度進行分解得到， 但我們也完全可以從第一性原理來定義確定性，簡并性以及有效信息的關系。所謂確定性是指當我們從某個狀態(tài)出發(fā)時，我們對系統(tǒng)下一時刻的狀態(tài)的確定程度的大小，一個極端確定的系統(tǒng)是這樣的，無論系統(tǒng)當前處于哪個狀態(tài)，我們都以概率1確定系統(tǒng)下一時刻的狀態(tài)。而簡并性則指當系統(tǒng)處于某個狀態(tài)時，我們對系統(tǒng)上一時刻狀態(tài)的確定程度的大小，在一個極端簡并的系統(tǒng)中，我們無法精確找到每一個狀態(tài)對應的上一時刻的狀態(tài)，因此我們可以這樣定義確定性和簡并性。在一個極端確定的系統(tǒng)中，系統(tǒng)的每一個狀態(tài)都以1的概率演化到另一個狀態(tài)，此時的確定性大小為log2(N)，因為無論系統(tǒng)處于何種狀態(tài)，系統(tǒng)下一時刻的狀態(tài)分布的熵H[]都為0。相對地，簡并性討論的是系統(tǒng)前一狀態(tài)和當前狀態(tài)的關系，在一個極端簡并的系統(tǒng)中，所有狀態(tài)有相等的概率分布轉移至其他節(jié)點（例如每個狀態(tài)都以1/2的概率轉移至左右兩個狀態(tài)），此時的簡并性最小，為0，因為此時。下圖中的藍色子圖展示了高確定性，和低確定性系統(tǒng)中，系統(tǒng)處于某一狀態(tài)時下一時刻系統(tǒng)的概率分布。黃色子圖展示了高簡并性和低簡并性的系統(tǒng)處于最大熵分布時，系統(tǒng)未來狀態(tài)的分布。一個確定且非簡并的系統(tǒng)具有很高的有效信息，我們可以將有效信息定義為確定性和簡并性的差，這樣的定義與通過計算單個狀態(tài)的有效信息再求期望是等價的。如下式：通過前文，我們知道有效信息可以被用于度量一個概率轉移矩陣的因果涌現水平，同樣地，我們也可以衡量一個復雜網絡的因果涌現水平。其基本思想是在網絡的節(jié)點上放置隨機游走子，該隨機游走子隨著網絡的連邊進行游走，我們將節(jié)點類比于前文中的系統(tǒng)狀態(tài)，將隨機游走子在兩個節(jié)點之間經過的概率類比于前文中系統(tǒng)的兩個狀態(tài)之間轉移的概率。從而計算一個復雜網絡的因果涌現水平。若一個復雜網絡的因果涌現水平較高，這意味著針對該網路，存在著這樣的“宏觀網絡”：在這個宏觀網絡上，我們可以很確定一個隨機游走子從哪里游走過來，又將運動到哪里去。換句話說，在這個宏觀的網絡上，隨機游走的因果動力學是明確的，而形成宏觀網絡的節(jié)點組合規(guī)則明確的情況下，宏觀網絡的因果動力學是否明確，完全取決于微觀的網絡結構。通過對我們所知的各種網絡結構進行因果涌現水平對比，作者發(fā)現生物網絡更容易出現因果涌現效應，而技術網絡則相對不容易出現因果涌現效應。更有趣的是，作者在最新的文章中發(fā)現，因果涌現似乎與進化有關，他們對比了原核生物和真核生物的蛋白質交互作用網絡，發(fā)現真核生物的蛋白質相互作用網絡比原核生物展現出更強的因果涌現效應，即因果涌現的程度和物種進化的方向是相關的，這或許說明蛋白質作用網絡如果在宏觀尺度上涌現出更強的因果會更適合物種的進化。如同很多創(chuàng)新理論一樣，因果涌現理論自問世以來一直在遭遇著批評，也在批評的動力中進化和完善。針對它一個核心批評是：目前為止，我們看到的因果涌現理論都依賴于有效信息這一種度量方式，那么因果涌現理論是否是有效信息度量下產生的巧合？如果整個因果涌現理論都強烈依賴于有效信息這一因果強度的度量方式，那么因果涌現理論實際上便并沒有他宣稱的那么重要。Erik Hoel的最新工作回應了這一質疑，在此工作中，作者系統(tǒng)地總結了12種已知的因果強度的度量方式，并發(fā)現在所有的因果強度度量方法下都發(fā)生了因果涌現，這說明因果涌現理論并非依賴于某種特定因果強度度量手段的理論。具體而言，作者發(fā)現人們對因果的度量總體上存在著這樣的原則：原因和結果之間如果既存在著較強的充分性，也存在著較強的必要性，則原因和結果之間便有著明確的因果關系。而充分性和必要性的度量方法分別如下：上式說明，如果原因c發(fā)生，我們能以較高的概率觀察到結果e發(fā)生，則c和e之間存在著較強的充分性。上式說明，如果原因c沒有發(fā)生，我們也已比較高的概率觀測不到結果e的發(fā)生，則c和e之間存在著較強的必要性。實際上，我們在有效信息理論中提到的確定性和非簡并性便可以看做擴展的充分性和必要性：充分性對應著有效信息理論中的確定性，若c以比較高的概率讓e發(fā)生，則說明c的存在對e來說是充分的，同時也說明由c到e的轉化是確定的。必要性對應著有效信息理論中的非簡并性，若c的存在對e來說是必要的，同時也意味著由c到e的轉化是非簡并的。這里要注意一點，充分性和確定性雖然定性一致，但他們并非完全等同：考慮一個有四個狀態(tài)的系統(tǒng)，這四個狀態(tài)分別為A、B、C、D。系統(tǒng)目前處于A狀態(tài)，它下一時刻轉移到ABCD任一狀態(tài)的概率都是1/4。在這種情況下，充分性是1/4，但確定性是0，因為從A出發(fā)的到的系統(tǒng)未來狀態(tài)和和以最大熵概率生成的系統(tǒng)未來狀態(tài)沒有任何區(qū)別。除有效信息理論之外，其他衡量一個系統(tǒng)的因果強弱的理論也普遍遵循著相同的框架，例如Ellery Eells曾提出，如果c是e的原因，那么c的出現必須提升e出現的概率，即，這一理論可以被用于度量因果強度，即：該理論說明兩個變量之間如果確定性較強且充分性較強，那么他們便有強烈的因果聯系。值得一提的是，該理論被著名因果科學家，圖靈獎獲得者Judea Pearl在提前不知情的情況下再次發(fā)現，在科學界中，某理論的重復發(fā)現在某種程度上印證了該理論的穩(wěn)健性。作者驗證了類似的多個量化因果強度的理論，結果發(fā)現在所有量化指標下，宏觀因果強于微觀的情況都出現了，即因果涌現發(fā)生了。因果涌現理論目前雖并未在現實世界中被大規(guī)模應用，但我們仍能夠看到其可能的廣闊應用前景：一個因果涌現的系統(tǒng)是在宏觀層面比微觀層面因果關系更明確的系統(tǒng)，顯然，這種宏觀的因果關系降低了系統(tǒng)在微觀層面的不確定性和噪聲，并為系統(tǒng)提供了容錯，例如：即使神經系統(tǒng)在微觀層面上存在著很多噪聲和不確定性，它在宏觀上仍然是魯棒的，且具有穩(wěn)定的因果關系，這種思想為我們進行系統(tǒng)設計和建模提供了指導。我們可能根據這一原則進行系統(tǒng)設計，從而設計出具有因果涌現特征，并具備特定功能的系統(tǒng)。除此之外，因果涌現理論還可以被用于識別系統(tǒng)最有信息量的尺度：例如，我們常見的核磁共振成像（fMRI）技術便是從宏觀觀測大腦的典型案例，但這個尺度是否是觀察大腦的最優(yōu)尺度呢？因果涌現理論或許可以幫助我們找到這一問題的答案。集智俱樂部自開展因果涌現讀書會以來，共進行了十六次討論分享，這一期我們很幸運地邀請到了因果涌現理論的提出者Erik Hoel做客讀書會進行討論。Erik的分享不但總結了因果涌現的核心邏輯，還分享了他在這一方面尚未發(fā)表的最新工作，并提出了很多有趣的觀點。諸如因果涌現理論的穩(wěn)健性的證明，因果涌現理論或許可以幫助我們設計具有涌現性質的復雜系統(tǒng)，又如因果涌現和物種進化的之間的有趣的相關性等等。我們之所以對因果涌現這一話題如此關注，其原因之一便是涌現問題一直是復雜性研究的“圣杯”，而因果涌現則是目前在這一領域非常有價值的一次探索。因此我們推薦所有對這一話題感興趣的朋友加入讀書會進行共同研究，這片沙灘上一定還有許多寶石，等著我們去發(fā)現。嚴肅的科學討論結束，讓我們最后用一點時間來聊一下這次討論會上關于科學之外的有趣的收獲：關于Erik 最新小說的討論。事實上，Erik Hoel并不僅僅是一個出色的科學家，而且是一名科幻小說作者。近期，他的處女作《The Revelations》（啟示錄）獲得出版，這是一部野心勃勃的作品，從希臘神話談到動物實驗的黑暗現實，再到今天科學家們面臨的一些最大的未解之謎，這部小說深入探討了對尖端科學與意識這些有趣的話題。事實上，Erik在其個人網站上說“《The Revelations》的出版是我做過最重要的事”。在讀書會的末尾討論環(huán)節(jié)，岳玉濤與Erik Hoel之間發(fā)生了一段有趣的對話，在此摘錄如下：岳：我們知道你是一個科學家，同時也是一個作家，我最近在亞馬遜訂了你的書，準備開始讀。實際上我在未來可能也會寫一部小說。我很好奇你是如何處理科研和寫作這兩回事的？
Erik：非常感謝你買了我的書（笑），實際上我小時候在我媽媽的書店長大，我也在那里工作過，所以寫作和閱讀一直是我的一大興趣。我一直以來都想做的事情是把科學放進文學作品里，這在文學作品中很少見，當然你能看到很多科幻作品，但那些基本上是對科學的想象，但我想把真正的科學放進去。
我在讀博士期間寫小說，占用了很多時間，這件事可能讓我的導師不太開心。你可能看過我發(fā)表的論文，你會發(fā)現其實我發(fā)表的論文不多，我正在努力每年只發(fā)表兩到三篇我真正喜歡的文章。在時間不足的情況下，我盡量不是壓縮自己的科研時間，而是關注在真正感興趣的領域上，嗯……實際上我也不知道能不能長期這樣堅持下去（笑）。對了，如果你在你的小說寫作過程中有所進展，記得要告訴我。
岳：謝謝，中國實際上有很多工作機會，無論在學術界還是其他領域，如果你感興趣，我們都很歡迎你。
Erik：那太棒了，北京sounds better and better（笑）。
集智俱樂部正在準備將Erik Hoel的小說《啟示錄》其譯成中文，敬請期待。參考文獻
[1] Comolatti R, Hoel E. Causal emergence is widespread across measures of causation[J]. arXiv preprint arXiv:2202.01854, 2022.[2] Brennan Klein and Erik Hoel. 2020. “The Emergence of Informative Higher Scales in Complex Networks.” Complexity 2020 (2020): 1–12.[3] Erik Hoel, Larissa Albantakis, and Giulio Tononi. 2013. “Quantifying Causal Emergence Shows That Macro Can Beat Micro.” Proceedings of the National Academy of Sciences of the United States of America 110 (49): 19790–95
