1. 涌現(xiàn)現(xiàn)象
如果你曾經(jīng)觀察過螞蟻，你會驚訝地發(fā)現(xiàn)，當(dāng)它們聚集成蟻群時，會展現(xiàn)出一種不可思議的“智能”表現(xiàn)。例如，它們能夠自動發(fā)現(xiàn)從蟻群到達(dá)食物的最短路徑。這種智能表現(xiàn)并不是由于某些個體螞蟻的聰明才智，因?yàn)槊恐晃浵伓挤浅Ｐ。豢赡芤?guī)劃比它們身長長至少幾十倍以上的路徑。這種行為是由于許多螞蟻聚集成一個蟻群，才表現(xiàn)出來的智能。我們把這種現(xiàn)象稱為涌現(xiàn)（Emergence）。什么是涌現(xiàn)？當(dāng)我們用這個詞來描述蟻群這樣的現(xiàn)象時，是想描述它所體現(xiàn)的整體大于部分之和。為給出一個更加規(guī)范的定義，我們說蟻群這樣的整體是一個系統(tǒng)，而其中每個螞蟻便是構(gòu)成這個系統(tǒng)的基本元素。于是我們可以給出涌現(xiàn)的定義：如果一個系統(tǒng)的屬性不是其任何基本元素的屬性，那么它就是涌現(xiàn)的。事實(shí)上不只是螞蟻，從鳥群的靈活有序，到大腦產(chǎn)生意識，皆是涌現(xiàn)出來的特質(zhì)。接下來介紹幾個其它的涌現(xiàn)案例讓讀者更多體會涌現(xiàn)這個概念。圖1.許多小魚聚在一起擁有了大魚一般的威懾力，這是單獨(dú)一只小魚所不能擁有的1970年，英國數(shù)學(xué)家約翰·何頓·康威（John Horton Conway）發(fā)明了元胞自動機(jī)。這是一種無限的、二維正方形的柵格單元網(wǎng)格，每一個單元格有2種狀態(tài)可能性：活或死的（或者黑和白）。每個單元格都與其八個相鄰的單元交互。把每個單元格看作一個細(xì)胞，該系統(tǒng)具有以下規(guī)則：
1. 任何有兩個或三個活鄰居的活細(xì)胞都可以存活。
2. 具有三個活鄰居的任何死細(xì)胞都將成為活細(xì)胞。
3. 所有其他活細(xì)胞將在下一代死亡。同樣，所有其他死細(xì)胞仍保持死亡狀態(tài)。這便是大名鼎鼎的生命游戲，至今已作為一個經(jīng)典的復(fù)雜系統(tǒng)被眾多學(xué)者研究。它吸引大家研究的點(diǎn)在于，作為基本元素的細(xì)胞有著非常簡單的交互規(guī)則，但當(dāng)我們把視點(diǎn)放在全局，卻會發(fā)現(xiàn)很多有意思的圖案（pattern）。有些是靜態(tài)的，像圖3中的“方塊”、“面包”等等，隨著時間不再變化。還有一些則是周期振蕩的，甚至像水面上的波一樣向某一個方向傳播。比如說“滑翔機(jī)”，是一個朝某一方向“運(yùn)動”的周期動態(tài)圖案，用它構(gòu)造布爾電路，甚至可以在生命游戲里搭建抽象的計算機(jī)，支持通用計算。圖2.生命游戲在某一個時間步上的全局狀態(tài)
圖3.生命游戲里的部分靜態(tài)案例
生命游戲的例子體現(xiàn)出，我們在計算機(jī)上就可以通過簡單的編程，來復(fù)現(xiàn)一個復(fù)雜系統(tǒng)的涌現(xiàn)現(xiàn)象。接下來介紹的阿米巴蟲的例子，則讓我們認(rèn)識到人類甚至可以向生物界中的涌現(xiàn)現(xiàn)象學(xué)習(xí)，為人類工程師的設(shè)計提供借鑒。阿米巴蟲有兩種生存狀態(tài)，一種是作為大型黏菌存活，而當(dāng)它饑餓時，會分解出很多微小的單細(xì)胞生物去覓食。如果它們發(fā)現(xiàn)了一個食物點(diǎn)，就會構(gòu)建一條管道輸送食物給黏菌。我們會發(fā)現(xiàn)，這些管道構(gòu)建成的運(yùn)輸網(wǎng)會被不斷優(yōu)化，一些低效的管道會漸漸消失，而對于留下來的運(yùn)輸網(wǎng)，如果去測量它的運(yùn)輸效率等指標(biāo)，則會發(fā)現(xiàn)它幾乎就是最優(yōu)的設(shè)計。這啟發(fā)科學(xué)家借鑒阿米巴蟲的生長來設(shè)計城市的交通運(yùn)輸網(wǎng)。如圖4所示，實(shí)驗(yàn)中特意擺放食物點(diǎn)使之與城市的各個地點(diǎn)坐標(biāo)相似，便可以得到阿米巴蟲“設(shè)計”的交通運(yùn)輸網(wǎng)了。圖4.阿米巴蟲自發(fā)演化出的食物運(yùn)輸管道
以上舉出的涌現(xiàn)現(xiàn)象何以可能？我們再來分析一下螞蟻覓食的案例?？茖W(xué)家進(jìn)一步發(fā)現(xiàn)，蟻群發(fā)現(xiàn)覓食最短路徑包含了以下三點(diǎn)：1. 螞蟻找到食物就會釋放信息素；2.信息素會吸引更多的螞蟻來聚集，同時信息素也會揮發(fā)；3.螞蟻和信息素形成正反饋回路，把路徑長短上的細(xì)小差異放大，從而篩選出最短路徑。借此我們大致可以定性地描述涌現(xiàn)發(fā)生的機(jī)制：局部作用產(chǎn)生正反饋機(jī)制，從而導(dǎo)致宏觀上“令人驚異”的現(xiàn)象。這里面不需要一個上帝一般的角色來做全局的考慮和設(shè)計。圖5.螞蟻?zhàn)詣影l(fā)現(xiàn)覓食最短路徑
涌現(xiàn)這個概念近年來越來越火，尤其是ChatGPT的流行，讓更多人關(guān)注大語言模型（LLM）與它的涌現(xiàn)能力。這里的涌現(xiàn)更多是指，隨著模型規(guī)模變大，突然在某一刻擁有了以前沒有的能力，比如能在自然語言交互中回答一些智力題。這種神奇的進(jìn)步在直覺上和前面所說的自然界中的涌現(xiàn)現(xiàn)象似乎一樣，但實(shí)際是有差異的，因?yàn)檫@里沒有局部正反饋反映到宏觀全局的過程，其背后原因更多和思維鏈（chain of thoughts）有關(guān)，這里不過多解釋，可參考之前的文章《AI何以涌現(xiàn)：復(fù)雜適應(yīng)系統(tǒng)視角的ChatGPT和大語言模型》。但這不妨礙我們進(jìn)一步挖掘其背后的秘密，在以后看到更精彩的大模型涌現(xiàn)。大模型還體現(xiàn)出另一種令人驚訝的特性，即隨著尺度的變化，計算準(zhǔn)確度呈現(xiàn)冪律上升，這就是規(guī)模法則（scaling law）。規(guī)模法則在各種不同的復(fù)雜系統(tǒng)中都會出現(xiàn)，從生物界到城市科學(xué)。比如在鳥群中，鳥和鳥之間的關(guān)聯(lián)便是關(guān)于距離的冪律函數(shù)。這其實(shí)也是一種涌現(xiàn)出來的現(xiàn)象，是一種統(tǒng)計上的涌現(xiàn)現(xiàn)象。它的出現(xiàn)意味著我們拋棄了大量無關(guān)信息，抓住了一些關(guān)鍵指標(biāo)的變化。以它為切入口，我們可以深挖其背后的機(jī)理，從而幫助理解前面舉出的那些難以規(guī)范描述的涌現(xiàn)現(xiàn)象。關(guān)于規(guī)模法則更為全面和詳細(xì)的描述，讀者可以翻閱張江老師出版的新書《規(guī)模法則》。圖6. 張江老師的新書《規(guī)模法則》
為了理解涌現(xiàn)現(xiàn)象，我們發(fā)現(xiàn)可以從因果的視角入手，來重新闡釋復(fù)雜系統(tǒng)里個體與整體的關(guān)系?；氐较伻旱睦?，試想一個蟻群過河的場景。為了讓整個蟻群能安然渡河，與水面接觸的那幾只螞蟻便成了犧牲品。這里便存在一個因果關(guān)系，而且與我們更為熟悉的因果方向不同。我們更容易接受的是，因?yàn)?/strong>螞蟻?zhàn)鳛閭€體的某些行為，所以有了蟻群在宏觀上的某些現(xiàn)象，這在亞里士多德的四因說里是質(zhì)料因。但在蟻群過河的例子中，因?yàn)?/strong>蟻群要在水面上生存，所以犧牲了邊緣的幾只螞蟻，出現(xiàn)了自上而下的形式因。這時候我們或許更傾向于把整個蟻群看作一個超級生命體，而不再是一只只螞蟻的排列。圖7. 一個蟻群在水面上，體現(xiàn)出向下因果
類似的例子還有很多，都涉及到因果律的變化。有的復(fù)雜系統(tǒng)里自上而下的因果相比于自下而上的因果體現(xiàn)的更明顯，還有的系統(tǒng)中只能在宏觀層面去解釋一些結(jié)果，而不能用微觀的個體去做因果上的解釋。那因果和涌現(xiàn)到底是什么關(guān)系？Jochen Fromm 在一篇文章中指出，對于所有的結(jié)果（effect），我們都會試圖找到它的原因（cause），但涌現(xiàn)現(xiàn)象是我們在宏觀上觀察到一個現(xiàn)象卻無法簡單歸因的。這樣的洞見讓我們認(rèn)識到，對因果的研究是理解涌現(xiàn)的一個途徑。于是我們有了因果涌現(xiàn)（causal emergence）這樣一個概念和研究課題。我們希望借此能對涌現(xiàn)有一般性的研究，而不只是在一個個具體的案例里討論涌現(xiàn)現(xiàn)象。我們接下來來看對于涌現(xiàn)這個概念，歷史上已經(jīng)有了哪些定性的研究。首先介紹Jochen Fromm 對涌現(xiàn)的分類。如圖8，圖中箭頭表示因果關(guān)系，那么根據(jù)因果關(guān)系的不同，可以把涌現(xiàn)分為四類。首先是簡單涌現(xiàn)，只有自下而上的因果關(guān)系，比如對一些變量求均值，這種普通的統(tǒng)計特征我們非常熟悉了，不是我們關(guān)注的重點(diǎn)。有意思的事情發(fā)生在自上而下的因果關(guān)系的出現(xiàn)，這時便是弱涌現(xiàn)，像前面介紹過的螞蟻覓食就是這一類。生命游戲則屬于多重涌現(xiàn)，在一次生命游戲中可以同時觀察到或靜態(tài)或動態(tài)，大小不同長相不一的圖案涌現(xiàn)出來。強(qiáng)涌現(xiàn)則是考慮了不只兩個尺度，同時有微觀、介觀、宏觀三個尺度，而介觀的存在完全隔離了微觀與宏觀之間的因果關(guān)系。例如從細(xì)胞到多細(xì)胞生命體再到智能與意識的存在。關(guān)于 Jochen Fromm 的理論更詳細(xì)的描述，可以參考對 Fromm 論文的翻譯《涌現(xiàn)的種類與形式》。Fromm, Jochen. 'Types and forms of emergence.' arXiv preprint nlin/0506028 (2005).
圖8. Jochen Fromm 對涌現(xiàn)的分類
需要說明的是，有些涌現(xiàn)離不開主觀視角的介入。有些涌現(xiàn)是客觀固有的性質(zhì)，比如螞蟻覓食，可以用客觀指標(biāo)來度量蟻群覓食的能力，這樣的涌現(xiàn)可以被稱作本體論的涌現(xiàn)。還有些涌現(xiàn)現(xiàn)象則源自觀察者的簡化，比如我們觀察云彩的時候，會認(rèn)出某些云朵形狀類似我們熟知的人臉。這樣的宏觀現(xiàn)象一樣無法歸因于每個運(yùn)動的水蒸氣分子，但它是客觀物質(zhì)與人類認(rèn)識共同形成的。這種涌現(xiàn)可以被稱作認(rèn)識論的涌現(xiàn)。兩種涌現(xiàn)都很重要，都是我們要研究的對象。另一位哲學(xué)家 Mark Bedau 也提出了自己對涌現(xiàn)的分類，和 Jochen Fromm 的理論也有聯(lián)系。Fromm 所說的簡單涌現(xiàn)，便是Bedau提出的名義的涌現(xiàn)。而 Fromm 的弱涌現(xiàn)與多重涌現(xiàn)合在一起則是 Bedau 認(rèn)為的弱涌現(xiàn)。兩個人的共識在于對強(qiáng)涌現(xiàn)的認(rèn)識和界定。強(qiáng)涌現(xiàn)確實(shí)是最神秘也最令人著迷的一種。相比于 Fromm 的理論，Bedau 的分類更加簡潔。圖9. Bedau 涌現(xiàn)理論的文章
Bedau, M. Downward causation and the autonomy of weak emergence. Principia: an international journal of epistemology 2002, 6, 5–50.
除了哲學(xué)上的探討，Bedau 更大的貢獻(xiàn)在于，用格蘭杰因果檢驗(yàn)這樣一個量化手段解釋了什么是弱涌現(xiàn)，此時弱涌現(xiàn)也可以叫做 G-emergence。如圖中A、B兩個時間序列，我們回歸分析變量An，可以得到A自身的歷史信息An-1與B的歷史信息Bn-1對它的解釋。如果僅憑借A自身的歷史信息就可以解釋An，便定義A是G自主（G-autonomous）的。那什么是弱涌現(xiàn)呢？在一個鳥群模型的例子中，每只鳥的運(yùn)動便是微觀上的時間序列，而整個鳥群質(zhì)心的運(yùn)動定義為宏觀上的時間序列。如果宏觀時間序列是G自主的，而微觀時間序列不是，還需要依靠宏觀質(zhì)心運(yùn)動的歷史信息來預(yù)測下一時刻的微觀狀態(tài)，那么便定義這個系統(tǒng)是弱涌現(xiàn)的。該定義討論了自上而下的因果關(guān)系，而且是以機(jī)器作為觀察者視角，用算法發(fā)現(xiàn)了模型原本不包含的向下因果，屬于我們之前所討論的認(rèn)識論的涌現(xiàn)。圖10.Bedau對于弱涌現(xiàn)定量的定義
對于復(fù)雜系統(tǒng)的因果涌現(xiàn)，除了以上討論的定性研究，我們更希望能搭建一個量化的理論框架。Erik Hoel 作為因果涌現(xiàn)理論的正式提出者，最大的貢獻(xiàn)便是以因果為工具對涌現(xiàn)現(xiàn)象進(jìn)行了定量的刻畫。Hoel, E.P.; Albantakis, L.; Tononi, G. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences 2013, 110, 19790–19795.
在文章《Erik Hoel：因果涌現(xiàn)理論怎樣連通復(fù)雜系統(tǒng)的宏觀與微觀》中對該理論已有介紹，這里我們再簡單回顧一下。如圖11所示，橫軸表示系統(tǒng)動力學(xué)演化時間，縱軸則是同一系統(tǒng)的不同尺度。我們常常能觀測到微觀尺度上，系統(tǒng)在某一動力學(xué)規(guī)則下演化，比如在一個密閉空間里，大量氣體分子在牛頓定律下運(yùn)動。但這樣的運(yùn)動非常無序，很難研究清楚，也就是說微觀動力學(xué)f的因果效應(yīng)強(qiáng)度會比較弱。為解決這一問題，我們經(jīng)常會使用某一種粗粒化手段，把系統(tǒng)的微觀狀態(tài)映射到某一宏觀尺度上。比如對于剛才提及的氣體系統(tǒng)，我們開發(fā)出溫度、壓強(qiáng)、熵等一系列宏觀指標(biāo)，那么所有氣體分子的速度和位置等變量就與這些宏觀指標(biāo)建立起了映射關(guān)系。在這個宏觀尺度上，我們往往會發(fā)現(xiàn)更加簡潔的規(guī)律，比如有理想氣體方程PV=nRT。這時候可以說該宏觀動力學(xué)F的因果效應(yīng)強(qiáng)度高。如果有宏觀動力學(xué)的因果效應(yīng)大于微觀動力學(xué)因果效應(yīng)，便認(rèn)為該系統(tǒng)發(fā)生因果涌現(xiàn)。圖11.Erik Hoel的因果涌現(xiàn)理論框架
這里的因果效應(yīng)強(qiáng)度要怎么度量呢？我們接下來介紹因果效應(yīng)度量的指標(biāo)有效信息（effective information, EI）。這個概念最早來自 Hoel 的導(dǎo)師 Tononi 的一篇文章，是指對于一個馬爾可夫系統(tǒng)，測量輸入和輸出的互信息，其中輸入服從最大熵分布。Giulio Tononi， Olaf Sporns. Measuring information integration. BMC Neurosci, 2003, 4(31)
圖12.定義有效信息的示意圖
Hoel 進(jìn)一步發(fā)展這個概念，同樣是在離散的馬爾可夫系統(tǒng)中討論，對于一個轉(zhuǎn)移概率矩陣，可以測量它的 EI。EI 本質(zhì)是互信息，但僅僅是互信息還不行，因?yàn)榛バ畔y量的是關(guān)聯(lián)關(guān)系，無法去除數(shù)據(jù)分布本身帶來的混雜影響。為了讓互信息能正確衡量系統(tǒng)自身的性質(zhì)，需要約束輸入變量的分布，即人為對輸入一端的變量做干預(yù)，設(shè)定輸入變量為均勻分布（在離散系統(tǒng)中等同于最大熵分布），然后測量此時輸入和輸出之間的互信息，得到的便是 EI。干預(yù)這個概念來自 Judea Pearl 的因果理論，正是因?yàn)橐肓烁深A(yù)這樣的手段，EI 度量的便是因果效應(yīng)強(qiáng)度，是一個動力學(xué)內(nèi)在的性質(zhì)，與外界數(shù)據(jù)無關(guān)。（干預(yù)及相關(guān)因果科學(xué)概念的更多介紹可以參考集智百科詞條《什么是結(jié)構(gòu)因果模型》。）值得分析的是，有效信息本身可以被拆成確定性（Det）和簡并性（Deg）兩部分。確定性度量的是以過去狀態(tài)預(yù)測未來狀態(tài)的隨機(jī)性大小，簡并性度量的是從未來狀態(tài)追溯過去狀態(tài)的隨機(jī)性大小。在數(shù)學(xué)上，對EI除以log2(n)做歸一化，得到Eff，于是推導(dǎo)可得 Eff=Det-Deg。這啟發(fā)我們，所謂因果效應(yīng)強(qiáng)，可以歸于兩個方面，高確定性和低簡并性。圖13中提供了幾個案例，包括轉(zhuǎn)移概率矩陣和對應(yīng)的各指標(biāo)的計算值，供讀者參考體會。圖13.有效信息及確定性簡并性計算的案例，其中色塊深淺表示轉(zhuǎn)移概率矩陣上每個條件概率的大小
因此，我們可以來回答為什么一些粗粒化策略可以提高有效信息。當(dāng)輸入是某一狀態(tài)時，輸出會有多種可能，是一個具有隨機(jī)性的分布，如果我們通過粗?；堰@些可能的輸出打包為一個輸出，就減少了隨機(jī)性，于是提高了確定性；同理，從某一個輸出結(jié)果往回追溯，它也會對應(yīng)多個可能的輸入，如果打包這些輸入，就能減少這個過程的簡并性。這兩條路徑都可以提高有效信息。到目前為止，我們已在離散的馬爾可夫系統(tǒng)上充分討論了如何定量刻畫粗?；约耙蚬楷F(xiàn)，但這本身還是非常理想化的。除了馬爾可夫性的假設(shè)以外，更重要的是我們已知其背后的動力學(xué)，而這在真實(shí)世界中幾乎不可能，尤其面對復(fù)雜系統(tǒng)的時候。所以當(dāng)我們已收集好微觀數(shù)據(jù)，比如一個多主體系統(tǒng)中每個主體的運(yùn)動軌跡，需要回答如何從中識別因果涌現(xiàn)的問題?？紤]識別因果涌現(xiàn)的時候，需要有粗粒化策略來建立多尺度視角，所以進(jìn)一步又有兩個更加具體的問題：如何在數(shù)據(jù)中自動得到合適的粗粒化策略以及找到對應(yīng)的宏觀動力學(xué)。到目前，已經(jīng)有學(xué)者沿著這條軌跡做出了成果。這里主要向讀者介紹神經(jīng)信息壓縮器（Neural Information Squeezer，NIS）的工作，其它相關(guān)工作會在后面的讀書會中進(jìn)一步展開。Zhang, J.; Liu, K. Neural information squeezer for causal emergence. Entropy 2022, 25, 26.
如今，面對大量數(shù)據(jù)，機(jī)器學(xué)習(xí)是一個主要的處理手段，而NIS便是把機(jī)器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)技術(shù)借鑒到了因果涌現(xiàn)識別的問題中來。熟悉神經(jīng)網(wǎng)絡(luò)的讀者知道，神經(jīng)網(wǎng)絡(luò)是一個計算能力強(qiáng)的黑箱，能擬合任意復(fù)雜的函數(shù)，但同時可解釋性很差。這使得它雖然對于普通的預(yù)測或分類任務(wù)表現(xiàn)不錯，可一旦環(huán)境變化，它就容易失敗，因?yàn)樗芏鄷r候并沒有把握住一個動力系統(tǒng)背后本質(zhì)的規(guī)律。如果我們能用一個神經(jīng)網(wǎng)絡(luò)框架學(xué)習(xí)到因果性更強(qiáng)的宏觀動力學(xué)，那么這樣的神經(jīng)網(wǎng)絡(luò)會比一般的神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的可解釋性和泛化能力。具體怎么做呢？回到我們得到的微觀數(shù)據(jù)上，它們通常是多維的時間序列數(shù)據(jù)，可以假定背后有微觀動力學(xué)生成這些數(shù)據(jù)。接下來我們用編碼器來對這些數(shù)據(jù)做粗粒化，得到宏觀的數(shù)據(jù)，其中輸出的宏觀數(shù)據(jù)比輸入的微觀數(shù)據(jù)維度會更少。對于這些宏觀數(shù)據(jù)，我們用一個神經(jīng)網(wǎng)絡(luò)擬合它背后的宏觀動力學(xué)（macro dynamics）。得到了宏觀動力學(xué)，我們可以測量它的EI（這里需要先對EI進(jìn)行拓展，使其可以度量神經(jīng)網(wǎng)絡(luò)的因果性。這樣的拓展是合理的，因?yàn)檩斎胼敵鲋幌嗖钜粋€時間步，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的動力學(xué)具有馬爾可夫性。具體細(xì)節(jié)見參考文獻(xiàn)）。這個EI便是我們要最大化的目標(biāo)，通過梯度反傳來優(yōu)化編碼器和宏觀動力學(xué)神經(jīng)網(wǎng)絡(luò)。這樣似乎就已經(jīng)解決了前面提出來的問題，找到了因果涌現(xiàn)最強(qiáng)的宏觀動力學(xué)。但在實(shí)操中我們會遭遇平凡解的問題。由前面的分析我們知道，因果涌現(xiàn)來自于高確定性和低簡并性。對于機(jī)器而言，它總能找到一個特定的高確定同時低簡并的策略來滿足優(yōu)化目標(biāo)，那便是把所有微觀數(shù)據(jù)粗粒化為一個常數(shù)值，然后擬合宏觀動力學(xué)為恒等映射。這種策略得到的宏觀動力學(xué)EI非常大，但這顯然是我們不想要的平凡解。那問題出在哪了呢？相信讀者很快意識到，此時學(xué)習(xí)到的宏觀動力學(xué)和微觀數(shù)據(jù)實(shí)際沒有任何關(guān)系，換句話說，它不包含微觀的信息。這讓我們意識到，一味追求EI這個指標(biāo)是不行的，需要增加約束讓學(xué)習(xí)的宏觀動力學(xué)包含微觀的信息。NIS的做法是讓宏觀動力學(xué)得到的預(yù)測輸出再解碼回微觀，得到對微觀的預(yù)測。如果這個預(yù)測足夠準(zhǔn)確，那么宏觀動力學(xué)一定不是平凡解，而會包含微觀態(tài)的信息。完整的NIS框架如下圖所示。圖14. NIS的框架圖
首先介紹一下編碼器和解碼器。編碼器所擬合的粗?；成浞譃閮刹糠郑紫仁且粋€可逆的神經(jīng)網(wǎng)絡(luò)（INN），可以模擬任意復(fù)雜的可逆映射，在這個過程中沒有任何信息的損失，其次是拋棄維度的操作，相當(dāng)于一次投影操作，也就是在這一步發(fā)生信息的損失。投影保留的分量便是宏觀動力學(xué)學(xué)習(xí)器的輸入。在另一端解碼時，拼接一個標(biāo)準(zhǔn)正態(tài)分布的噪音擴(kuò)充維度，再輸入到INN中。編碼和解碼所用INN共享參數(shù)。我們約束該框架，使微觀上預(yù)測輸出的誤差收斂到一定范圍內(nèi)，在這個條件下最大化擬合的宏觀動力學(xué)。于是整個NIS構(gòu)建起了一個信息瓶頸，如圖15所示，有用的信息在保留的維度里，通過宏觀動力學(xué)F傳遞，而經(jīng)過對INN的訓(xùn)練，投影拋棄的維度自然就是無用的噪音。如此把握系統(tǒng)本質(zhì)的規(guī)律，可以使模型在變化的環(huán)境里也可以保證預(yù)測的準(zhǔn)確和有效性。當(dāng)然，維度不能保留的太少，否則“通道”太窄，沒辦法把所有有用的信息傳遞過去。于是存在某一個宏觀維度大小，剛好使對預(yù)測有用的信息都傳遞，而留存的噪音達(dá)到最小。這便是瓶頸的含義。這種性質(zhì)可以在信息指標(biāo)上體現(xiàn)出來，如果NIS被充分訓(xùn)練，我們可以觀察到此時宏觀動力學(xué)輸入和輸出的互信息約等于微觀態(tài)t時刻與t+1時刻之間的互信息。圖15.信息瓶頸示意圖和NIS因果圖
目前NIS已在一些實(shí)驗(yàn)上體現(xiàn)出它的效果。下面介紹其中兩個實(shí)驗(yàn)，其它更多實(shí)驗(yàn)細(xì)節(jié)可見參考文獻(xiàn)。首先，為了證明該框架的有效性，我們用簡單的彈簧振子模型來做一個數(shù)值實(shí)驗(yàn)。該模型本身只有兩個維度，速度(v)和位置(z)。把這兩個維度作為宏觀態(tài)，在它們基礎(chǔ)上分別加減一個正態(tài)分布噪音擴(kuò)充至四維，模擬的是觀測噪音。得到的四維變量作為微觀數(shù)據(jù)，使用NIS進(jìn)行因果涌現(xiàn)識別任務(wù)。如圖16右圖所示，通過遍歷各個宏觀維度，計算各層EI以及宏微觀EI的差值 (CE)，果然發(fā)現(xiàn)在二維層面上CE值最高，和我們預(yù)想的答案一致。同時左圖體現(xiàn)出，NIS學(xué)習(xí)得到的宏觀軌跡和真實(shí)的宏觀軌跡在相空間上非常相似。這說明NIS真正把握到了該系統(tǒng)背后的宏觀規(guī)律。圖16. 彈簧振子模型部分實(shí)驗(yàn)結(jié)果
除了人為構(gòu)造的簡單模型，還要在經(jīng)典的復(fù)雜系統(tǒng)上檢驗(yàn)NIS。前面提及的生命游戲便是這樣一個復(fù)雜系統(tǒng)。那NIS能不能捕捉到人眼很容易分辨出的有趣的圖案呢？圖17展示的就是以“滑翔機(jī)”作為實(shí)驗(yàn)對象，此時NIS捕捉的宏觀態(tài)以及和真實(shí)數(shù)據(jù)的對比?？梢钥闯?，訓(xùn)練好的NIS可以在宏觀上以分塊的形式捕捉到兩個滑翔機(jī)，就好似人腦識別出滑翔機(jī)圖案時，對它們進(jìn)行的抽象?？梢云诖院箢愃频亩喑叨冉７椒梢圆蹲降缴螒蚋鄻拥暮暧^圖案。圖17.生命游戲部分實(shí)驗(yàn)結(jié)果
到這里我們可以做一個總結(jié)。因果涌現(xiàn)理論的誕生，是為了以因果的概念來嘗試定量刻畫原本神秘的涌現(xiàn)現(xiàn)象。當(dāng)我們能夠度量每個動力學(xué)的因果性強(qiáng)弱后，如果有宏觀的因果強(qiáng)于微觀上的因果，便定義因果涌現(xiàn)的發(fā)生。而面對現(xiàn)實(shí)世界中各種復(fù)雜系統(tǒng)，我們需要有自動建模方法能從數(shù)據(jù)中識別因果涌現(xiàn)，NIS是一個在這方面取得一些成效的工作。為更深理解因果涌現(xiàn)這一領(lǐng)域，第三季讀書會展開了更豐富的問題和理論，比如考慮連續(xù)系統(tǒng)上的因果涌現(xiàn)，回顧和因果涌現(xiàn)領(lǐng)域關(guān)系密切的經(jīng)典文獻(xiàn)，比如計算力學(xué)、協(xié)同學(xué)、隱空間動力學(xué)以及涌現(xiàn)探測等等。其余話題，包括信息分解等，將在第四季讀書會更進(jìn)一步地聚焦和展開。
張江，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授，集智俱樂部、集智學(xué)園、集智科學(xué)研究中心的創(chuàng)始人，曾任騰訊研究院、華為戰(zhàn)略研究院等特聘顧問。主要研究領(lǐng)域包括復(fù)雜系統(tǒng)分析與建模、規(guī)模理論等。集智斑圖個人主頁：https://pattern.swarma.org/user/9袁冰，集智科學(xué)研究中心技術(shù)與產(chǎn)品顧問。畢業(yè)于華中科技大學(xué)，研究興趣包括因果推斷、復(fù)雜科學(xué)，以及人工智能相關(guān)領(lǐng)域。集智斑圖個人主頁：https://pattern.swarma.org/user/46173跨尺度、跨層次的涌現(xiàn)是復(fù)雜系統(tǒng)研究的關(guān)鍵問題，生命起源和意識起源這兩座仰之彌高的大山是其代表。而因果涌現(xiàn)理論、機(jī)器學(xué)習(xí)重整化技術(shù)、信息論或信息分解等近年來新興的理論與工具，有望破解復(fù)雜系統(tǒng)的涌現(xiàn)規(guī)律。而新興的因果表征學(xué)習(xí)、量子因果等領(lǐng)域也將為因果涌現(xiàn)研究注入新鮮血液。
集智俱樂部因果涌現(xiàn)讀書會目前已經(jīng)進(jìn)行了兩季。第一季讀書會系統(tǒng)地梳理了因果涌現(xiàn)的概念，以及它與Sloopy Model、復(fù)雜性閾值、自指等概念之間的聯(lián)系，也探討了因果涌現(xiàn)理論在復(fù)雜網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)中的應(yīng)用。參看：因果涌現(xiàn)讀書會啟動：連接因果、涌現(xiàn)與自指——跨尺度動力學(xué)與因果規(guī)律的探索。第二季讀書會探討了涌現(xiàn)、因果科學(xué)和機(jī)器學(xué)習(xí)三大主題的融合，包括信息論拓展、因果涌現(xiàn)理論、因果表示學(xué)習(xí)、多尺度機(jī)器學(xué)習(xí)動力學(xué)建模。參看：因果、涌現(xiàn)與機(jī)器學(xué)習(xí)：因果涌現(xiàn)讀書會第二季啟動。
此次因果涌現(xiàn)讀書會第三季，進(jìn)一步圍繞因果涌現(xiàn)的核心問題「因果涌現(xiàn)的定義」以及「因果涌現(xiàn)的辨識」進(jìn)行深入學(xué)習(xí)和討論，對 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌現(xiàn)的核心理論進(jìn)行探討和剖析，并詳細(xì)梳理其中涉及到的方法論，包括從動力學(xué)約簡、隱空間動力學(xué)學(xué)習(xí)等其他領(lǐng)域中學(xué)習(xí)和借鑒相關(guān)的研究思路，最后探討因果涌現(xiàn)的應(yīng)用，包括基于生物網(wǎng)絡(luò)、腦網(wǎng)絡(luò)或者涌現(xiàn)探測等問題展開擴(kuò)展，發(fā)掘更多的實(shí)際應(yīng)用場景。因果涌現(xiàn)讀書會第四季正在籌備中，將重點(diǎn)討論和梳理信息分解與整合信息論相關(guān)研究。
因果涌現(xiàn)社區(qū)聚集了500+成員，積累了大量論文解讀資料。歡迎感興趣的朋友報名，加入因果涌現(xiàn)社區(qū)，并解鎖對應(yīng)錄播權(quán)限。
本季讀書會詳情與報名方式請參考：
因果涌現(xiàn)讀書會第三季啟動：深入多尺度復(fù)雜系統(tǒng)核心，探索因果涌現(xiàn)理論應(yīng)用
??
