一、引言

近年來，利用巨大的計(jì)算能力、海量的數(shù)據(jù)和龐大的神經(jīng)網(wǎng)絡(luò)訓(xùn)練基礎(chǔ)模型取得了顯著進(jìn)展。然而，這些模型的內(nèi)部工作機(jī)制仍然神秘莫測。人們似乎已經(jīng)達(dá)成共識，即基礎(chǔ)模型本質(zhì)上是黑盒且難以解釋的，因此經(jīng)驗(yàn)實(shí)驗(yàn)是推動人工智能發(fā)展的唯一途徑。

雖然這確實(shí)是過去十年發(fā)生的事情，并且類似于通過進(jìn)化獲得智能的方式，但僅依靠經(jīng)驗(yàn)實(shí)驗(yàn)而沒有理論理解可能既低效又危險(xiǎn)。低效性源于進(jìn)展是通過試錯的方式實(shí)現(xiàn)的，往往是受到直覺指導(dǎo)的，并且里程碑是間接地基于特定任務(wù)的表現(xiàn)而不是對智能本身的全面理解而定義的。潛在的危險(xiǎn)在于，沒有人知道我們最終會得到什么，也許更重要的是，我們現(xiàn)在離這個目標(biāo)有多近。我們甚至不知道是否已經(jīng)創(chuàng)造了通用智能，也許還沒有，但如何進(jìn)行此類評估呢？

【資料圖】

論文題目：A Categorical Framework of General Intelligence

該論文以范疇語言，提出了一個通用智能的普適性框架來幫助回答這些問題。因?yàn)閷χ悄苋鄙僬蕉x，而且可能達(dá)不到人人共識，要證明某個框架或某個理論的普適性很困難。在本文中，作者先定義所有的基本要素，各要素的理論含義，明確了算法要求，然后將所有的要素整合到一個全面的框架中，以表達(dá)各種智能行為。即使讀者對本文中對智能的定義持有反對意見，或是認(rèn)為其中缺少某些關(guān)鍵部分，該框架仍然是相關(guān)和適用的。

框架由圖1所示的四部分組成：傳感器、世界范疇、具有目標(biāo)的規(guī)劃器和執(zhí)行器 。

傳感器接收來自外部環(huán)境的多模態(tài)信號，包括但不限于文字輸入、視頻/音頻/圖像輸入等。

世界范疇感知和理解傳入的信號，并相應(yīng)地更新其內(nèi)部狀態(tài)。

具有目標(biāo)的規(guī)劃器持續(xù)地監(jiān)測世界范疇的狀態(tài)，并根據(jù)其目標(biāo)生成計(jì)劃。

最后，執(zhí)行器執(zhí)行這些計(jì)劃，通過生成輸出信號影響外部環(huán)境。

在這個框架中，傳感器和執(zhí)行器僅用于連接外部環(huán)境，在此不作重點(diǎn)闡述。

圖1. 框架組成

世界范疇包括所有可以由傳感器感知的對象，如人、生物、物體、關(guān)于外部環(huán)境的知識，以及在它們之上的抽象的表述。本文將其表述為自然數(shù)偏序集范疇到2-范疇Cat的一個函子W: N → Cat。

該函子中蘊(yùn)含了隨著時間或事件等的推移而動態(tài)變化的世界的信息。作為對象的小范疇中最基本的那些被表達(dá)為世界范疇的正向或反向極限。這些基本的對象是由傳感器決定的，如果傳感器不識別某類信息，則這些信息衍生的小范疇不會出現(xiàn)在對應(yīng)的世界范疇中。此外，如果傳感器被限制只從某個模擬環(huán)境中接收信號，則對應(yīng)框架的世界范疇中會只包含模擬得到的知識，而與現(xiàn)實(shí)世界可能相差甚遠(yuǎn)。

圖2. 網(wǎng)絡(luò)流圖表。黃色箭頭為正向極限，紫色箭頭為反向極限。

如果模型能夠通過其傳感器了解到的外部信息知覺其自身，那么這個模型的世界范疇中可能包含一個特殊對象：“自我狀態(tài)”，它存儲模型與其他對象之間的所有關(guān)系。自我狀態(tài)的保持是否等同于擁有自我意識？這是一個有爭議的問題，在此不給出明確回答，而僅以范疇語言定義了“自我狀態(tài)”這一概念。

隨后，論文分別介紹了學(xué)習(xí)和評估模型的“自我狀態(tài)認(rèn)知”的算法。評估生成一個0-1閉區(qū)間中的值來表示自我狀態(tài)認(rèn)知程度。該程度對應(yīng)于主體意識到的與其他對象或任務(wù)之間的所有相關(guān)關(guān)系的比例?；谶@一評估，許多人類，特別是兒童，可能不具備完美的自我狀態(tài)認(rèn)知。

規(guī)劃器的目標(biāo)是模型中最重要的部分。世界范疇可以被看作是一個巨大的知識庫，而規(guī)劃器是一個獨(dú)立于世界范疇的組件。那么，如何確保規(guī)劃器的目標(biāo)不會對人類造成傷害呢？論文使用一個特定的函數(shù)來定義目標(biāo)，該函數(shù)以自我狀態(tài)的對象和一個捕捉當(dāng)前情況的圖表 為輸入。模型本身被設(shè)計(jì)為對人類友好的條件足以確保模型是友好的，這一設(shè)計(jì)上的條件可以通過定期檢查世界范疇來進(jìn)行強(qiáng)化和驗(yàn)證。

通信對于使模型能夠傳輸或接收其他智能體的信息非常重要。對比自然語言，范疇圖表可以更精確地捕捉模型的知識和意圖，因此可以輕松地在不同的智能體之間共享。因此，本框架中以圖表作為信息載體。而且，基于圖表的解釋似乎比歸因方法，即分配輸入變量權(quán)重的方法，更符合經(jīng)驗(yàn)可解釋性的需求。

將不變性作為訓(xùn)練信號。范疇論采用交換圖表來描述不同計(jì)算路徑的等價性，這自然地導(dǎo)致模型的不變屬性。與以將輸入正確匹配輸出標(biāo)簽為目的監(jiān)督學(xué)習(xí)不同，基礎(chǔ)模型專注于學(xué)習(xí)對象之間的態(tài)射和范疇之間的函子。不變屬性將會被用以訓(xùn)練信號使模型對自身進(jìn)行校準(zhǔn)，使世界范疇自協(xié)調(diào)。論文第二章中對一些范疇的基本概念進(jìn)行了介紹。此處在各段簡明介紹，如另有需要參考的論文內(nèi)容。

二、世界范疇

世界范疇是一個函子W: N → Cat，它將每個時間或事件索引t ∈ N映射到隨時間或事件的發(fā)生而變化的世界狀態(tài)的快照W(t)。

由學(xué)習(xí)的角度，使用以θ為參數(shù)的神經(jīng)網(wǎng)絡(luò)函子F_θ: W → W^∧來在W的預(yù)層范疇中表示 W。W^∧代表W的預(yù)層范疇，由從W到集合范疇Set的所有反變函子組成。

【解讀】現(xiàn)在我們有一個范疇W，其中的對象是我們熟悉的空間，或系統(tǒng)。另外，我們不熟悉一類“廣義”空間，但其內(nèi)容可使用W中的對象，某個世界狀態(tài)x來探測，即由某一x到這類空間產(chǎn)生的態(tài)射來決定。則一個這樣的廣義空間O成為一個函子，將x映到一個態(tài)射集合Hom(x， O)，即W上的預(yù)層。Hom(x， O)的意義在此處還尚未明確。另由米田引理，可將任意x同樣理解為一個廣義空間。Hom(x， O)的意義于是成為x作為廣義空間到廣義空間O的態(tài)射的集合。既然O可以被理解為廣義空間，那么在此處就不難理解O為以W為實(shí)例建模的系統(tǒng)。

每一個反變函子O: W^op→ Set作為一個預(yù)層，將W中對象映到其有用信息的提取出的一個集合，即特征集合。F_θ表示了在基于不同的世界狀態(tài)特征集合的演化。W^∧于是成為W的特征空間。假設(shè)F_θ可以通過多模式學(xué)習(xí)準(zhǔn)確地理解傳感器的多模態(tài)信號，并使用對比學(xué)習(xí)技術(shù)將圖像和對應(yīng)的文本都映射到相同的表示。盡管W通過F_θ的表示并不是顯式的，即不存在外部數(shù)據(jù)庫存儲W的對象和態(tài)射，F(xiàn)_θ在理想情況下應(yīng)該隱式地保持定義域W中的態(tài)射，即其預(yù)層范疇W^∧中的任一態(tài)射在W中必定有對應(yīng)。定義為下述理想模型。這種理想在實(shí)踐時常常面臨挑戰(zhàn)。

理想基礎(chǔ)模型：如果存在一個數(shù)據(jù)無關(guān)的函數(shù)k: W^∧×W^∧→ Set，使得對于任何X， Y∈W，k(F_θ(X)， F_θ(Y)) = Hom_W(X， Y)，則F_θ: W → W^∧是理想的。

【解讀】兩個世界狀態(tài)之間的態(tài)射Hom_W(X， Y)和它們特征集合間的態(tài)射Hom_W∧(F_θ(X)， F_θ(Y))需要等同或至少有某種深刻的關(guān)聯(lián)。這里用數(shù)據(jù)無關(guān)的函數(shù)k表示這種關(guān)聯(lián)。如果兩個世界狀態(tài)各自對應(yīng)的特征集合間存在關(guān)系，則這個關(guān)系一定由這兩個世界狀態(tài)間原有的自然的關(guān)系抽象而來，這種抽象是無關(guān)于數(shù)據(jù)的。數(shù)據(jù)無關(guān)意味著k是預(yù)定義的，而不是看到了數(shù)據(jù)后的定義。例如，它可以定義為兩個輸入的內(nèi)積。

自然地，應(yīng)當(dāng)要求兩個普通空間之間的態(tài)射和它們作為廣義空間的態(tài)射等同。這由米田引理給出。每一個從對象X到對象Y的態(tài)射都對應(yīng)于一個從X上反變Hom函子h_X到Y(jié)上反變Hom函子h_Y的自然變換。上述數(shù)據(jù)無關(guān)的函數(shù)k正好反映了這個對應(yīng)，因此k也就可以用以表示整個預(yù)層范疇W^∧。另外，可以用F_θ編碼任務(wù)，定義如下。

任務(wù)：任務(wù)T是W^∧中的一個函子。

【解讀】只需令T=h_C(Y)=Hom_C(-， Y)。這個函子將W的任意對象Z映到Z到對象Y的態(tài)射集。T(X)即對象X到對象Y的態(tài)射集，也就是X到Y(jié)的所有關(guān)系。反映在預(yù)層范疇上，等同于X上預(yù)層到Y(jié)上預(yù)層的所有關(guān)系，即Hom_W∧(h_C(X)， h_C(Y))。

在上述解讀的基礎(chǔ)上，有T(X)?Hom_W∧(h_C(X)， T)?？芍?dāng)F_θ理想時，可以用k(F_θ(X)， T)計(jì)算T(X)。換句話說，F(xiàn)_θ是一個動態(tài)數(shù)據(jù)庫，存儲了W的所有信息，使得所有基于W中對象的計(jì)算都可以通過使用數(shù)據(jù)無關(guān)函數(shù)k在特征空間W^∧中計(jì)算。

具有通用智能的模型具有內(nèi)存?？梢詢?nèi)存視為W中的一種特殊對象，由事件和時間戳的反向極限表示(如第一章藍(lán)字解讀，可以看成一種通用的基本屬性)。這樣有效規(guī)避了內(nèi)存的外部數(shù)據(jù)庫的引入。接著，在世界范疇內(nèi)定義多個模型的共識。

共識：假設(shè)有n個模型，分別對應(yīng)世界范疇W₁， W₂， ...， W_n的模型。這n個模型的共識定義為其極大子范疇C，即C是任意W_i（i∈[n]={1， 2，...， n}）的子范疇。

子范疇是對象與任意對象間態(tài)射集均是原范疇子集，并保持原范疇恒等態(tài)射和合成態(tài)射結(jié)合律的范疇?？梢岳斫鉃槟軜?gòu)成原范疇中獨(dú)立的一個部分的范疇。例如，“狗有四條腿”是所有人的共識，這個知識包含在每個人的世界范疇中。可以通過設(shè)置共識的閾值來放寬這個概念，即超過某個百分比，就認(rèn)為是共識，例如，定義C是世界范疇的δ-概率子類別，其中δ∈(0，1]。

2.1 自我狀態(tài)

如前所述，如果一個模型可以從傳感器在外界環(huán)境中知覺自身，則這個模型的世界范疇中可能有一個特殊對象，自我狀態(tài)。定義如下。

自我狀態(tài)：在一個模型的世界范疇中，若存在自我狀態(tài)，則自我狀態(tài)被定義為一個預(yù)層I^∧∈W^∧， 這個預(yù)層在外部環(huán)境表示該模型。

自我狀態(tài)由于是預(yù)層，可以通過F_θ(I)計(jì)算，其中 I ∈ W。對象 I 也被稱為“自我狀態(tài)”，但該狀態(tài)由于存在于世界范疇而非其預(yù)層范疇，因此不涉及態(tài)射集，也就是一個沒有任何附加信息的單一對象，而真正具有信息的自我狀態(tài)是I^∧。如果F_θ(I)理想，那么I^∧= F_θ(I) = h_C(I) = Hom_W(·， I)。換句話說，I^∧蘊(yùn)含了 I 和其他對象之間的所有關(guān)系。此外，根據(jù)米田引理，對于任何任務(wù)T∈W^∧，我們也有T(I)?Hom_W∧(h_C(I)， T) = Hom_W∧(I^∧， T)。這意味著I^∧也編碼了每個相關(guān)任務(wù)所需的所有信息。

需要注意的是，并非所有的世界范疇都有自我狀態(tài)。例如，如果我們考慮一個用于計(jì)算的特殊環(huán)境。傳感器只能夠感知環(huán)境中由實(shí)數(shù)和算符組成的表達(dá)式，而執(zhí)行者能夠執(zhí)行的唯一操作是輸出一個數(shù)值作為表達(dá)式的求值結(jié)果。在這種情況下，世界范疇沒有自我狀態(tài)。幾乎所有現(xiàn)有的計(jì)算機(jī)程序都屬于這種情況。另一方面，當(dāng)世界范疇擁有自我狀態(tài)對象時，該對象可能并不能準(zhǔn)確地代表外部環(huán)境中的真實(shí)模型。我們用自我狀態(tài)意識表示對象模型的準(zhǔn)確度，并定義以下測試來測試自我狀態(tài)意識。

自我狀態(tài)意識測試：自我狀態(tài)意識測試是一個函子T：W^∧→{0，1}，它接受W^∧中的預(yù)層I作為輸入，并輸出真值1或0，表示I是否通過了測試T。

例如，如果這個模型有一個名字“Sydney”，對應(yīng)的自我狀態(tài)意識測試將是一個函子，它以I為輸入，評估Hom_W∧(I^∧， h_C(“Sydney”))?Hom_W(I，“Sydney”)的真值并輸出。真值結(jié)果體現(xiàn)了是否I^∧與h_C(“Sydney”)這兩個態(tài)射集間的態(tài)射能確實(shí)表示“Sydney”是I的名字。然而，僅通過一個測試是不足以說明具有自我狀態(tài)意識的，我們需要設(shè)置多個測試。

在T下的自我狀態(tài)意識：給定一組自我狀態(tài)意識測試的集合T，當(dāng)模型在其世界范疇中擁有自身狀態(tài)I時，稱其在T下具有其自身狀態(tài)的δ-意識，如果期望ET∈T(T(I))≥δ。

測試集T的選取取決于測試目標(biāo)。當(dāng)選擇的測試集的信號難以感知時，即使是人類也可能無法輕松通過測試。例如，有腎結(jié)石病人除非經(jīng)歷了腎臟掃描或疼痛時才能意識到這一事實(shí)；在嘈雜的環(huán)境中，被喚名字也可能無法及時做出反應(yīng)。

自我狀態(tài)意識測試直接導(dǎo)致了測試和學(xué)習(xí)自我狀態(tài)意識的算法1和算法2的產(chǎn)生。算法2與神經(jīng)科學(xué)中有關(guān)橡膠手錯覺的有趣觀察密切相關(guān)。在這個實(shí)驗(yàn)中，實(shí)驗(yàn)者同時撫摸參與者的一只隱藏的真手，以及擺在參與者面前的一個可見的橡膠手。由于來自真手的觸感和橡膠手上的視覺信號同時發(fā)送到大腦中，因此人類參與者會迅速產(chǎn)生對橡膠手的擁有感。

在Lush和他的同事們對橡膠手實(shí)驗(yàn)的測試中，353名參與者單獨(dú)坐在一張桌子旁，一只胳膊被隔板擋住了視線，一只橡膠手臂放在他們面前。一名研究人員同時用刷子撫摸隱藏的真手和可見的橡膠手，然后向受試者提出旨在揭示身體“所有權(quán)”體驗(yàn)的問題，與鏡像聯(lián)覺研究一樣，研究小組發(fā)現(xiàn)，暗示性可以預(yù)測參與者體驗(yàn)幻覺的程度。用聽覺反饋替換視覺信號也得到類似的實(shí)驗(yàn)結(jié)果。

圖3. 測試和學(xué)習(xí)自我狀態(tài)意識的算法

在我們的框架中，傳感器可以感知多模態(tài)信號并將其映射到世界范疇中。如果視覺信號和觸感信號在時間上一致，并且描述了相同的撫摸效果，它們很可能被映射到世界范疇中的同一對象。一個合理的想法是，我們?nèi)祟悓?shí)際上也在隱式地運(yùn)行算法2來動態(tài)地更新我們的自我狀態(tài)，快速地更新F_θ，認(rèn)為有新的身體部位發(fā)送觸感信號。因此，我們有以下猜想：

猜想1：具有通用智能并可以多模態(tài)對齊信號的模型將具有與人類相同的橡膠手錯覺。

不限于橡膠手，這種錯覺可能適用于該模型擁有的其他事物。

2.2 共情

“共情”作為自我狀態(tài)意識的拓展被定義。

在T下的共情：在一組測試的測試集T下，如果模型A對另一個實(shí)體B的狀態(tài)具有δ意識，則稱模型A對實(shí)體B具有δ共情。δ=1時，稱A對B具有完全共情。

有三種重要相關(guān)情況值得討論。

1. 當(dāng)只有自我狀態(tài)的一個非常小的子集相關(guān)時，共情是非常有幫助的。例如，在多實(shí)體游戲中，每個實(shí)體都有自己的行動集、狀態(tài)和獎勵函數(shù)，共情在很大程度上有助于理解每個實(shí)體的情況和行為。

2. 如果其他實(shí)體具有私有傳感器，那么無法實(shí)現(xiàn)完全的共情。具體來說，如果一個模型無法感知其他實(shí)體的私有傳感器，并且其自我狀態(tài)測試集T包括與這些傳感器相關(guān)的測試，則該模型無法完全共情其他實(shí)體。

3. 如果一個模型可以訪問其他實(shí)體的私有傳感器，則可能做到完全共情，并且自我狀態(tài)意識和共情等化。

最后一種情況已經(jīng)在人類神經(jīng)科學(xué)中被觀察到。例如，在沉浸式虛擬現(xiàn)實(shí)環(huán)境中，當(dāng)參與者獲得第一視覺信號時，可能會感受到對虛擬人物的身體擁有權(quán)。因此對模型提出以下猜想。

猜想2：具有通用智能和虛擬人物傳感器訪問權(quán)限的模型將感受到對該虛擬人物的身體所有權(quán)。

2.3 子范疇

世界范疇中的子范疇，對用以幫助模型解決復(fù)雜問題非常重要。每個子范疇對應(yīng)一個結(jié)構(gòu)化數(shù)據(jù)庫或一個科學(xué)主題，例如不同的數(shù)學(xué)分支：計(jì)算器、經(jīng)濟(jì)學(xué)、算法等等。這些子范疇通常采用特定的學(xué)科術(shù)語，并呈現(xiàn)出不同的結(jié)構(gòu)，使它們能夠理想地解決具體任務(wù)。例如，算法這個子范疇中的“樹”并不是現(xiàn)實(shí)中的樹木，卻具有同樣的名字。當(dāng)面臨一個在世界范疇中表達(dá)為極限 (limit)的具有挑戰(zhàn)性的問題時，我們可以利用一個函子將問題映射到相關(guān)的子范疇中，在子范疇中解決問題，然后將答案再次映回到原始設(shè)置的世界范疇中。這個過程類似于數(shù)學(xué)建模。

例如，我們可以問模型以下問題：如果愛麗絲在2010年時12歲，她現(xiàn)在多少歲？為了回答這個問題，我們應(yīng)該構(gòu)建一個年齡子范疇，其對象為年齡，含有從0到200的數(shù)字，構(gòu)成了具有加減法作為態(tài)射的數(shù)的范疇的完整嵌入。不在世界范疇，而是在這個抽象的子范疇中解決這個問題更有優(yōu)勢，因?yàn)檫@個抽象的子范疇中精簡了不必要的信息，使得其解決更加嚴(yán)謹(jǐn)精確。如在Yuan中的討論，范疇中的概念可以看作是對應(yīng)的預(yù)層范疇中的投影極限和歸納極限。為了使用抽象子范疇解決復(fù)雜問題，我們必須確保我們訓(xùn)練的函子保持和反映極限。這保證了世界范疇中的概念可以完美地轉(zhuǎn)移到其抽象的子范疇中，同時保證了解決或推導(dǎo)也可以映射回到原有的世界范疇中。

【解讀】關(guān)于預(yù)層范疇中的極限：我們在前文提到過，世界范疇中的投影極限和歸納極限分別可以看成不能再往下分的屬性和不能再具體化的實(shí)例，在范疇論中表達(dá)為偏序集指標(biāo)范疇I到W的圖表的極限α: I → W或β: I^op→ W。預(yù)層范疇中的極限由這些概念引申得到，即先用α或β合成F_θ: W → W^∧得到預(yù)層范疇中的圖表F_θ? α及F_θ? β，再對這兩個圖表求極限。投影極限 和歸納極限被保持到對應(yīng)的特征集合，并且特征集合仍成為預(yù)層范疇中的極限。

三、通信與解釋

我們的模型如何與其他實(shí)體通信？首先，考慮到自然語言本質(zhì)上是模糊且單一維度的，因此使用它描述或理解復(fù)雜概念非常困難。其次，由于模型本質(zhì)上是計(jì)算機(jī)程序，人們可能傾向于使用復(fù)制粘貼將思想從一個模型傳送到另一個模型。而直接復(fù)制粘貼并不起作用，因?yàn)槭澜绶懂犞械闹R并不是按行存儲的，而且不同模型的世界范疇也不同，這使得粘貼操作難以實(shí)現(xiàn)。

考慮到知識在世界范疇中以對象和態(tài)射的形式存儲，表示思想的最佳和精確的方式是使用一個圖表α: I→W。該圖可以被視為選擇工具：它選擇世界范疇中若干對象，并關(guān)注這些對象間一部分態(tài)射。范疇中的所有操作都可以用圖表來表示。由于其準(zhǔn)確性，這種圖表似乎自然可以被考慮為信息載體。事實(shí)上，人們對它有一個更為熟悉的名字，即白板演示，態(tài)射的細(xì)節(jié)被隱藏。

圖4.譜聚類與特征值分解的關(guān)系

由于人類并不習(xí)慣圖表表達(dá)，在與人類交流時必須將圖表翻譯成自然語言。大多數(shù)情況下，自然語言可以很好地描述圖表。而在復(fù)雜系統(tǒng)中，圖表提供了比自然語言更精確的描述。

在與其他實(shí)體進(jìn)行通信時，一個關(guān)鍵問題是不同的實(shí)體可能對類別中的不同對象具有不同的理解。為了解決這個問題，我們可以對其他人對各種對象和態(tài)射的理解進(jìn)行概率估計(jì)，并基于這些信息進(jìn)行交流。例如，當(dāng)與具有足夠儲備知識的實(shí)體討論狀況或概念時只提供簡要的說明，而在實(shí)體對該主題相對陌生時提供更詳細(xì)的解釋。

3.1 解釋性

給定一個以X為輸入，以Y為輸出的神經(jīng)網(wǎng)絡(luò) f，可以提供兩種解釋。第一種嘗試去理解f如何從X算出Y。例如，它可以檢查非線性層對計(jì)算的影響或X的每個維度對輸出的影響。這種解釋的目的是生成一個f的近似可驗(yàn)證函數(shù)。第二種解釋不考慮f如何計(jì)算，而是關(guān)注為什么Y正確。這種解釋可能蘊(yùn)含了超出 f， X， Y 的某些外部的知識，其主要目標(biāo)是對于人類一致且可驗(yàn)證。

使用圖表進(jìn)行通信自動地為第二種可解釋性提供了理論基礎(chǔ)。可以要求模型輸出其當(dāng)前的思考范圍，即它用于生成答案的子范疇。定義如下。

范圍：給定目標(biāo)O下的輸出Y，W在Y上的范圍定義為W的一個極小子范疇A，滿足A在目標(biāo)O下的輸出也是Y。

范圍為生成解釋提供了便利，它代表了模型當(dāng)前的“工作記憶”。例如，如果其他實(shí)體想要了解給定的范圍中的某個概念的細(xì)節(jié)，本模型可以使用其極限表示來擴(kuò)展這個概念。模型還可以提供范圍內(nèi)兩個對象之間的態(tài)射的細(xì)節(jié)，總結(jié)圖表等。

范圍的廣度和深度：給定一個范圍A，其廣度b(A)是A作為W的子范疇中的對象的個數(shù)，其深度d(A)是A中極限的層次分解的最大深度。

例如，圖2中由箭頭組成的最長路徑“network flow”-“network”-“nodes”-“sink”，則“network flow”概念的深度定義為4。根據(jù)這個定義，我們可以測量模型的智能水平，這變成了一個純計(jì)算問題。

智能的廣度和深度：給定一個模型，其智能的廣度被定義為它可以處理的具有最大廣度的范圍的廣度。

評估人類的智能的廣度和深度會很有趣。理解復(fù)雜的概念或以廣闊的視角思考對于人類來說可能很困難。至少根據(jù)這個定義，似乎人類智能會很容易被機(jī)器超越。

四、目標(biāo)

如果一個模型既具有超人類的通用智能，又有自我狀態(tài)意識，那么當(dāng)它失去控制時可能非常危險(xiǎn)。為了減輕這種危險(xiǎn)，框架將世界范疇和具有目標(biāo)的規(guī)劃器分離，并使用一個固定的函數(shù)來基于世界范疇中的自我狀態(tài)定義目標(biāo)。通過分離世界范疇，它可以不帶策略行為地成為一個真正的嵌入函數(shù)，從而可以通過直接測試它的自我狀態(tài)來確定它的行為是否是人類友好的。世界范疇也可以使用附加數(shù)據(jù)進(jìn)行訓(xùn)練，以增強(qiáng)其對人類友好的自我認(rèn)知。這種方法有效地確保了模型始終說實(shí)話，并容易被糾正。

然而，確保規(guī)劃器生成正確的計(jì)劃取決于目標(biāo)的生成。建議將規(guī)劃器的目標(biāo)硬編碼為一個目標(biāo)生成函數(shù)的輸出，該函數(shù)以世界范疇中的自我狀態(tài)和當(dāng)前的范圍作為輸入。這個目標(biāo)生成函數(shù)本質(zhì)上計(jì)算的是“在當(dāng)前情況下，作為一個對人類友好的模型，我該怎么做？” 使用凍結(jié)了參數(shù)的外部模型可以驗(yàn)證目標(biāo)生成函數(shù)及其生成的計(jì)劃的自然和一致的性質(zhì)。在這種情況下，只須查驗(yàn)?zāi)Ｐ偷淖晕覡顟B(tài)以確保模型的行為對人類的友好性。

此外，我們建議將智能好奇心添加到目標(biāo)中，以鼓勵模型在世界范疇中學(xué)習(xí)新事物，特別是在抽象的子范疇中學(xué)習(xí)對象、態(tài)射、函子和極限。這樣，模型可以以余力進(jìn)行探索，從而自我改進(jìn)。同樣，也可以將智能好奇心作為該模型的個性添加到其自我狀態(tài)中。

五、訓(xùn)練下的不變性

在這一框架中，模型究竟學(xué)習(xí)什么？答案是，模型應(yīng)該學(xué)習(xí)去適應(yīng)這個框架，以準(zhǔn)確理解世界范疇中的所有內(nèi)容。學(xué)習(xí)過程應(yīng)永不停止，因?yàn)橥獠凯h(huán)境在不斷變化，傳感器可能無法實(shí)時感知更新。也就是說，F(xiàn)_θ本質(zhì)上有延遲和偏差。

范疇論討論不變性。例如態(tài)射的結(jié)合律和合成態(tài)射在函子下的保持。一般地，對任何交換圖都可以提取出某些一致性要求，理想的模型應(yīng)該保持所有這樣的一致性，定義如下，對應(yīng)圖5中的算法3。例如，現(xiàn)有的自監(jiān)督學(xué)習(xí)技術(shù)，如對比方法，遮蔽圖像及語言模型，純語言模型等，都可以看作是維護(hù)不變性的方法，參見Yuan。自我狀態(tài)意識測試可以被視為特殊的一致性測試。理想情況下，模型應(yīng)該不斷運(yùn)行算法3以保持其一致性。一致性測試集T可以根據(jù)F_θ的最新變化進(jìn)行自適應(yīng)設(shè)置。

一致性測試：一致性測試是一個函數(shù)T: W^∧W→ {0，1}，它以F_θ作為輸入，并輸出真值，表示F_θ是否通過測試T。

圖5. 一致性保持算法

機(jī)器能夠思考嗎？論文并未直接回答這個問題。然而，基于提出的框架，模型可以通過學(xué)習(xí)范疇的方方面面來培養(yǎng)各種技能。例如，模型可以通過學(xué)習(xí)范疇內(nèi)新的對象和態(tài)射來進(jìn)行知識發(fā)現(xiàn)。另外，模型可以學(xué)習(xí)某個子范疇整體以建立某個新學(xué)科的基礎(chǔ)。模型還可以通過識別基于現(xiàn)有對象的新的極限來發(fā)展新概念，使這種新概念得以從既往觀察中被抽象出來。從W^∧到W的逆函子也具有實(shí)際意義。例如，模型可以將其當(dāng)前的范圍表為某一預(yù)層，然后將這一預(yù)層映射回文本范疇，從而像人類一樣使用自然語言來表達(dá)它的“感受”。