AI + Web3 公益課筆記 #1｜大型語言模型是什麼？

閱讀筆耕

1 月 30 日

IPFS

⋯⋯GPT 有一個秘密，他其實是一個失憶症患者，為了不讓別人發現他的秘密，他把和別人的對話寫在一本日記本上；每次和別人說話之前，GPT 都會先翻閱一下日記本，回顧之前的對話，然後才做回應。

2024.01.28

大家好！我使用了「節錄評論法」來寫下 AI + Web3 公益課的筆記。這是一種讓筆記充滿活力，可以「和自己對話」的整理方式。

操作方式是，摘錄「印象深刻的段落和句子」或「令人困惑的段落」，並且「用自己的話發表看法」（in my opinion, IMO），甚至更進一步「與自己的經驗產生連結」。

讓我們馬上開始吧！

▇ 開場嘉賓致詞

Web3 和 Web2 很不同的是，它是去中心化的，妥善處理了社區平台「保存、隱私、信任、價值確權、價值分配」等問題。
AU Universe 的願景是「將知識的價值回歸給創造知識的人」，在這裡發布的每一條訊息都會被你的數字分身（基於 AI 技術產生的 Avatar ）學習，並且產生價值。

▇ 課綱（講師：陳財貓）

▇ 大語言模型是什麼？

▍大語言模型是什麼？接龍機器

大語言模型（Large Language Model, LLM）可理解為一種「預測下一個詞元（token）」的統計模型
- 白話說 → LLM 是一個「接龍機器」。

▍GPT 是什麼？從個別單字理解

GPT（Generative pre-trained transformer）是一種「生成式預訓練模型」。
Pre-trained：基於海量數據上的「預訓練」。
- 白話說 → GPT 學富五車。
Generative：基於海量數據上的機率分佈「生成」新的數據。
- 白話說 → GPT 能連貫文本。
Transformer：一種深度學習模型採用的「架構」，讓模型能理解我們輸入的文本（一連串序列）。
- 白話說 → GPT 能捕捉到字裡行間行間的依賴、從屬、因果關係等。

▍ChatGPT 是什麼？

ChatGPT 是 GPT 的其中一種版本，是一種應用產品（聊天機器人介面）。

【閱讀筆耕 IMO 🙋】何謂無情

挺喜歡 LLM 是「接龍機器」這樣的類比，而且 LLM 是「無情」的。

針對課綱中的「無情」一詞，我的理解是 LLM 雖然能夠不斷預測文字，但他並不能真正理解那些文字背後所傳達的意思，所以他是不帶感情，理性地從機率分佈中生成下一個 Token。

▇ GPT 可以用來做什麼？

▍執行自然語言處理任務

生成式任務：例如寫文章、寫詩歌、寫程式碼⋯⋯。
情感分析：例如餵食大量產品評論、新聞標題等人們的數位足跡，讓 GPT 研判並預測大環境的下一步。
文本校正
文本摘要
聊天：角色設定可以是朋友、情人、專家⋯⋯甚至是神明（AI 佛祖、AI 耶穌）。

▍選單（menu）翻譯產品

▍智能增強

調用 GPT 學富五車的知識來服務目標群眾。
窮盡一生，沒有任何一個人可以讀完這些來自於人類歷史上的精華——但是 GPT 卻可以，畢竟「預訓練」的數據量極大。

【閱讀筆耕 IMO 🙋】AI 讓心智腳踏車進化

人類非常擅長製造工具，工具是人類肢體和感官的延伸，例如腳踏車增加了人類（的雙足）移動的效率。

賈伯斯曾在一場專訪中說道：「對我來說，電腦是人類歷來發明的最重要工具，從此讓我們的心智騎上腳踏車。」

而當這台電腦還嵌上 AI 功能時，這台車進化了，甚至不用我們親自去踩踏，也能夠引領我們來到更遠的地方。

▍工作外包

複雜的問題簡單化，簡單的問題流程化。

Nevertheless, there is merit to the claim that much problem solving effort is directed at structuring problems, and only a fraction of it at solving problems once they are structured.
——Herbert A. Simon
⠀
大部分的問題解決努力，都集中在為問題構建結構上，而對於已經結構化的問題，實際解決它們只佔了一小部分努力。
——赫伯特・西蒙

一但我們能把某些工作的具體場景「抽象化」成最核心的底層邏輯，那麼就有了可以外包（給別人做、給 AI 做）出去的本錢。

例如，把「設計提示（prompt）」這件事情，拆解為五個最根本的元素，而且它們之間具有可以畫出流程圖的關係，分發給 AI 來打理。

【閱讀筆耕 IMO 🙋】外包前，先把「系統」剝到最乾淨

我聯想到《普通人的財富自由之道》裡提過工作外包的先決條件，稱之為「系統的植入」。不管你有沒有想要外包某一份工作，都先把系統給架設好：

寫下你在一週內做的所有事情。
將工作分為清單一（重複執行的工作）與清單二（一次性任務），然後丟掉清單二。
重新排列清單一，從最耗時到最不耗時。逐條找出你想要為其建立系統的任務。
寫出你是怎麼完成該任務的步驟動線。然後，確認流程，看看是否能找到任何不必要的步驟，先刪除所有不必要的步驟，然後才做優化，直到擁有你所能建立的最精簡和最高效的流程。
在你進行這段流程時創作一段「說明書」⋯⋯逐步累積起一套培訓內容。

這麽做的好處是，未來如果要招募夥伴，你會知道哪些事情可以外包？哪種人才是最優先的？而哪些事情是非我不可，沒有其他人可以接手？對接時，新成員就可以依循先前建置好的「說明書」很快地進入狀況。

同時，這些「說明書」也可以成為一再重複利用的模板，不斷迭代這套 SOP。

▍湧現能力（Emergent Abilities）

在模型變大到一定程度時，出現了一些新的特性、能力或行為。例如思維鏈（Chain-of-Thought）多步推理能力。
- 白話說 → 是「從量變到質變」，是「整體大於部分的總和」。

【閱讀筆耕 IMO 🙋】知識的點、線、面串起「湧現」

我覺得用「知識點線面」來理解何謂湧現能力，是很不錯的。

當餵食給模型的知識點少少的時候，這些知識點彼此是「孤島」，還沒有辦法產生交互作用。就像是一幅「只有Ａ、Ｂ兩個節點的地圖」一樣，能做的事情很有限。

但是當知識點的數量多到一定程度時，這些知識點已經形成了一個「體系」，這時候模型已經具備舉一反三的能力。想像是一幅「記載著密密麻麻交通節點、路線的地圖」，你只是問他從Ａ點到Ｂ點應該怎麼走，他可以給你不止一種解答，還為你比較多種方案的成本效益分析。

知識的點、線、面串起神經網路，交織成一個體系帶來 1+1 >2 化學效應，就是湧現。

▇ GPT 的不足與缺陷

GPT 有一個秘密，他其實是一個失憶症患者，為了不讓別人發現他的秘密，他把和別人的對話寫在一本日記本上；每次和別人說話之前，GPT 都會先翻閱一下日記本，回顧之前的對話，然後才做回應。

▍有限的上下文窗口（Context Window）

GPT 會「忘記」聊天中太早的內容
- 知識點 → 因為「日記本」的容量是有限的。
不相關的話題最好在不同對話裡聊
- 知識點 → GPT 是會一次讀入所有對話內容，再做出反應的。
- 知識點 → 所以 GPT 仍然會考量早期的訊息（只要還被「日記本」所涵蓋到），如果新、舊訊息彼此不相關的話，會變成一種雜訊，一種干擾。
我們無法「訓練」GPT
- 知識點 → 訓練是一種特定過程，涉及模型參數調整，只有 OpenAI 能執行。
- 知識點 → 我們覺得 GPT 愈來愈聰明，其實是因為他的「日記本」冊數更多、內容更豐富、讓他對背景訊息的掌握度更高的關係。

【閱讀筆耕 IMO 🙋】關閉訓練，保護隱私

點擊 GPT 聊天界面左下角頭像，進入「設定 ▷ 數據控制 ▷ 聊天歷史與訓練」選單，預設是開啟的。我們可以關閉這個功能，讓 GPT 不再紀錄聊天訊息，不允許 OpenAI 以我們的對話來訓練模型，這麼做更能保護隱私。