此为历史版本和 IPFS 入口查阅区,回到作品页
閱讀筆耕
IPFS 指纹 这是什么

作品指纹

AI + Web3 公益課筆記 #1|大型語言模型是什麼?

閱讀筆耕
·
·
⋯⋯GPT 有一個秘密,他其實是一個失憶症患者,為了不讓別人發現他的秘密,他把和別人的對話寫在一本日記本上;每次和別人說話之前,GPT 都會先翻閱一下日記本,回顧之前的對話,然後才做回應。

2024.01.28

大家好!我使用了「節錄評論法」來寫下 AI + Web3 公益課 的筆記。這是一種讓筆記充滿活力,可以「和自己對話」的整理方式。

操作方式是,摘錄「印象深刻的段落和句子」或「令人困惑的段落」,並且「用自己的話發表看法」(in my opinion, IMO),甚至更進一步「與自己的經驗產生連結」。

讓我們馬上開始吧!

AI + Web3 公益課

▇  開場嘉賓致詞

  • Web3 和 Web2 很不同的是,它是去中心化的,妥善處理了社區平台「保存、隱私、信任、價值確權、價值分配」等問題。

  • AU Universe 的願景是「將知識的價值回歸給創造知識的人」,在這裡發布的每一條訊息都會被你的數字分身(基於 AI 技術產生的 Avatar )學習,並且產生價值。


▇  課綱(講師:陳財貓)

課綱

▇  大語言模型是什麼?

大語言模型是什麼?接龍機器

  • 大語言模型(Large Language Model, LLM)可理解為一種「預測下一個詞元(token)」的統計模型

    • 白話說 → LLM 是一個「接龍機器」
       

GPT 是什麼?從個別單字理解

  • GPT(Generative pre-trained transformer)是一種「生成式預訓練模型」。

  • Pre-trained:基於海量數據上的「預訓練」。

    • 白話說 → GPT 學富五車。

  • Generative:基於海量數據上的機率分佈「生成」新的數據。

    • 白話說 → GPT 能連貫文本。

  • Transformer:一種深度學習模型採用的「架構」,讓模型能理解我們輸入的文本( 一連串序列)。

    • 白話說 → GPT 能捕捉到字裡行間行間的依賴、從屬、因果關係等。
       

▍ChatGPT 是什麼?

  • ChatGPT 是 GPT 的其中一種版本,是一種應用產品(聊天機器人介面)。

【閱讀筆耕 IMO 🙋】何謂無情

挺喜歡 LLM 是「接龍機器」這樣的類比,而且 LLM 是「無情」的。

針對課綱中的「無情」一詞,我的理解是 LLM 雖然能夠不斷預測文字,但他並不能真正理解那些文字背後所傳達的意思,所以他是不帶感情,理性地從機率分佈中生成下一個 Token。


▇  GPT 可以用來做什麼?

▍執行自然語言處理任務

  • 生成式任務:例如寫文章、寫詩歌、寫程式碼⋯⋯。

  • 情感分析:例如餵食大量產品評論、新聞標題等人們的數位足跡,讓 GPT 研判並預測大環境的下一步。

  • 文本校正

  • 文本摘要

  • 聊天:角色設定可以是朋友、情人、專家⋯⋯甚至是神明(AI 佛祖、AI 耶穌)。 

▍選單(menu)翻譯產品

▍智能增強

  • 調用 GPT 學富五車的知識來服務目標群眾。

  • 窮盡一生,沒有任何一個人可以讀完這些來自於人類歷史上的精華——但是 GPT 卻可以,畢竟「預訓練」的數據量極大。

【閱讀筆耕 IMO 🙋】AI 讓心智腳踏車進化

人類非常擅長製造工具,工具是人類肢體和感官的延伸,例如腳踏車增加了人類(的雙足)移動的效率。

賈伯斯曾在一場專訪中說道:「對我來說,電腦是人類歷來發明的最重要工具,從此讓我們的心智騎上腳踏車。」

而當這台電腦還嵌上 AI 功能時,這台車進化了,甚至不用我們親自去踩踏,也能夠引領我們來到更遠的地方。

  

▍工作外包

複雜的問題簡單化,簡單的問題流程化。

Nevertheless, there is merit to the claim that much problem solving effort is directed at structuring problems, and only a fraction of it at solving problems once they are structured.

——Herbert A. Simon

大部分的問題解決努力,都集中在為問題構建結構上,而對於已經結構化的問題,實際解決它們只佔了一小部分努力。
——赫伯特・西蒙

一但我們能把某些工作的具體場景「抽象化」成最核心的底層邏輯,那麼就有了可以外包(給別人做、給 AI 做)出去的本錢。

例如,把「設計提示(prompt)」這件事情,拆解為五個最根本的元素,而且它們之間具有可以畫出流程圖的關係,分發給 AI 來打理。

【閱讀筆耕 IMO 🙋】外包前,先把「系統」剝到最乾淨

我聯想到《普通人的財富自由之道》裡提過工作外包的先決條件,稱之為「系統的植入」。不管你有沒有想要外包某一份工作,都先把系統給架設好:

  1. 寫下你在一週內做的所有事情。

  2. 將工作分為清單一(重複執行的工作)與清單二(一次性任務),然後丟掉清單二。

  3. 重新排列清單一,從最耗時到最不耗時。逐條找出你想要為其建立系統的任務。

  4. 寫出你是怎麼完成該任務的步驟動線。然後,確認流程,看看是否能找到任何不必要的步驟,先刪除所有不必要的步驟,然後才做優化,直到擁有你所能建立的最精簡和最高效的流程。

  5. 在你進行這段流程時創作一段「說明書」⋯⋯逐步累積起一套培訓內容。

這麽做的好處是,未來如果要招募夥伴,你會知道哪些事情可以外包?哪種人才是最優先的?而哪些事情是非我不可,沒有其他人可以接手?對接時,新成員就可以依循先前建置好的「說明書」很快地進入狀況。

同時,這些「說明書」也可以成為一再重複利用的模板,不斷迭代這套 SOP。

 

▍湧現能力(Emergent Abilities)

  • 在模型變大到一定程度時,出現了一些新的特性、能力或行為。例如思維鏈(Chain-of-Thought)多步推理能力。

    • 白話說 → 是「從量變到質變」,是「整體大於部分的總和」。

【閱讀筆耕 IMO 🙋】知識的點、線、面串起「湧現」

我覺得用「知識點線面」來理解何謂湧現能力,是很不錯的。

當餵食給模型的知識點少少的時候,這些知識點彼此是「孤島」,還沒有辦法產生交互作用。就像是一幅「只有A、B兩個節點的地圖」一樣,能做的事情很有限。

但是當知識點的數量多到一定程度時,這些知識點已經形成了一個「體系」,這時候模型已經具備舉一反三的能力。想像是一幅「記載著密密麻麻交通節點、路線的地圖」,你只是問他從A點到B點應該怎麼走,他可以給你不止一種解答,還為你比較多種方案的成本效益分析。

知識的點、線、面串起神經網路,交織成一個體系帶來 1+1 >2 化學效應,就是湧現。


▇  GPT 的不足與缺陷

GPT 有一個秘密,他其實是一個失憶症患者,為了不讓別人發現他的秘密,他把和別人的對話寫在一本日記本上;每次和別人說話之前,GPT 都會先翻閱一下日記本,回顧之前的對話,然後才做回應。

有限的上下文窗口(Context Window)

  • GPT 會「忘記」聊天中太早的內容

    • 知識點 → 因為「日記本」的容量是有限的。

  • 不相關的話題最好在不同對話裡聊

    • 知識點 → GPT 是會一次讀入所有對話內容,再做出反應的。

    • 知識點 → 所以 GPT 仍然會考量早期的訊息(只要還被「日記本」所涵蓋到),如果新、舊訊息彼此不相關的話,會變成一種雜訊,一種干擾。

  • 我們無法「訓練」GPT

    • 知識點 → 訓練是一種特定過程,涉及模型參數調整,只有 OpenAI 能執行

    • 知識點 → 我們覺得 GPT 愈來愈聰明,其實是因為他的「日記本」冊數更多、內容更豐富、讓他對背景訊息的掌握度更高的關係。

【閱讀筆耕 IMO 🙋】關閉訓練,保護隱私

點擊 GPT 聊天界面左下角頭像,進入「設定 ▷ 數據控制 ▷ 聊天歷史與訓練」選單,預設是開啟的。我們可以關閉這個功能,讓 GPT 不再紀錄聊天訊息,不允許 OpenAI 以我們的對話來訓練模型,這麼做更能保護隱私。

設定 ▷ 數據控制 ▷ 聊天歷史與訓練
不允許 OpenAI 以我們的對話來訓練模型

過時的數據

  • 透過付費升級把 GPT 從 3.5 升級到 4.0,或是安裝外掛插件,可以大幅緩解這個缺失。
     

幻覺(hallucination

  • GPT 編造不存在的東西與事實。

    • 白話說 → 一本正經的胡說八道。

【閱讀筆耕 IMO 🙋】不花錢,也能釋放 GPT 的能力

關於「過時數據」與「幻覺」這兩個問題是息息相關的。如果問 GPT 時事類問題,當他的數據庫太舊,導致他查不到正確答案時,他就會畫虎爛。

我之前使用一款名為「WebChatGPT」的瀏覽器插件,讓即使是沒有付費升級的 GPT 3.5,也能在網路上搜尋資料,就可以有效改善這個缺失。

以下是用「白飯之亂」新聞事件實測的結果:

before
after

🌱 免費訂閱【創作者經濟 IMO】電子報。
電子報是以 Heptabase 編輯,免費試用 7 天,和我們一起寫下 IMO。

🌱 加入中書神經系統圍爐,專題 #寫作的反思 與 #爐內真心話 連載中。

🌱 我在其它平台出沒【MetaXLiker SocialMattersMediumvocus 】
合作聯繫:penfarming.writer@gmail.com

🌱 我的教學文與邀請連結

註冊幣安幣安開戶+實名認證教學
註冊 Presearch 
一舉三得的 search to earn 使用心得

CC BY-NC-ND 4.0 授权