【數位轉譯/數位科技系列：在課堂的運動回復結構(Structure from Motion, SfM)技術之應用與實踐】

在某次以慣用的拍照點名（學生在臉書群組登錄學號姓名並附上在場照片證明）後，竟在檢視時發現在某處只有4–5人出席的角落，竟有了8張的出席證明照片。

雖覺得有趣，但也嚴正提醒同學不要破壞我們彼此的信任。

但也興起在將從那個角落所拍且上傳的8張照片，給合成在同一張照片作為資料，搭配本文主題，透過簡單的「運動回復結構(Structure from Motion, SfM)」逆向工程去「分析」出拍攝位置。

所謂的「運動回復結構(Structure from Motion, SfM)」能透過真實空間場景的多張照片，不論是專案拍攝或者募集該處的各種來源的照片，就可以據以恢復該場景空間的立體結構資訊以及所使用照片所對應的攝影位置資料。（如下圖）

下面則是透過逆向工程去「分析」出學生所繳出的8張現場報到的拍攝位置

這個事件也讓我聯想到之前寫過日本一所大學要以【Our Shurijo】計畫去募集遊客照片並使用Structure from Motion（SfM）去還原燒毀的沖繩「首里城」3D版首里城的數位技術與構想（參見附圖）。所以我就沿用該技術的分析概念，透過繪圖工具以手工還原了那8張在場證明照片的拍攝位置！

徒手花了些時間根據當天課後所拍下的教室照片繪製了示意空間，並且還原了8張照片「可能」的拍攝位置與角度。

我最早接觸到類似SfM的技術時，其實是看到Blaise Aguera y Arcas 在TED的演講，在【How PhotoSynth can connect the world’s images】影片中 ，他介紹了所研發的「Seadragonphotosynth 照片合成技術」。

【Seadragon】能將大量特定景點照片去分析與合成該場域的3D環景影像，這種透過不同旅客分享在網路上的影像素材去合成地景之360度/遠近自由欣賞效果的數位應用，所仰賴的也是目前在掃描記錄大型建物與遺址的點雲 point cloud技術 ，特別是文化資產專業領域很常用。只不過建構出Blaise Aguera y Arcas 用以介紹【Seadragon】技術的「巴黎聖母院」的密佈雲點的，則是來自網路上的，由全世界許多遊客髓拍攝的聖母院照片。

在2019年10月底，當日本的著名世界遺產～沖繩首里城三大殿因火災燒毀後，就有所日本大學發起募集100萬張照片還原沖繩「首里城」的活動（註1），其數位復原計畫叫做【Our Shurijo】，計畫團隊宣稱要使用Structure from Motion（SfM）技術還原成虛擬的3D版首里城，照片角度越多、成品完成度就越高，因此要透過平台募集照片。這技術就與【Seadragon】「photosynth照片合成技術」類似，但這種群集觀點資料更是要建置多視立體multi-view stereo，並且透過表面重構surface reconstruction，去把2D照片重構成3D場景模型。

而這個復原沖繩「首里城」的活動也已有了初步的成果，並且在Google Arts and Culture網站中，有【Reconstructing Shurijo Castle】的主題內容（註2），共有「What happened?」、「Preserving the past to build the future」、「The 3D models made from visitor photographs」、「Capturing the castle before the fire」、「Learn more about the Ryukyu Kingdom」、「The Ryukyu world in 360」、「The Ryukyu world in 360」等7大主題與10多個深度內容，讓瀏覽者認識【Our Shurijo】，認識沖繩「首里城」這個世界文化遺產。

進一步推薦閱讀：

✅ 1. 「The 3D models made from visitor photographs」就是匯集照片去以Structure from Motion（SfM）技術所完成的3D 首里城模型。

✅ 2. 「Preserving the past to build the future」則有「How The Main Building Was Digitally Reconstructed」去介紹合成技術的細節內容，也有許多【Our Shurijo】技術構想的介紹。根據內容得知，【Our Shurijo】共募集了3,000位提供的80,000張照片，並在2019.12.23就已向全世界分享計畫成果。（見附圖）

如果本文該有個結論，那就是：「槍砲可以攻城也可以打小鳥，數位技術也是…」，本文的內容就做了很好的示範。

個人很愛這類的「內核心（技術）」＋「外創意（應用）」的數位科技分析主題，像是我在2020.6.8就發表過【數位科技系列：視線偵測追蹤 eye gaze detection/tracking 】。文中就以【可以抓作弊的監視系統，考生「動」「靜」完全掌握】（https://reurl.cc/EKOaZ1） 這篇報導為發想。

雖然，根據該篇報導，此技術的研發就是為了作弊監視：

「日本一家專作人工智慧與數據分析技術的公司開發出可從考生的姿勢、骨骼、視線等來分析是否正在作弊的AI技術，該技術可通過深度學習而自動檢測作弊行為。考慮到考生的隱私，也可以針對沒有作弊的考生設定遮蓋臉部的功能。」

但如果進一步針對「視線偵測追蹤 eye gaze detection/tracking」技術去提出類似用法的數位互動應用案例的分析，像是：

✅ 1. NEC「遠距離視線推定技術」（https://reurl.cc/YlZnjx）

✅ 2. 國美館【林玉山捐贈作品特展】「蓮池互動裝置」：（https://reurl.cc/A1GzRE）

✅ 3. 婦女援助（Women’s Aid）公益宣導互動數位看板～ 【Look at Me】（https://reurl.cc/b61ykE）

✅ 4. Usher亞瑟小子的控訴警察暴力的互動MV～【Chains】（https://reurl.cc/RdaQj9）

✅ 5. 克里夫蘭美術館 ARTLENS Gallery多媒體裝置「Gaze Tracker （追視蹤機）」（https://reurl.cc/5g0EG6）

此篇就是從一些實際經驗所整理的數位技術創意，所導入的研究概念是個人所提出的「內核心＋外創意」概念。我認為在分析的邏輯上，都以從外部往核心的關係探索為主。然而，以一源多用的價值來說，更致力於從核心往外的多元應用，以及確認技術與觀念源頭後的創意發散。而這樣的分析與鏈結，不管是對於科技的永續發展有幫助，也能使數位科技的開發與應用有所依憑與累積。而創意雖然貴在創新，但從實務上來看，無所本的創意是很難得的，唯有不服從的自由才能持續突破。

擔任MIT Media Lab主任的伊藤穰一 Joi Ito曾在其合著的【Whiplash: How to Survive Our Faster Future】中就說得很清楚：

為放大創意成果，實驗室成員必須從「答案是什麼？」、「什麼會被問到？」、「要遵守什麼？」等制式編程中解碼。……..不需許可就能自由行動。“In order to maximise the creative output of each person in the Lab, people often have to be deprogrammed from needing to know what the ‘right’ answer is, what is being asked of them, what they need to comply with in order to ‘pass.’ ……..It’s the freedom to act without asking permission.”

伊藤試圖強調「不服從（disobendience）」的創意價值。但是說真的，要彰顯所謂的不服從的自由，也要知道讓自由受限所謂的「規則/教條」是什麼？在突破的道路上是要有「障礙物」的，直探核心的一擊中的就是「精準」、無懼障礙的一路前行才是「突破」。

以上分享

✅ 註1：【募集100萬張照片還原沖繩「首里城」 日本大學：能靠3D建模重現】報導出處：https://www.japwind.com/article/76617

✅ 註2: 網址為：https://artsandculture.google.com/project/castles-of-japan?fbclid=IwAR0PYj0Fr18DpOF4IEjbRh7uxRuKf2VF4U-NPwd8GFpyIvTQeg5m2aKXxrQ