【數位科技系列：更真實的AR成像技術～People Occlusion】

AR的真實技術：People Occlusion

以數位技術在現實環境中提出議題論述，是有其難度的，這難度主要來是真實性。 因為兼有開發與研究身份，我個人覺得「沈浸感immersive」跟「抽離/轉移distracted」其實就是「設計者」vs.「使用者」的虛vs.實之攻防。

而此篇就從Apple ARKit 3.0 在2019年6月發表的People Occlusion (人物遮檔)技術說起，簡單的來說，這技術就是「將虛擬物件隱藏在真實物件之後 hiding virtual objects behind real things.」這是長久以來，AR技術應用試圖去解決的問題，就如下面的比較圖，有無People Occlusion技術，就關乎是否真實成像，因為下方左圖就會讓使用者抽離真實感。

就如同「造夢機制」，大腦能有創意地轉化外部環境之干擾因素去創造「合理」情境，畢竟夢就是因應內外在刺激而產生的，守護著睡眠，使之不被干擾中斷的妥協產物。然而當「沈浸感」不足時，確實很容易「抽離/轉移」。可能是屬於非設計（non-designed）的干擾，判斷後（determined）的不合理，都能是致此的原因。

「Experience」可以譯作「體驗」或「經驗」，然而「Experience 經驗」畢竟是由親自實踐而來的知識與技能所積累而得到的內化思考和判斷；「Experience 體驗」則是種參與活動的結果，在過程中親歷與反思實獲得認識和感受立即與直覺回饋。雖然目前使用AR都是以手執行動裝置進行體驗為主，但AR眼鏡或頭顯裝置（例如Microsoft Hololens）仍是未來可能出現的數位裝置。與VR裝置的使用類似，R眼鏡或頭顯裝置也將以第一人稱視角去欣賞與感受數位與真實疊合的空間。所以從使用者觀點（也就是觀眾角度）去談實境化世界並不唐突，而「逼真 Verisimilitude / Truthlikeness」與「擬真 Simulation」，都是重要的元素。

也因此當鏡頭中的人物在虛擬物件之前，卻被其遮擋在後面，自然不符合正常的視覺感官！

因此，搭載A12晶片，且安裝iOS 13版本的Apple iPhone與iPad，在使用ARKit 3.0技術應用時，均可以透過People Occlusion技術在透過true depth camera所偵測人物外形後面，新增虛擬物件作為區塊（region），使AR虛擬物件不會在該區域成像。因此就會如下圖所示，有比較合理的虛擬成像結果。

而透過景深偵測（ personSegmentationWithDepth)，也能判動只有比AR虛擬物件更近鏡頭的人物會被視為需處理people occlusion的物件，就像下圖，這樣也就更接近真實世界的樣貌了。

雖然在使用後，國外一些AR行家還進一步提出以下缺點：

• ZDepth沒有抗鋸齒

• ZDepth畫素解析度不高

• ZDepth 影格素不高（15fps）

然而綜合以上，AR技術的真實性獲得更進一步的改善是確信的。

AR的真實議題：從論述到佔領的領域特性

AR與現實世界的連動，使它無疑是在真實領域中最能具有「數位佔領」特性的數位技術。之前就曾在【數位轉譯系列：從論述到佔領～談文化技術的領域特性與實踐】處理過數位領域特性這件事，所以從該文中彙編一些資料進來，也方便讀者了解「更真實的AR成像技術～People Occlusion」還能有哪些延伸應用。

首先先轉摘該文對「數位佔領」所做的定義：

1. 數位佔領是一種以數位手段去改變與佔據既有實體的形式與藝術。
2. 數位領土並非一種物理場所，也不會在所謂被佔領領土內找到。他是一個充滿情緒與議論空間，由受到撕碎切分的現實論述所支持。
3. 數位佔領並不取決於任何結果，它也沒有必要的結論。
4. 除了時間的流逝外，數位佔領沒有時間框架。
5. 數位佔領不是以生產者為中心，而由消費者、再製者、破壞者去尋求與參與。

也提出過，在數位世界中，也有另一種面向的領域佔領議題。例如：香港反送中運動致出現分為支持警察、反對抗議致社會動盪的「藍絲帶」，而從雨傘運動到反送中抗爭訴求的「黃絲帶」。商店也分親政府的「藍店」與支持抗爭的「黃店」。並且在Google Map上標示（或由店家揭示立場），形成不同的黃藍佔領區，而在數位領域中切分出以政治、社會議題上不同立場的區域分佈。

而過去在談文化/藝術/科技的數位論述在發表的幾篇專文中，曾因數位技術的呈現、數位敘事的形式、數位轉譯的應用等等不同面向的數位科技議題，大致提到了「數位歸還 digital repatriation」「數位佔領 digital occupation」、「數位在址 digital site」、「數位策展 digital curation」、「數位資產 Digital property」、「數位化身 digital incarnation」、「數位自我 digital second self」等等篇文化領域的論述，有時僅是提稱的「名詞」，有時則作為「註解」。所提出的數位技術包括：3D列印、VR、MR、AR。

以黑人民運人士Glenn Cantave的數位抗議活動為例，他介紹其使用AR技術而能以「原作（實體作品）」為介面媒體，去呈現「創作（數位內容）」的形式。像在時代雜誌封面者為美式橄欖球員Colin Kaepernick，他為抗議「種族不公」「警察暴力」憤而發起在賽前的國歌儀式上單膝下跪（類似降半旗），卻也引起對國家軍人不敬的爭議，包括川普總統直接點名批判。於是Glenn Cantave則以他為「塑像」，透過立像的宣示形式，以數位佔領行動將AR雕像「矗立」川普飯店前進行另類的宣示抗議，這也曾在Glenn Cantave於TED的「How AR is changing activism? AR正在改變活動主義」作為其抗議實錄的分享。

但很明顯是，Glenn Cantave所使用的數位技術應該說是「立意較高」，個人不覺得其數位技術能支持議題論述，不僅AR塑像的精緻度不高，也因為少了與場所連動的光影與材質連結的真實性，以及人物遮蓋技術應用的擬真度，而使Colin Kaepernick 的AR像在川普大樓像張貼圖，而非塑像。

McKenna-Cress, P., & Kamien, J. (2013) 曾從展覽設計的角度去看展務執行的規劃與合作，他們認為:「主題和/或觀眾主導了展覽內容的發展以及敘述的方向。The subject matter and/or visitor advocates lead the development of exhibition content and the direction from which the narrative will flow. 」也因此，如何讓觀眾參與者在真實景況下體驗與經驗「議題論述」，而不致因為技術不足無法支撐其真實性而造成不必要的抽離是應有的堅持。

其實以目前的3D技術來說，物件的真實與細緻度已不在話下，也讓許多的實體塑像也了數位分身（digital alteration），並且擁有更多的自由度。特別以AR的應用來針對「虛擬成像」具體說明：
1. AR塑像也能與實境空間有概念上的連結意義。
2. 透過AR技術的實境成像，數位檔案也能是具有場域身份的「數位資產digital property」。
3. AR成像作品/塑像/檔案的擺置不需獲得同意，且能改變空間意涵與作品原旨（數位世界）。
4. 展佈AR 成像作品的地點與尺寸都更具自由度。

下面的組圖是中韓兩個相當具有政治意象的塑像，曾與幾位同好天馬行空的談著以MR混合實境技術開發一款【蔣中正3D雕像App】，若一方去拆除「蔣介石大獨裁雕像」，另一方可以再去設立「蔣中正先總統雕像」，甚至是在最敏感地點，引起議題對話。而若從批判設計角度去構思此AR「虛擬成像」應用，如何與實境空間、場域、塑像等另具意義的實物去進一步共構「視覺概念化」的主題議論呢？「中正廟」、「校園」、「人權紀念館」….都能再給予不同面向的發人省思之故事。無獨有偶，由韓國金運成、金曙炅夫婦創作的【慰安婦雕像（和平少女像）】被直接設立在日本大使館前面進行議題訴求。就在2016年12月28日下午，一個以大學生為主體的韓國民間組織出其不意地在日本駐釜山總領事館前樹起了一座少女銅像。日方表示反對後，當地區政府以阻礙交通為由，強拆了銅像並粗暴驅散反對拆除的人群。兩天後，事件峰迴路轉，區政府引發眾怒，電話被打爆，網絡遭癱瘓，區長被迫道歉並允許樹立銅像。2016年最後一天，少女銅像正式揭幕。迄今，在世界各地的【慰安婦雕像（和平少女像）】塑像已超過40座。

而從AR技術應用的「實境虛擬展品（Virtual Exhibits in the Real Scene）」觀點來看，像MoMA早在2010年10月推出的AR App，將其策劃的數位應用案例「MoMA NYC Augmented Reality Exhibition」讓訪客在下載使用後，可以在館內看到虛擬的2D與3D藝術品，主要是透過GPS手機定位去即時呈現的。 此應用的內容規模頗大，包括擴增的展館天花板樓層、戶外雕塑公園、展區3D虛擬雕塑、展區2D虛擬圖像等等。

而舊金山 The de Young Museum也曾實地測試的Apple ARKit實驗，是由Marpi與Can Buyukberber兩位數位藝術家所合作的數位作品。採用的就是Apple ARKit的ARAnchor與 ARFrame技術，不僅能讓3D物件在空間中有真實的互動，也可以在物件貼圖上去即時追蹤渲染出與現場相對應的光源與紋理。

社交軟體Snapchat更是透過AR技術將Jeff Koons的著名作品～Ballon Dog於2017年10月同時出現在New York、Paris、London、Toronto、Sydney、Chicago、Rio de Janeiro、Washington D.C.、Venice等9個城市同步策展。只要打開Art Lens功能，就可以在特定的地點的300公尺距離內就看到Ballon Dog的巨型雕塑以3D擴增貼圖（3D Augmented Sticker）形式，讓App使用者進行拍照與錄影，形式上跟公共藝術建置與展示很類似。

綜上所述，以AR技術既有的議題論述與數位佔領應用來說，除了成像的真實性外，people occlusion使之更具有與實境世界「互動」的寫實感。相信要引AR的批判設計（Design as Critique）作為數位AR策展應用，其形塑空間、主題、成像的「視覺概念化設計」不僅具有敘事功能，也是具有批判力道的。

參考資料：

• Damala, A., Marchal, I., & Houlier, P. (2007, October). Merging augmented reality based features in mobile multimedia museum guides. In Anticipating the Future of the Cultural Past, CIPA Conference 2007, 1–6 October 2007, (pp. 259–264).
• Damala, A., Cubaud, P., Bationo, A., Houlier, P., & Marchal, I. (2008, September). Bridging the gap between the digital and the physical: design and evaluation of a mobile augmented reality guide for the museum visit. In Proceedings of the 3rd international conference on Digital Interactive Media in Entertainment and Arts (pp. 120–127). ACM.
• Kraemer, H. (2018). “Media Are, First of All, for Fun”: The Future of Media Determines the Future of Museums. In The Future of Museums (pp. 81–100). Springer, Cham
• Hughes, P. (2000). New Media in the ‘New Museums’: Much Technology, LittleHistoriography. Media International Australia incorporating Culture and Policy, 95(1), 183–190.
• High, S., Zembrzycki, S., & Mills, J. J. (2012). Telling our stories/animating our past: A status report on oral history and new media. Canadian Journal of Communications, 37(3), 1–22.
• Hammady, R., Ma, M., & Temple, N. (2016, September). Augmented reality and gamification in heritage museums. In Joint International Conference on Serious Games (pp. 181–187). Springer, Cham.
• Lopes, F. A. S. (2018). Virtual visit to the museum: a digital touristic proposal. Revista Lusófona de Estudos Culturais, 5(2), 395–408.
• McKenna-Cress, P., & Kamien, J. (2013). Creating exhibitions: Collaboration in the planning, development, and design of innovative experiences. John Wiley & Sons.
• Pfeiffer, U. (2013). From Participation to Motivation: Investigating the Behavioral and Neural Mechanisms of Gaze-Based Social Interactions(Doctoral dissertation, Universität zu Köln).
• Tavčar, A., Csaba, A., & Butila, E. V. (2016). Recommender system for virtual assistant supported museum tours. Informatica, 40(3).
• Zhao, Z. (2019). Engaging Audiences in Virtual Museums by Interactively Prompting Guiding Questions. arXiv preprint arXiv:1902.03527.
• Andy Fedo（Nov 20, 2019).How to improve People Occlusion in ARKit 3.0. Retrieved from（Jan 25, 2020)How to improve People Occlusion in ARKit 3.0
• Neil Mathew.（Jan 28, 2018）.Why is Occlusion in Augmented Reality So Hard?. Retrieved from（Jan 25, 2020) https://mymodernmet.com/free-3d-models-scan-the-world/?fbclid=IwAR3nLwM6Jv1aGFKm0UwMaZm1jzFYxg2DQ7zC7Jeia5tqI34uNnUtJi_30qg
• Technology.（June 5, 2019）.Apple Unveils ARKit 3 Which Features Human Occlusion, Body Tracking and Motion Capture. Retrieved from（Jan 25, 2020) https://mashable.com/video/ai-art-exhibit-nyc/