無人車演講重點摘要

Coordinated Autonomous Driving in 5G via Join Visual 3D Exploration, speaker : Jenq-Nenq Hwang, Professor

甚麼是5G?

對於大多數人來說它代表著快速，但是實際上它帶來更重要的是在V2X，即試車聯網中，萬物皆連的狀況。

將攝像頭所偵測到的物件，去與車子連結，利用我們各種攝像頭所偵測到的東西，投影出3D的畫面。

為甚麼我們要這樣做，偵測到攝像頭裡面的物件不夠嗎?

當然不夠，我們只能偵測每一禎中，特定物件的移動，可是卻沒有辦法投影到現實世界，那我們所拿到的資料便沒有意義了，所以才需要Visual 3D Exploration.

這項技術怎麼實現呢?

現在是利用地平面，去回推物件(像是人)在現實3D的移動。

當然，很多的地面不會是平的，所以需要去不斷推算。

可是當然東西會有誤差，所以我們需要攝像頭之間的構通，再利用我們之間的一個共同座標，GPS，去共同建構我們的3D地圖。

若是固定攝像頭被移動了怎麼辦?

有一種技術可以去判對攝像頭現在有沒有移動。

這些技術都感覺很簡單，但是其實單就檢測就是個大問題，因為檢測不見得完美，可能會被遮擋。

但是若是我們可以利用時間上的推算，把物件的軌跡推算出來，這樣可以去告訴detector，他哪裡推錯了。

也可能會不同的人判斷成同一個人，所以我們需要tracktletNet，讓我有點聯想到GoogLeNet因為他利用了多種大小的CNN filter，去做判斷。

GPS的誤差怎麼修正?

Camera 自動校正，利用製作機器人中SLAM技術，對比同樣得特徵點，讓我們可以矯正GPS所帶來的誤差，這項技術可以矯正它旋轉多少，位移多少。

但是我們用的SLAM會有一個問題，就是我們抓到現實世界的特徵點，但是這些特徵點可能會出現位移，可能造成誤差，進而產生危險。

但是，我們是有些東西，非常穩定，大多不變的，那就是我們的交通號誌牌。

加入判斷交通號誌牌，我們又額外的擁有了一個可以穩定，大家都相同的長度可以去進行判斷，這樣可以再加入一個額外的判斷，在我們轉回3D時，距離要等於某些固定的號誌牌長度，增加我們的準確率，減少我們的危險。

地平面要怎麼找到呢?

要利用深度判斷的神經網路去做判斷，可以利用人的腳與地面的接觸去判斷地面的法向量，也可以利用車子的一些keypoint去判斷地平面。

當檢測不完美的時候，我們可以靠追蹤去補足。

最後，就是跨攝像頭之間的追蹤。

直接面對到的困難，就是不同攝像頭對於同樣的特徵，可能會有不同的意義，所以這也是攝像頭之間需要去學習的東西。

讓整個特徵值在攝像頭之間去做對比會沒完沒了，這樣會連結到整個世界的攝像頭去。

所以這邊會去建立camera link model，去沿著時間軸，將特徵值代入，以此去做判斷。(這部分講的比較快，技術上若是要明白要再查)

最終，5G最重要的目標，是去協同整個車聯網，最終達到無人駕駛，甚至是0車禍的狀況。AI、深度學習永遠不會完美，所以我們也需要偵測的技術去補足不完美之處。

補充 :

老師用單鏡頭，再用神經網路跟路面與建築物去判斷深度。

可是為甚麼不用雙鏡頭，這樣就可以簡單判斷深度，不需要再使用神經網路。

老師回答，因為雙攝像頭會限制可以判斷的深度，另外也會因為雙鏡頭也會因為要判斷較遠的物體，所以要拉更開，那這樣攝影機會讓到車子外面來，這樣還可能會造成被拔走的可能。

夜晚會有問題，夜晚所接收的資訊很少，所以瞎子要配聾子，搭配雷達去判斷物件的種類，達到更好的效果。