無人車演講重點摘要
Coordinated Autonomous Driving in 5G via Join Visual 3D Exploration, speaker : Jenq-Nenq Hwang, Professor
甚麼是5G?
對於大多數人來說它代表著快速,但是實際上它帶來更重要的是在V2X,即試車聯網中,萬物皆連的狀況。
將攝像頭所偵測到的物件,去與車子連結,利用我們各種攝像頭所偵測到的東西,投影出3D的畫面。
為甚麼我們要這樣做,偵測到攝像頭裡面的物件不夠嗎?
當然不夠,我們只能偵測每一禎中,特定物件的移動,可是卻沒有辦法投影到現實世界,那我們所拿到的資料便沒有意義了,所以才需要Visual 3D Exploration.
這項技術怎麼實現呢?
現在是利用地平面,去回推物件(像是人)在現實3D的移動。
當然,很多的地面不會是平的,所以需要去不斷推算。
可是當然東西會有誤差,所以我們需要攝像頭之間的構通,再利用我們之間的一個共同座標,GPS,去共同建構我們的3D地圖。
若是固定攝像頭被移動了怎麼辦?
有一種技術可以去判對攝像頭現在有沒有移動。
這些技術都感覺很簡單,但是其實單就檢測就是個大問題,因為檢測不見得完美,可能會被遮擋。
但是若是我們可以利用時間上的推算,把物件的軌跡推算出來,這樣可以去告訴detector,他哪裡推錯了。
也可能會不同的人判斷成同一個人,所以我們需要tracktletNet,讓我有點聯想到GoogLeNet因為他利用了多種大小的CNN filter,去做判斷。
GPS的誤差怎麼修正?
Camera 自動校正,利用製作機器人中SLAM技術,對比同樣得特徵點,讓我們可以矯正GPS所帶來的誤差,這項技術可以矯正它旋轉多少,位移多少。
但是我們用的SLAM會有一個問題,就是我們抓到現實世界的特徵點,但是這些特徵點可能會出現位移,可能造成誤差,進而產生危險。
但是,我們是有些東西,非常穩定,大多不變的,那就是我們的交通號誌牌。
加入判斷交通號誌牌,我們又額外的擁有了一個可以穩定,大家都相同的長度可以去進行判斷,這樣可以再加入一個額外的判斷,在我們轉回3D時,距離要等於某些固定的號誌牌長度,增加我們的準確率,減少我們的危險。
地平面要怎麼找到呢?
要利用深度判斷的神經網路去做判斷,可以利用人的腳與地面的接觸去判斷地面的法向量,也可以利用車子的一些keypoint去判斷地平面。
當檢測不完美的時候,我們可以靠追蹤去補足。
最後,就是跨攝像頭之間的追蹤。
直接面對到的困難,就是不同攝像頭對於同樣的特徵,可能會有不同的意義,所以這也是攝像頭之間需要去學習的東西。
讓整個特徵值在攝像頭之間去做對比會沒完沒了,這樣會連結到整個世界的攝像頭去。
所以這邊會去建立camera link model,去沿著時間軸,將特徵值代入,以此去做判斷。(這部分講的比較快,技術上若是要明白要再查)
最終,5G最重要的目標,是去協同整個車聯網,最終達到無人駕駛,甚至是0車禍的狀況。AI、深度學習永遠不會完美,所以我們也需要偵測的技術去補足不完美之處。
補充 :
老師用單鏡頭,再用神經網路跟路面與建築物去判斷深度。
可是為甚麼不用雙鏡頭,這樣就可以簡單判斷深度,不需要再使用神經網路。
老師回答,因為雙攝像頭會限制可以判斷的深度,另外也會因為雙鏡頭也會因為要判斷較遠的物體,所以要拉更開,那這樣攝影機會讓到車子外面來,這樣還可能會造成被拔走的可能。
夜晚會有問題,夜晚所接收的資訊很少,所以瞎子要配聾子,搭配雷達去判斷物件的種類,達到更好的效果。
Like my work? Don't forget to support and clap, let me know that you are with me on the road of creation. Keep this enthusiasm together!
- Author
- More