關於transformer的encoder

self attention 自注意力機制，是一個重要的network也是transformer的一環。那他是用來作什麼的呢？跟其他模型又有什麼不一樣？在簡單的英文處理模型中，如果模型設定是每個單字用一個fc的話，可能會因為單字在不同的語法中有不同的意思，而每個單字是被分別讀取的所以產生辨識錯誤。

簡單表列一下目前各家受矚目的自然語言模型，免得連自己都亂掉。