「預訓練」就像是你拿一堆教科書、文字或影像等，把它壓縮成一個模型。因為輸入的資料非常多，壓縮出來的量非常小，但是你又希望它能夠解壓縮到全部的資料。這個按照定義是不可能沒有損失的，就是壓縮率有個極限。那超過某個極限之後，機器學習的特色，就是它會發明新的壓縮法。
「預訓練」就像是你拿一堆教科書、文字或影像等，把它壓縮成一個模型。因為輸入的資料非常多，壓縮出來的量非常小，但是你又希望它能夠解壓縮到全部的資料。這個按照定義是不可能沒有損失的，就是壓縮率有個極限。那超過某個極限之後，機器學習的特色，就是它會發明新的壓縮法。