回答你的問題：可以是透過一題題跟 AI 回答，說這種回答好、那個回答壞，可以這樣子，但是你也可以比較抽象去制定一份很像憲法一樣，交給語言模型，自己跟自己對話，然後就去判斷是不是符合你這邊憲法文件的要求，然後讓他自己來訓練自己，這個一般來講訓練成本是比較低的，因為需要共創一份文件，不需要一直回答它上萬份的對話，這個叫做「憲法式的對齊」。
回答你的問題：可以是透過一題題跟 AI 回答，說這種回答好、那個回答壞，可以這樣子，但是你也可以比較抽象去制定一份很像憲法一樣，交給語言模型，自己跟自己對話，然後就去判斷是不是符合你這邊憲法文件的要求，然後讓他自己來訓練自己，這個一般來講訓練成本是比較低的，因為需要共創一份文件，不需要一直回答它上萬份的對話，這個叫做「憲法式的對齊」。