您即将离开知乎，请注意您的账号和财产安全。
https://huggingface.co/docs/trl/main/en/dpo_trainer#using-option-3---load-the-adapter-twice
