RLHF(Reinforcement Learning with Human Feedback)とはAIが人間の意図に合うように学習(Alignment)するために、モデルの出力に対して人間がフィードバックを行い追加の学習を行う手法です。

　通常のファインチューニングの後に行われ、これらの２つを含めて、広義のファインチューニングとして扱われることが多いです。

　具体的な手法は主に3stepあり、1step目でプロンプトと対応する模範回答のペアから教師あり学習を行います。2step目で質問に対して複数の回答をAIから獲得し、人が順位付けを行います。これを元に報酬モデルを学習します。3step目に1step目と2step目を元に強化学習を行います。