
LLMの強化学習を安定化させる「Score Centering」の解説
大規模言語モデル(LLM)の強化学習において、推論エンジンと学習エンジンの不一致が引き起こす不安定性の原因を数学的に解明した論文を解説します。その解決策として提案された「Score Centering」手法が、量子化やデータの古さ(Staleness)に対してどのように頑健性をもたらすかに焦点を当てます。
この動画は、LLMのRL学習において「推論と学習の完全な一致」を諦める代わりに、数学的な補正で実用性を担保するトレードオフを提示しています。特に、量子化や分散学習によるサンプラーの遅延(Staleness)が避けられない大規模な開発現場にお…




















