強化学習

強化学習とは

強化学習(Reinforcement Learning)は、試行錯誤を繰り返し、うまくいったら報酬をもらうことで「良い行動」を学ぶ機械学習の手法です。[[機械学習の基礎]] で学ぶ「教師あり学習」「教師なし学習」と並ぶ、第3の学習方式です。

犬のしつけに似ています。「お座り」ができたらおやつ(報酬)をあげる。犬は正解の定義を教わらなくても、報酬が増える行動を自分で見つけていきます。

基本の登場人物

エージェントは「行動 → 環境が変化 → 報酬を受け取る」のループを大量に繰り返し、長期的に報酬が最大になる行動方針を学びます。

教師あり学習との違い

• 教師あり学習:1つ1つの入力に正解ラベルが付いている(この画像は猫、など)
• 強化学習:個々の行動に正解はなく、結果(報酬)から間接的に学ぶ。報酬が遅れて得られる(最後に勝敗が分かる)のが難しさの源

囲碁AIの AlphaGo は、[[ディープラーニング]] と強化学習を組み合わせた深層強化学習で人間のトップ棋士を破り、この手法の威力を世界に示しました。

LLMとの意外な接点

[[生成AI・LLM]] の仕上げにも強化学習が使われています。RLHF(人間のフィードバックによる強化学習)は、モデルの回答に人間が付けた評価を報酬として、「人間にとって好ましい回答」をするよう調整する手法です。ChatGPT が自然な対話をできる背景には RLHF があります。また、自律的に行動する [[AIエージェント]] の研究でも、強化学習の考え方(行動と結果からの学習)が土台になっています。

関連技術とのつながり

• [[機械学習の基礎]] — 強化学習は機械学習の三大方式の1つ
• [[ディープラーニング]] — 組み合わせた深層強化学習が AlphaGo などを生んだ
• [[生成AI・LLM]] — RLHF による調整で強化学習が活躍
• [[AIエージェント]] — 行動主体としてのエージェントという発想の源流

Q: 強化学習でエージェントが学習の手がかりにするものはどれ?
- [x] 行動の結果として得られる報酬
- [ ] 1つ1つの行動に付けられた正解ラベル
- [ ] データベースのスキーマ定義
解説: 強化学習には個々の正解ラベルがなく、試行錯誤の結果として得られる報酬から行動方針を学びます。

Q: 強化学習の「環境」に当たるものは、ゲームの例ではどれ?
- [ ] プレイヤー(AI)
- [x] ゲームの盤面
- [ ] 観客
解説: エージェント(プレイヤー)が行動して働きかける対象の世界が環境です。

Q: RLHFの説明として正しいものはどれ?
- [ ] 人間の代わりにAIがデータベースを設計する手法
- [ ] 画像からノイズを取り除いて生成する手法
- [x] 人間のフィードバックを報酬として、LLMを好ましい回答へ調整する手法
解説: RLHF は人間の評価を報酬に使う強化学習で、ChatGPT などの自然な対話能力を支えています。