機械学習の一分野である強化学習は、ゲームAIや自動運転、制御ロボットなどの基盤技術としてめざましい成果をあげています。今後もAI活用の高まりに合わせて、さまざまな分野で大きな役割を果たすと注目されている技術です。
ここでは、強化学習と機械学習・ディープラーニングとの違いや、機械学習の主な手法、実装事例などを解説します。
強化学習とは
最初に、強化学習の概念を確認しておきましょう。
■強化学習の意味
「強化学習（Reinforcement Learning）」とは、試行錯誤を繰り返しながら、価値を最大化する行動を反復学習する手法です。「ある行動をしたときに、どのような結果になったか」を繰り返し学習し、良い結果になればプラス点、悪ければマイナス点が与えられ、得点を最大にする行動パターンを導きます。
プログラム自身が与えられた環境を観測し、さまざまな行動を試しながらより価値のある行動を探していきます。また、その行動についての評価も自ら更新します。試行錯誤しながら行動を改善する点で、人間の動作と近いといえるでしょう。
強化学習そのものは新しい概念ではないものの、最近のディープラーニングや計算能力の進歩もあって、囲碁ソフトなどのゲームや自動運転などでめざましい成果をあげています。今後もAIの進化に合わせて、さまざまな分野で役割が大きくなりそうです。
■機械学習との違い
「機械学習(Machine Leaning）」とは、コンピュータが大量のデータを学習することで何らかのルールやパターンを発見して、それに基づいて未知のものを予測、判断する技術のことです。機械学習は、AI（人工知能）におけるデータ分析の中核を担う技術です。
強化学習は機械学習の一分野であり、「教師あり学習」「教師なし学習」と並んで機械学習を構成する要素です。教師あり学習や教師なし学習は明確なデータをもとにした学習方法ですが、強化学習はデータに依存しません。自ら収集した経験で学習を重ね、最も良い報酬を得られるように学習内容を自動的に改善していきます。そのためデータが無い、ないしはデータ収集が困難な場合でも、ビジネスチャンスを発見できる可能性を秘めています。
■ディープラーニングとの違い
「ディープラーニング（Deep Learning・深層学習）」は、機械学習の代表的な手法のひとつです。ニューラルネットワークという分析手法を活用して、高精度の分析や学習を行うのが特徴です。
機械学習とディープラーニングとの違いは、機械学習では人間がデータの特徴を判断するのに対し、ディープラーニングでは機械が行います。機械学習では学習目的や内容を人間が設定します。一方のディープラーニングでは、何を学ぶべきかも機械が判断します。ディープラーニングによって抽象的な問題解決も効率化できるようになり、従来よりはるかに容易に機械学習を行えるようになりました。
■深層強化学習
ディープラーニングの登場は、強化学習にも飛躍的な進展をもたらしています。ディープラーニングを強化学習に応用した学習手法は「深層強化学習（Deep Reinforcement Learning）」と呼ばれ、これにより今まで以上に複雑なゲームや制御問題を解決できるようになりました。このほかさまざまな産業で、強化学習を活かした社会実装が進んでいます。
強化学習の仕組み
強化学習の仕組みを理解するには、よく使われる用語を覚えておくとよいでしょう。
■強化学習によく出てくる用語
強化学習では、行動を行う主体を「エージェント」、エージェントが存在する仮想空間を「環境」、エージェントが選択するアクションを「行動」と呼びます。また、エージェントや環境の情報を「状態」、行動から得られる即時的な評価を「報酬」とします。
■強化学習のプロセス
強化学習のプロセスは、「エージェント」がある「環境」の中で何らかの「行動」を起こすことから始まります。続いて、行動により変化した「状態」と、その行動から得られる「報酬」を獲得するという処理を何度も反復します。そして、状態と報酬のフィードバックを元に、報酬の合計である価値（「Q値」または「状態行動価値」という）を最大化する方策を導き出すというのが、強化学習の仕組みです。
強化学習の手法
強化学習にはさまざまな手法がありますが、中でも代表的な「Q-Learning」「SARSA」「モンテカルロ法」について、その特徴を説明しましょう。
■Q-Learning
Q学習ともいわれる「Q-Learning」は、最も代表的な強化学習の手法です。Q-Learningは、Q関数という行動価値関数を学習して強化学習を行います。行動価値関数とは、ある状態においてある行動を行った場合に、その先の報酬がどのくらいもらえそうかを予想する関数です。Q-Learningでは、報酬の期待値を今考えられる最大値に置き換えて学習します。
■SARSA
「SARSA」は、Q-Learningと同様にQ関数を学習しますが、その方法が異なります。Q-Learningでは、報酬の期待値を現在推定されている値の最大値で置き換えますが、SARSAでは実際に行動した結果を用いて期待値の見積もりを置き換えるのが特徴です。そのため価値を更新するには、再度エージェントが行動をする必要があります。
■モンテカルロ法
「モンテカルロ法」は、Q-LearningやSARSAと異なり、何らかの報酬が得られるまで行動をシミュレーションして、その行動履歴からQ関数を学習するという手法です。最後まで進んで報酬値を知ってから、たどってきた状態や行動に対して報酬を分配していきます。
強化学習の活用事例
強化学習は、以下のさまざまな分野ですでに実装され、産業やビジネスの活性化につながっています。
■ゲームAI
囲碁AIの「AlphaGo」や将棋AIの「Ponanza」などのゲームAIは、強化学習を活用した代表的な事例です。さまざまな行動を試しながらより価値のある行動を探す強化学習により、プロ棋士に勝利するなど、人間を超えるほどの実力を発揮するまで進化しました。
■自動車の自動運転技術
強化学習は、自動運転技術にも活用されています。自動運転では、人や物体にぶつからない運転方法を学習していく必要があります。ぶつからなければ報酬を与え、より運転の精度を高めていくという実証実験が行われています。自動運転は強化学習の進化により、日本国内でも遠くない将来に実用化される予定です。
■制御システム
強化学習は、ロボット制御やエレベーターの制御システム、建設物の揺れを制御するAIで使われるなど、制御系のプログラム開発にも役立っています。置かれた環境で試行錯誤を繰り返すことで最適解を導き出し、社会生活の利便性向上を実現しています。
■広告の最適化
ターゲットに対して最適な広告やレコメンドを表示するサービスにも、強化学習の仕組みが活用されています。WebコンテンツなどでCV（コンバージョン）を最大化するには、ユーザーに適した広告配信やレコメンドによる誘引が欠かせません。ユーザーの一連の行動結果をふまえ、より価値ある行動を学習する強化学習によって、最適化されたメッセージが配信されているのです。
まとめ
強化学習は、AIの進展に伴いビジネスや社会活動におけるさまざまな活用が期待でき、大きなインパクトをもたらす可能性を秘めています。強化学習の知識やスキルのある人材も、転職市場において今後ますます需要が高まると予測されます。転職や就職、キャリアアップを有利に進めるためにも、強化学習の知見は身につけておくようにしましょう。
コメント