ゲームAIやロボットアームの制御、自動運転などで注目の深層強化学習の基礎と、Pythonによる実装について解説した入門書。 深層強化学習の入門から実装まで、この一冊でわかる！ アルファ碁などのゲームAIやロボットアームの制御、自動運転などで注目されている深層強化学習の基礎と、Pythonによる実装について解説した入門書です。 強化学習に適したライブラリであるChainer（ChainerRL）と、AIシミュレーション環境であるOpenAI gymを用いて解説しています。 ソフトウェアシミュレーションだけでなくRaspberryPiとArduinoを用いた実環境への応用も解説しているので、ソフト・ハード問わず自身の課題に深層強化学習を応用することできるようになっています。 1章 はじめに 2章 深層学習 3章 強化学習 4章 深層強化学習 5章 実環境への応用 付録 付録1 VirtualBoxのインストール 付録2 RaspberryPiの設定 付録3 Arduinoのインストール 付録4 Graphical Processing Unit（GPU）の利用 付録5 Intel Math Kernel Libraryを用いたNumPyのインストール

AIで「ソニック」「レトロゲーム」「Unityゲーム」「マインクラフト」「スタークラフト2」「FX・株トレード」を攻略 AIで「ソニック」「レトロゲーム」「Unityゲーム」「マインクラフト」「スタークラフト2」「ロボット制御」「FX・株トレード」を攻略 人工知能によるゲームの攻略は、ゲーム開発者のみならず、機械学習を学びたい学生や研究者にとっても、最もホットな話題となっており、日々新たな攻略アルゴリズムが発表されています。そのなかでも、2015年12月に設立された非営利団体「OpenAI」は、その中心的な存在となっています。 「OpenAI」は、誰でも自由に使える強化学習ツールキット「OpenAI Gym」を公開しており、このなかにはAtraiのゲーム環境やロボット制御の環境などの学習用の環境が多数含まれています。本書では、この「OpenAI Gym」を使って、ゲームを攻略するAIを作るための手法を手順を追って解説しています。 「OpenAI Gym」では、さまざまな強化学習アルゴリズムがまとめられた「Stable Baselines」を組み合わせて学習を行うため、本書でも「Stable Baselines」の概要から各アルゴリズムの詳細、学習状況の監視の方法などをサンプルを作りながら紹介しています。 Atraiのゲーム環境には、AIで攻略するための無償のゲームが数多く含まれていますが、「OpenAI Gym」の「Gym Retro」環境は、より高度な市販ゲームを攻略するためのもので、本書では実際に有償の「ソニック・ザ・ヘッジホッグ」（セガ／メガドライブ版）のゲームを入手して攻略していきます。 「OpenAI Gym」は、レトロゲーム以外にも「マインクラフト」「スタークラフトII」といった最新ゲームを攻略するための環境、Unityゲームを攻略するためのGymラッパー、ロボット制御の強化学習、FX・株の値動きを予測する環境など、多数の環境が接続でき、本書の最後ではさまざまなバリエーションの学習の概要も取り上げます。 1章　深層学習と開発環境の概要 　1-1 人工知能と機械学習 　1-2 教師あり学習と教師なし学習と強化学習 　1-3 強化学習 　1-4 開発環境と開発フレームワーク 2章　Pythonの開発環境の準備 　2-1 Anacondaの準備 　2-2 Google Colabの準備 　2-3 Pythonの文法 3章　OpenAI Gymツールキットの概要と環境構築 　3-1 OpenAI Gymの概要 　3-2 OpenAI Gymのインストールと動作確認 　3-3 Gymインタフェース 　3-4 行動空間と状態空間 4章　強化学習アルゴリズムStable Baselinesの概要と環境構築 　4-1 Stable Baselinesの概要とインストール 　4-2 強化学習アルゴリズムの分類と特徴 　4-3 平均報酬と平均エピソード長の出力とMonitorの利用 　4-4 モデルの保存と読み込み 　4-5 TensorBoardとコールバックによる学習状況の監視 　4-6 マルチプロセッシングの概要と実装 　4-7 Stable Baselines Zooによる学習済みモデル実行 5章　Atari環境の攻略 　5-1 Atari環境の学習 　5-2 前処理 　5-3 ハイパーパラメータの調整 　5-4 クラウド学習 　5-5 模倣学習によるAtrai環境の学習 6章　Gym Retro環境の攻略 　6-1 Gym Retro環境の構築 　6-2 Gym Retroの学習 　6-3 ゲームインテグレーションの作成 7章　ソニック環境の攻略 　7-1 ソニック環境の準備 　7-2 強化学習によるソニック環境の攻略 　7-3 模倣学習によるソニック環境の攻略 　7-4 ソニックのAIをさらに強化する試み 8章　さまざまな強化学習環境 　8-1 OpenAIのMuJoCo環境とRobotics環境 　8-2 PyBullet 環境：オープンソースな3D物理シミュレーション環境 　8-3 AnyTrading：トレーディングの強化学習環境 　8-4 Unity ML-Agents：Unityの強化学習環境 　8-5 Gymラッパー：Unity ML-Agents環境をGym環境に変換 　8-6 MarLÖ：マインクラフトの模倣学習環境 　8-7 PySC2：StarCraft IIの強化学習環境 　8-8 そのほかの強化学習環境

個人の地域密着型アウトドアショップがデジタルマーケティングで業績を飛躍的にアップさせていくストーリーに乗せて、DMの基礎を… 個人の地域密着型アウトドアショップがデジタルマーケティングで業績を飛躍的にアップさせていくストーリーに乗せて、DMの基礎を学ぶ

深層強化学習の実装を、PythonとTensorFlow、シミュレータとしてOpenAI gymとPyBulletで解説。 TensorFlowで強化学習を実践！ アルファ碁などのゲームAIやロボットアームの制御、自動運転などで注目されている深層強化学習の基本と実装について、PythonとTensorFlow、シミュレータとしてOpenAI gymとPyBulletを用いて解説したもの。 深層学習、強化学習のアルゴリズムを一歩一歩ていねいに解説し、RaspberryPi＋Arduinoを用いた実応用までを扱っています。

強化学習で必要になる数理を広くカバーした。一貫したていねいな解説なので、じっくり読める。参考文献・付録も充実！ 理論は裏切らない ・強化学習で必要になる数理を広くカバーした。 ・一貫したていねいな解説なので、じっくり読める。付録・参考文献も充実！ ・ベルマン方程式、TD学習、方策勾配、POMDP、深層強化学習をより深く！ 【おもな内容】 第1章　準備 1.1　強化学習とは 1.2　マルコフ決定過程と逐次的意思決定問題 1.3　方策 1.4　逐次的意思決定問題の定式化 第2章　プランニング 2.1　準備 2.2　動的計画法 2.3　動的計画法による解法 2.4　線形計画法による解法 第3章　探索と活用のトレードオフ 3.1　概要 3.2　探索と活用のトレードオフ 3.3　方策モデル 第4章　モデルフリー型の強化学習 4.1　データにもとづく意思決定 4.2　価値関数の推定 4.3　方策と行動価値関数の学習 4.4　収束性 4.5　アクター・クリティック法 第5章　モデルベース型の強化学習 5.1　問題設定の整理 5.2　環境推定 5.3　ブラックボックス生成モデルに対するプランニング 5.4　オンラインのモデルベース型強化学習 第6章　関数近似を用いた強化学習 6.1　概要 6.2　価値関数の関数近似 6.3　方策の関数近似 第7章　部分観測マルコフ決定過程 7.1　部分観測マルコフ決定過程（POMDP）の基礎 7.2　POMDP のプランニング 7.3　POMDP の学習 第8章　最近の話題 8.1　分布強化学習 8.2　深層強化学習 付録A　補足 A.1　証明 A.2　ノルム A.3　線形計画法 A.4　自然勾配法の補足 準備 プランニング 探索と活用のトレードオフ モデルフリー型の強化学習 モデルベース型の強化学習 関数近似を用いた強化学習 部分観測マルコフ決定過程 最近の話題

Pythonで実装しながら学ぶ 強化学習・深層強化学習（DQN） 強化学習、さらにディープラーニングを組み合わせた深層強化学習DQN（Deep Q-Network）という用語を目にする機会が増えています。本書は関連の概念を分かりやすく解説しつつ、Python＋PyTorchで「倒立振子課題」「迷路を解くプログラム」「ブロック崩しの攻略」を実装していきます。 第1章「強化学習の概要」では機械学習とその3分類（教師あり学習、教師なし学習、強化学習）について紹介します。 第2章「迷路課題に強化学習を実装しよう」では、簡単な強化学習（方策勾配法、Sarsa、Q学習）のコードをひとつずつ実装しながら、強化学習のアルゴリズムと実装方法を理解します。迷路を最短ルートでゴールするよう強化学習させます。 第3章「倒立振子課題に強化学習を実装しよう」では、2章で学んだ強化学習の基本をより複雑な課題への適用します。倒立振子とは、“ほうきを手のひらの上に立てる”遊びと同じ内容でその制御ルールを強化学習させます。Anacondaを用いたセットアップ方法も解説します。 第4章「Pytorchでディープラーニングを実装しよう」では、ディープラーニングの内容を理解し、PyTorchで実装します。ニューラルネットワークとディープラーニング発展の歴史、学習フェイズと推論フェイズについて解説。最後に手書き数字の画像を分類するMNIST課題を実装解説します。 第5章「深層強化学習DQNを実装しよう」では、強化学習にディープラーニングを組み合わせた“深層強化学習”を理解し、DQNを実装できるようにします。第3章の倒立振子課題に対してDQNを実装します。 第6章「深層強化学習の発展版を実装しよう」では、新しい深層強化学習の手法、Double-DQN、Dueling Network、Prioritized Experience Replay、そしてA3C、A2Cを理解し、実装できるようにします。 第7章「AWSのGPU環境でブロック崩しを実装しよう」では、ブロック崩しゲームを対象に深層強化学習のA2Cを実装します。実行環境としてAmazonのクラウドサービスAWSのGPU環境を使用する方法も解説します。 深層強化学習はまだまだ解決すべき課題の多い分野です。本書が深層強化学習に興味を持つ皆様の一助となれば幸いです。 各章の概要 第1章 強化学習の概要 - 1.1 機械学習の分類（教師あり学習、教師なし学習、強化学習） - 1.2 強化学習・深層強化学習の歴史 - 1.3 深層強化学習の応用事例 第2章 迷路課題に強化学習を実装しよう - 2.1 Try Jupyterの使い方 - 2.2 迷路とエージェントを実装 - 2.3 方策反復法の実装 - 2.4 価値反復法の専門用語を整理 - 2.5 Sarsa法の実装 - 2.6 Q学習の実装 第3章 倒立振子課題に強化学習を実装しよう - 3.1 ローカルPCに強化学習の実装・実行環境を整える方法 - 3.2 倒立振子課題「CartPole」の解説 - 3.3 多変数・連続値で示される状態の表形式表現 - 3.4 Q学習の実装 第4章 PyTorchでディープラーニングを実装しよう - 4.1 ニューラルネットワークとディープラーニングの歴史 - 4.2 ディープラーニングの計算手法を解説 - 4.3 PyTorchで手書き数字画像の分類課題MNISTを実装 第5章 深層強化学習DQNを実装しよう - 5.1 深層強化学習DQN（Deep Q-Network）の解説 - 5.2 DQNの実装に重要な4つの工夫 - 5.3 DQNの実装（前半） - 5.4 DQNの実装（後半） 第6章 深層強化学習の発展版を実装しよう - 6.1 深層強化学習のアルゴリズムマップ - 6.2 DDQN（Double-DQN）の実装 - 6.3 Dueling Networkの実装 - 6.4 Prioritized Experience Replayの実装 - 6.5 A2Cの実装 第7章 AWSのGPU環境でブロック崩しを実装しよう - 7.1 ブロック崩しゲーム「Breakout」の解説 - 7.2 AWSでGPUを使用したディープラーニング実行環境を整える方法 - 7.3 Breakoutの学習に重要な4つの工夫 - 7.4 A2Cの実装（前半） - 7.5 A2Cの実装（後半） あとがき 索引 謝辞

前作の『ITエンジニアのための機械学習理論入門』から、5年経過しましたが、AI（人工知能）や機械学習に対しての期待と関心はまったく衰えません。むしろ機械学習の利用はIT業界で当然のものとなり、さらなる活用がさまざまな場所で行われています。前作では一般的な機械学習について解説しましたが、試行錯誤しながら1つの解をもとめていく「強化学習理論」についてくわしく・やさしく解説します。理論を表現するいろいろな数式とそれらをプログラミングするためのPythonコードを並列しながらその理論の神髄にせまり、強化学習の基礎となるさまざまなアルゴリズムを体系的に学びます。 第1章　強化学習のゴールと課題 1.1　強化学習の考え方 1.2　実行環境のセットアップ 1.3　バンディットアルゴリズム（基本編） 1.4　バンディットアルゴリズム（応用編） 第2章　環境モデルを用いた強化学習の枠組み 2.1　マルコフ決定過程による環境のモデル化 2.2　エージェントの行動ポリシーと状態価値関数 2.3　動的計画法による状態価値関数の決定 第3章　行動ポリシーの改善アルゴリズム 3.1　ポリシー反復法 3.2　価値反復法 3.3　より実践的な実装例 第4章　サンプリングデータを用いた学習法 4.1　モンテカルロ法 4.2　TD（Temporal-Difference）法 第5章　ニューラルネットワークによる関数近似 5.1　ニューラルネットワークによる状態価値関数の計算 5.2　ニューラルネットワークを用いたQ-Learning

自然言語処理編

強化学習の基礎から，深層強化学習の主要アルゴリズム,最先端の話題までを網羅。実験結果の一貫性や再現性といった実践面も詳説。 深層強化学習は，強化学習と深層学習の組み合わせである。この研究分野の発展により，従来機械で扱う範疇ではなかった広範囲の複雑な意思決定問題を解けるようになってきた。深層強化学習はヘルスケア，ロボティクス，スマートグリッド，金融工学，その他さまざまな領域において，新たな応用の可能性を切り拓きつつある。本書は，そのような深層強化学習に関し，強化学習の基礎から始まり，深層強化学習の主要なアルゴリズムや最先端の話題まで，豊富な参考文献も含めて幅広く網羅している。特に本書は，汎化性を向上させるノウハウや深層強化学習が実応用でどのように使われるかという観点に着目して執筆されている。 機械学習の基礎知識を有する大学生・大学院生や企業の研究者・技術者が，深層強化学習の概要を効率的に勉強したいと思ったときの最初の一冊として推薦できる構成となっている。 原著：An Introduction to Deep Reinforcement Learning, 2019 第1章　はじめに 1.1　なぜ強化学習？ 1.2　本書の概要 第2章　機械学習と深層学習 2.1　教師あり学習，および偏りと過適合の概念 2.2　教師なし学習 2.3　深層学習の手法 第3章　強化学習の基礎 3.1　形式的な枠組み 3.2　方策を学習するためのさまざまな要素 3.3　データから方策を学習するためのさまざまな設定 第4章　価値ベース手法による深層強化学習 4.1　Q学習 4.2　当てはめQ学習 4.3　深層Qネットワーク 4.4　2重深層Q学習 4.5　決闘型ネットワーク構造 4.6　分布型深層Qネットワーク 4.7　多段階学習 4.8　DQNの改良版と派生手法の組み合わせ 第5章　方策勾配法による深層強化学習 5.1　確率的方策勾配 5.2　確定的方策勾配 5.3　アクター・クリティック法 5.4　自然方策勾配 5.5　信頼領域最適化 5.6　方策勾配とQ学習の組み合わせ 第6章　モデルベース手法による深層強化学習 6.1　純粋モデルベース法 6.2　モデルフリー手法とモデルベース手法の組み合わせ 第7章　汎化性 7.1　特徴選択 7.2　学習アルゴリズムと関数近似器の選択 7.3　目的関数の修正 7.4　階層的学習 7.5　最良の偏り・過適合のトレードオフの獲得 第8章　オンライン問題に特有の課題 8.1　探索・活用のジレンマ 8.2　経験再生の管理 第9章　深層強化学習のベンチマーク 9.1　ベンチマークの環境 9.2　深層強化学習ベンチマークにおけるベストプラクティス 9.3　深層強化学習のオープンソースソフトウェア 第10章　MDPを超える深層強化学習 10.1　部分観測性と関連する複数環境のMDPの分布 10.2　転移学習 10.3　明示的な報酬関数を持たない学習 10.4　マルチエージェントシステム 第11章　深層強化学習の展望 11.1　深層強化学習の成功 11.2　深層強化学習を実世界問題に適用する際の課題 11.3　深層強化学習と神経科学の関係 第12章　結論 12.1　深層強化学習の将来の発展 12.2　深層強化学習や人工知能の応用と社会への影響 付録：深層強化学習のフレームワーク 参考文献 欧文索引 和文索引

強化学習の「いま」を知り，「これから」を切り拓くための1冊． ◆強化学習は「ポストビッグデータ」の技術である！ 人工知能，金融工学，ロボット制御，言語処理，生産現場やサービスの最適化，あらゆる分野に応用が広がる強化学習．十分なデータが与えられることが前提とされる他の機械学習法と異なり，「足りないデータを集めながら最適化すること」に力点を置く強化学習は，ビッグデータの先を行くための重要な技術となることが期待されます． ◆強化学習の「いま」を知り，「これから」を切り拓くための1冊． 本書では，この分野を代表する執筆陣が集い，強化学習の基礎・発展・応用を多面的に解説します． ・基礎：強化学習の動作原理と基本アルゴリズムを，初学者でも分かるように導入． ・発展：より複雑な問題に対処し，高度な研究に進むための，さまざまな発展的手法を解説． ・応用：マルチロボットシステムの制御，対話処理，医療データ分析，囲碁の対局など広範な応用例・研究事例を通して，強化学習の活用法を紹介．人間の行動や脳の動作を説明するモデルとしての理論・実験も解説． ――強化学習の基礎を学びたい方，発展的手法に触れたい方，応用可能性を一望したい方に最適な1冊！ 第1章　強化学習の基礎的理論 強化学習とは／強化学習の構成要素／価値関数に基づくアルゴリズム／改善に基づくアルゴリズム／部分観測マルコフ決定過程と強化学習 第2章　強化学習の発展的理論 統計学習の観点から見たTD学習／強化学習アルゴリズムの理論性能解析とベイズ統計による強化学習のモデル化／逆強化学習／試行錯誤回数の低減を指向した手法：経験強化型学習XoL／群強化学習法／リスク考慮型強化学習／複利型強化学習 第3章　強化学習の工学応用 高次元・実環境における強化学習／連続的な状態・行動空間への拡張：マルチロボットシステムへの適用／対話処理における強化学習／マルチエージェント系の報酬設計／自然言語処理における逆強化学習・模倣学習の適用／医療臨床データ分析への応用／深層学習を用いたQ関数の学習：Atariと囲碁への応用 第4章　知能のモデルとしての強化学習 脳の意思決定機構と強化学習／内発的動機付けによるエージェントの学習と発達

ついに正式版が登場へ! ゲーム開発にAIを活用しよう 「Unity ML-Agents」は、2017年秋にv0.1として登場以降、順調にバージョンアップを重ね、2020年5月についに正式版となりました。今後は、Unityの中核機能の1つになると予想されています。 本書は、2018年7月に刊行した前書（v0.4に対応）を、正式版に合わせて全面的に改訂したものです。 Unity ML-Agentsは、多くのAIプログラミングで必須となる「Python」のコーディングを必要とせず、Unity ML-Agentsの仕組みに沿って、通常のゲーム開発同様にC#によるコーディングで完結できることが大きな特徴です。 本書では、これからゲームAIについて学びたい方から読んでいただけるように、機械学習の基礎から学習環境の構築、付属サンプルによるさまざまな学習方法の解説などを、ステップ・バイ・ステップで実践的に習得できるように構成しています。 また、実際の開発現場でゲームAIを活用するためのサンプルとして、Unityが無償で公開しているゲームを使って、「テストの自動化」「ゲームバランスの調整」「より自然な振る舞いを行うNPC」「人間の代わりとなる対戦相手」をAIとして実装したサンプル事例も紹介しています。 本書は、基礎から実践まで網羅しており、これからゲームAIにチャレンジしたい方にお勧めしたい1冊です。 1章 機械学習とUnity ML-Agentsの概要 　1-1 人工知能と機械学習 　1-2 教師あり学習と教師なし学習と強化学習 　1-3 強化学習 　1-4 強化学習の学習アルゴリズム 　1-5 Unity ML-Agentsの概要 　1-6 Unity ML-Agentsの学習シナリオ 2章 はじめての学習環境の作成 　2-1 開発環境の準備 　2-2 プロジェクトの準備 　2-3 はじめての学習環境の作成 　2-4 学習と推論 　2-5 学習の高速化 3章 Unity ML-Agentsの基礎 　3-1 状態と観察 　3-2 行動 　3-3 報酬とエピソード完了 　3-4 決定 　3-5 訓練設定ファイル 　3-6 mlagents-learn 　3-7 TensorBoard 4章 さまざまな学習方法 　4-1 SAC 　4-2 Discrete 　4-3 Visual Observation 　4-4 Raycast Observation 　4-5 セルフプレイ 　4-6 Curiosity 　4-7 模倣学習 　4-8 LSTM（Long Short-Term Memory） 　4-9 カリキュラム学習 　4-10 環境パラメータのランダム化 　4-11 Observable属性 5章 サンプルの学習環境 　5-1 サンプル学習環境の準備 　5-2 FoodCollector（Observation） 　5-3 GridWorld（Visual Observation） 　5-4 PushBlock（Raycast Observation） 　5-5 Tennis（セルフプレイ①） 　5-6 Soccer（セルフプレイ②） 　5-7 Pyramids（Curiosity・模倣学習） 　5-8 Hallway（LSTM） 　5-9 WallJump（カリキュラム学習） 　5-10 3DBall（環境パラメータのランダム化） 　5-11 Bouncer（RequestDecision） 　5-12 Reacher（多関節の学習①） 　5-13 Worm（多関節の学習②） 　5-14 Crawler（多関節の学習③） 　5-15 Walker（多関節の学習④） 　5-16 Basic（カスタムセンサーコンポーネント） 6章 ゲーム開発における強化学習の活用 　6-1 ゲーム開発での強化学習エージェントの活用 　6-2 Flappy Bird Style－テストの自動化 　6-3 3D Game Kit Lite－コンテンツのバランス調整のサポート 　6-4 Puppo, The Corgi－より自然な振る舞いを行うNPC 　6-5 Karting Microgame－人間の代わりとなる対戦相手 　6-6 Unity Analyticsによるエージェントの行動解析 7章 Python APIを使った学習環境の構築 　7-1 Python APIを使った学習 　7-2 Gymラッパー 　7-3 Python Low Level API 　7-4 サイドチャネル 　7-5 カスタムサイドチャネル

自然言語処理において最有力手法である深層学習モデルTransformerの利用を解説 機械翻訳，音声テキスト変換といった技術の基となる自然言語処理。その最有力手法である深層学習モデルTransformerの利用について基礎から応用までを詳説。〔内容〕アーキテクチャの紹介／事前訓練／機械翻訳／ニュースの分析。

ディープラーニング活用なくしてビジネスの飛躍的成長なし

文科と理科両方の学生のために，統計的なものの考え方の基礎をやさしく解説するとともに，統計学の体系的な知識を与えるように，編集・執筆された．豊富な実際例を用いつつ，図表を多くとり入れ，視覚的にもわかりやすく親しみながら学べるよう配慮した． 第1章 統計学の基礎（中井検裕，縄田和満，松原 望） 第2章 1次元のデータ（中井検裕） 第3章 2次元のデータ（中井研裕，松原 望） 第4章 確率（縄田和満，松原 望） 第5章 確率変数（松原 望） 第6章 確率分布（松原 望） 第7章 多次元の確率分布（松原 望） 第8章 大数の法則と中心極限定理（中井検裕） 第9章 標本分布（縄田和満） 第10章 正規分布からの標本（縄田和満） 第11章 推定（縄田和満） 第12章 仮説検定（縄田和満，松原 望） 第13章 回帰分析（縄田和満） 統計数値表 練習問題の解答