2016年3月に発刊された『PythonによるWebスクレイピング』の改訂版。各種ツールのバージョンアップに合わせ、全面改訂 中上級者向け高度なテクニックを駆使したWebスクレイピングの解説書、待望の改訂版！ 2016年3月に発刊された『PythonによるWebスクレイピング』の改訂版。各種ツールのバージョンアップに合わせ、全面改訂されました。前半でWebスクレイパーとクローラの基礎を、後半でOCRを使った情報抽出や、JavaScript実行、Seleniumによるインタフェース使用やテスト自動化、自然言語処理などの高度なトピックに加えて法律面の解説など、Webスクレイピングを実際に行うために必要なプログラミングテクニックとテクノロジー全般を紹介します。対象読者を中上級者に絞り、他のスクレイピング解説書にはない、高度なテクニックまでカバーします。

Webデータ収集・解析の技法を基礎から実用まで徹底解説。 第1章 クローリング・スクレイピングとは何か 第2章 Pythonではじめるクローリング・スクレイピング 第3章 強力なライブラリの活用 第4章 実用のためのメソッド 第5章 クローリング・スクレイピングの実践とデータの活用 第6章 フレームワークScrapy 第7章 クローラーの継続的な運用・管理 Appendix Vagrantによる開発環境の構築

Pythonでスクレイピングや機械学習をやってみたい!そんなアナタのための一冊。サンプルコードを動かしながら、仕組みと使い方が理解できます。Python3対応。 第0章 機械学習のためのデータ処理とは 第1章 クローリングとスクレイピング 第2章 高度なスクレイピング 第3章 データソースと書式・整形 第4章 機械学習 第5章 深層学習に挑戦しよう 第6章 テキスト解析とチャットボットの作成 第7章 深層学習を実践してみよう Appendix 作業の準備と環境構築

Webデータの巡回取集と解析をすべて自動で処理しよう Webデータの巡回収集と解析を すべて自動で処理しよう 【背景】 企業においてデータ分析の需要が多くなってきているなか、 企業のデータ分析の現場において、 Webから様々なデータを集める「クローラー（クローリング）」と 集めたデータの解析を行う「スクレイピング」のニーズが 非常に高まってきています。 【対象読者】 ・データの収集、解析などの仕事を請け負うプログラマー ・クローラー開発を請け負うエンジニア 【本書の特徴】 本書は、データ収集・解析などの仕事を請け負うプログラマーや、 クローラー開発を請け負う分析会社のエンジニアに向けて、 クローラーの開発手法から実際のクローリングおよび スクレイピング手法ついて解説した入門書です。 本書ではデータ分析の現場でニーズの高まってきているPythonを利用して、 クローラー開発から始まり、クローリング、スクレイピングの基本から応用手法、 そして運用までそれぞれの開発が直面する場面に沿って丁寧に解説します。 最終章では目的別のクローラー開発手法を解説しています。 【対象OSとPythonのバージョンについて】 ・OS：macOS Sierra（10.2.x） ・Python：3.6.2 【目次】 Part1 基本編 Chapter 1 クローラーとスクレイピングを体験する Chapter 2　クローラーを設計する Chapter 3　クローラーおよびスクレイピングの開発環境の準備とPythonの基本　 Chapter 4　スクレイピングの基本 Part2　応用編 Chapter 5　クローラーの設計・開発（応用編） Chapter 6　スクレイピングの開発（応用編） Chapter 7　クローラーで集めたデータを利用する Chapter 8　クローラーの保守・運用 Chapter 9　目的別クローラー＆スクレイピング開発手法 Appendix クローラー＆スクレイピングに役立つライブラリ Part1　基本編 Chapter 1　クローラーとスクレイピングを体験する Chapter 2　クローラーを設計する Chapter 3　クローラーおよびスクレイピングの開発環境の準備とPythonの基本 Chapter 4　スクレイピングの基本 Part2　応用編 Chapter 5　クローラーの設計・開発（応用編） Chapter 6　スクレイピングの開発（応用編） Chapter 7　クローラーで集めたデータを利用する Chapter 8　クローラーの保守・運用 Chapter 9　目的別クローラー＆スクレイピング開発手法 Appendix クローラー＆スクレイピングに役立つライブラリ

インターネット上の膨大な情報の中から必要な情報を入手するためにPythonを使ってWebスクレイピングを行うための解説書。 検索エンジンだけでは入手できない、本当に欲しい情報をWebスクレイピングで手に入れる！ インターネットからデータを機械的に集め、必要な情報を抽出するプロセスが「Webスクレイピング」です。検索エンジンだけでは限られた情報しか集めることができませんが、Webスクレイピングの技術を使えば、インターネット上の膨大な情報の中から本当に必要な情報を入手することができます。コンピュータサイエンスに限らず（理系にも限らない）研究者たちが、最新動向を把握するために、また、小売業界、金融業界でも情報収集にWebスクレイピングを活用するなど、広い分野で求められ、また注目されている技術です。本書はPythonを使ってWebスクレイピングを行うための解説書です。

インターネット・SNSから思い通りに情報を収集するための知識と実例をわかりやすく解説 ExcelやGoogleスプレッドーシート、APIなどを使ってクローラーをプログラミンし、簡単な操作で効率的にデータを集める手法を解説していきます。 企業情報、株価情報、Amazonの新刊情報、商品の口コミデータ、Googleの検索順位の履歴、Twitterから特定のキーワードの発見、iTunes/Google Playのアプリランキングなど、さまざまな役立つデータを収集していきます。 Chapter1 スクレイピングとクローラーで効率的にデータを集めていく 1-1 データはWeb上に集まる Web上に存在するデータの種類 本書が対象とするデータ 1-2 効率的にデータを収集するために行うこと データ収集の3つのステップ 1-3 どうすれば自動化できるのか？ スクレイピングとクローラー 半自動化プログラムでできること 完全自動化プログラムでできること 本書の進め方 1-4 Webサイトからデータを集める際の注意事項 収集したデータの取り扱いと著作権 Webサイトのリソース圧迫と業務妨害 クローラーとAPI Chapter2 Excelとブラウザを連携してWebページからデータを収集する 2-2 Excel VBAでWebからデータを収集する Excelでのデータ収集テクニック ExcelでVBAが使えるようにする設定 データを収集するためのプログラム 2-2 VBAでIEを操作する仕組み 宣言部分 VBAの関数の宣言 IEの操作 2-3 取得したHTMLから要素を抽出する仕組み HTMLの構造 HTMLから要素を抜き出すプログラム 2-4 簡単な方法で要素を特定する ChromeでXPathを抽出する方法 FirefoxでXPathの抽出する方法 2-5 WEBSERVICE関数とFILTERXML関数によるデータ収集 WEBSERVICE関数によるデータ収集 FILTERXML関数によるデータ収集 Chapter3 Googleスプレッドシートを利用して自動的にデータを収集する 3-1 GoogleスプレッドシートとGoogle Apps Scriptを準備する Googleスプレッドシートとは Google Apps Scriptとは 関数とクラス 3-2 ImportXML関数を使ってWebからデータを収集する ImportXML関数の概要 株価データの取得方法 セルの値を利用した取得方法 3-3 Google Apps Scriptを利用してデータを収集する Google Apps Scriptの使い方 Google Apps Scriptによるスクレイピング Google Apps Scriptの実行 3-4 指定した時間に定期的にデータを収集する Google Apps Scriptのトリガー トリガーの設定方法 Chapter4 スクレイピング専用サービスを利用して手軽にWebからデータを収集する 4-1 import.ioを利用してWebからデータを収集する import.ioのサービス概要 import.ioの利用方法 4-2 import.ioでスクレイピングを実行する import.ioへのサインアップ データの自動抽出 抽出したデータの取得方法 取得する要素の任意指定 APIを使ったデータ抽出 4-3 収集したデータをシート上に保存する Googleスプレッドシートとの連携 Google Apps Scriptとの連携 Excelとの連携 Chapter5アプリケーションを利用してTwitterからデータを収集する 5-1 アプリを利用して収集した結果を通知する 通知を受け取るためのアプリケーション IFTTTの概要 Slackの概要 myThingsの概要 5-2 IFTTTを使ってTwitter上でエゴサーチを行う IFTTTの会員登録 モバイルアプリのインストール Twitter検索のレシピ作成 5-3 Slackを利用して定期的にRSS情報を収集する Slackの会員登録 RSSフィードの収集 モバイルアプリからの利用 5-4 myThingsを使ってTwitter上でエゴサーチを行う 会員登録とモバイルアプリのインストール Twitter検索の組み合わせの作成 Chapter6 ターゲットを絞り込んで、さまざまなデータを自在に収集する 6-1 会社・商品に関する情報を収集する 特定のキーワードを収集する目的 収集・保存・通知方法 6-2 Webから特定の「キーワード」に関する情報を収集・蓄積する Googleアラートの設定 IFTTTの設定 結果の確認 6-3 Twitterから特定の「キーワード」を含むツイートを収集・蓄積する IFTTTの設定 結果の確認 6-4 App StoreからiOSアプリのランキングを収集する ランキングのRSSフィード ランキングの収集 結果を日付別シートに保存 指定した時間に毎日実行する 6-5 Google PlayからAndroidアプリのランキングを取得する import.ioを使ったデータ収集 結果をGoogleスプレッドシートに保存 日本語ランキングの取得 6-6 Amazonのカスタマーレビューを収集する import.ioを利用した収集方法 Googleスプレッドシート＋ImportXMLによる収集方法 Google Apps Scriptを利用した収集方法 6-7 上場企業の時価総額を収集する 銘柄コード一覧の取得 株価に関する情報の収集 時系列で株価データを収集 6-8 Amazonのセール情報を取得する Amazonのほしい物リスト ほしい物リストから商品を取得（Excel版） ほしい物リストから商品を取得する（Google Apps Script版） Amazonの割引率が高い商品を探す 商品の割引率とポイント還元率の取得（Excel版） 商品の割引率とポイント還元率の取得（Google Apps Script版） Chapter7 データを収集した後の見せ方と使い方のヒント 7-1 クローラー/スクレイピング開発と関連技術 認証が必要なページからのデータ収集 大規模

Google、Twitter、Facebookからのデータ収集、iTunes Store、Google Playのランキング情報、企業・株価情報・為替情報・金融指標の取得、SEOやマネジメントに役立つ情報の収集etc…データ収集効率を劇的にアップするクローラー技術をディープに解説。 1 10分クローラーの作成 2 クローラー作成の基礎 3 収集したデータを分析する 4 高度な利用方法 5 目的別クローラーの作成 6 クローラーの運用