【2024年】「スクレイピング」のおすすめ 本 79選!人気ランキング
- PythonによるWebスクレイピング 第2版
- Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!
- 増補改訂Pythonによるスクレイピング&機械学習 開発テクニック
- Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド
- Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-
- 退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング
- あなたのワークシートがインターネットにつながる Excel VBAでクローリング&スクレイピング
- Python2年生 スクレイピングのしくみ 第2版 体験してわかる!会話でまなべる!
- 独学プログラマー Python言語の基本から仕事のやり方まで
- Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう
個人の地域密着型アウトドアショップがデジタルマーケティングで業績を飛躍的にアップさせていくストーリーに乗せて、DMの基礎を… 個人の地域密着型アウトドアショップがデジタルマーケティングで業績を飛躍的にアップさせていくストーリーに乗せて、DMの基礎を学ぶ
Python(パイソン)は初心者が比較的修得しやすく、AI(人工知能)やパターン認識などの先端技術に活用されている優れたプログラミング言語です。 本書では、初心者を対象に、Pythonを使ったプログラミングの勘所をやさしく解説しました。 例題に取り組むことで、プログラミングとはどういうものかを理解し、プログラミング的思考を身につけてもらうことを目的に執筆しました。 読者の皆さんが、楽しみながらPythonの素晴らしさやプログラミングの醍醐味を感じていただけたら、著者として望外の喜びです。
データ収集の実例から学ぶことで、Webスクレイピングに必要な知識・考え方・具体的なスキルを身につけられる、実践的解説書。 Pythonを用いたWeb情報収集について、実例から学ぶことで、Webスクレイピングに必要な知識・考え方・具体的なスキルを身につけられる、実践的解説書。人文・社会系の初学者のために分かりやすく解説。 インターネットは現代生活に欠かせない存在となったものの、膨大な情報の中から必要な情報を手作業で収集することはほぼ不可能となりました。なんとか情報を収集できても、情報量がとても多く、データ分析によって全容を把握することも難しくなっています。本書では、実在するWebサイトからのPythonによるデータ収集を事例として、Webスクレイピングに必要な知識や考え方など、具体的なスキルを身につけることができます。Webスクレイピングにチャレンジしたものの挫折した方や、データサイエンスの初心者でも、効率よくインターネット上のデータを収集できるようになる、実践的解説書です。 まえがき 第1部 Web スクレイピングのために I データサイエンスとは 1 コンピュータとのコミュニケーション 2 データサイエンスを学ぶ理由 3 Web スクレイピングを学ぶ II Anaconda 1 Anaconda のインストール 2 Jupyter Notebook の起動 (1)Anaconda の起動 (2)Jupyter Notebook の起動 3 Jupyter Notebook の操作方法 4 コードの表示 III Python の基本 1 特徴 2 データの形式 (1)リスト(List)形式 (2)シリーズ(Series)形式 (3)データフレーム(Data Frame)形式 3 よく使う演算子と書き方 (1)代入演算子 (2)算術演算子 (3)比較演算子 4 ライブラリのインストールと読み込み 5 条件文と繰り返し文 (1)if 文 (2)for 文 (3)while 文 IV Web スクレイピングに向けた準備 1 Selenium の導入 2 Chrome driver の追加 3 Chrome driver manager の便利な使い方 4 正規表現の基本 (1)数字の抽出 (2)文字の抽出 (3)url の抽出 第2部 実務データの収集 V 離島経済新聞社の日本の有人離島情報 1 html 文の確認 2 html 文とタグ 3 タグ内情報の収集 (1)ライブラリのインストール (2)必要ライブラリのインポート (3)スクレイピングするurl を変数に代入 (4)url 内の情報をサーバーにrequest (5)html 文の解析 (6)html 文のタグ情報からデータ収集 1)タグの構造とタグ属性 2)1つのタグから情報収集 3)複数タグから情報取得(url リストの作成) 4)島ごとの情報の収集(分割・データ列の操作) VI Amazon 商品検索情報の収集 1 url の取得 2 商品情報の収集 (1)html 文の解析 (2)product 情報の収集 1)商品名の取得 2)評価情報の収集 3)レビュー数の収集 4)商品の価格情報の収集 5)product 情報の関数化 (3)次ページの確認とurl 取得 3 繰り返しとmain 変数の適用 (1)関数化コード文の構造 (2)while 文による繰り返し (3)main 関数化 VII Amazon 商品レビューの収集 1 url の取得 (1)html 文の構造把握 1)レビュー文の表示 2)レビュー文のurl の確認 (2)html 文全体の解析 2 レビューデータの収集 (1)コードの解析とデータの収集 (2)データ型の変換:文字列型から日付型へ (3)収集データの保管 (4)コードの関数化 3 繰り返し文の検討と作成 (1)次ページの確認とurl の取得 (2)繰り返し文の作成 4 main 関数化 (1)ASIN とは (2)User Agent 1)requests の動作確認 2)User Agent の確認 (3)main 関数文 VIII Tripadvisor の観光地レビューの収集 1 url の取得 (1)html 文の構造把握 (2)html 文の解析 2 レビューデータの収集 (1)コードの解析とデータの収集 1)投稿者名の抽出 2)居住地の抽出(正規表現の応用) 3)レビュータイトルの抽出 4)レビュー文の抽出 (2)データ型の変換:文字列型から実数型へ 1)評価点の抽出 (3)データ型の変換:文字列型から日付型へ 1)訪問日の抽出 (4)コードの関数化 3 繰り返し文とmain 関数化 4 繰り返し文の変更(for 文からwhile 文へ) (1)次ページの有無確認とurl の取得 (2)main 関数の作成 5 英文レビューの収集 (1)評価点の取得コード修正 (2)訪問日の取得コード修正 (3)英文レビュー用のparse 関数コード IX 楽天トラベルの宿泊施設情報の収集 1 API (1)API とは (2)楽天アプリID の取得(発行) 2 json 形式のデータの取り扱い (1)json 形式とは (2)json 形式の書き方 3 楽天トラベル地区コードの収集 (1)楽天トラベル地区コードAPI (2)地区コードの取得 … 123 1)largeClass 2)middleClass 3)smallClass 4)detailClass (3)Class ごとのデータの取得 1)middleClass の取得 2)smallClass の取得 3)detailClass の取得 (4)すべてのClassCode の取得 1)middleClass データ取得のためのfor 文 2)smallClass データ取得のためのfor 文 3)detailClass データ取得のためのfor 文 (5)コードの関数化 4 楽天トラベル宿泊施設情報の収集 (1)地区コード (2)フィルタリング(都道府県の指定)関数 (3)情報の掲載ページ数の取得 (4)すべての宿泊施設情報の取得 (5)必要な宿泊施設情報の取得 (6)save 関数の作成 (7)main 関数の作成 X タウンページからの検索情報の収集 1 検索とリターンデータのurl 取得 2 json データから必要なデータの取得 (1)json データのリターンurl の検査 (2)検索用url の作成 (3)検索件数と表示ページの確認 (4)検索された各ページのurl リスト作成 (5)json データから必要項目の取得 (6)すべての検索結果の取得 (7)取得データの保存 3 関数化とmain 関数の作成 (1)関数化 1)ページごとのurl 作成 2)ページ内の必要項目の取得 3)取得データの保存 (2)main 関数の作成 索 引
急速に発展するAI技術の活用テクニックを学ぶ。ChatGPTや生成AIや画像生成AIなど。 急速に発展するAI技術の活用テクニックを学ぶ。ChatGPTや生成AIや画像生成AIなど。 Streamlitで手軽にAI技術を活用!あなたはAIを使えているのか?生成AI“ChatGPT”や画像生成AI“DALL・E”などの最近話題のAIを扱うスキルを体験学習!!データサイエンティスト・マーケッター 必須のスキル!!---本書は、急速に使えるようになってきたAI技術を使用するテクニックを学ぶ書籍です。ChatGPTや生成AIや画像生成AIなど。昨今は便利なオープンソースや機能が誰でも使えるように公開されています。それらを活用してAIプログラミングを学び、AIプログラミングのスキルを獲得しましょう。 ■ 0 序 章 0-1 AIを活用するとは何か 0-2 プログラミング環境を整えよう 0-3 ウォーミングアップ:streamlitを使って計算アプリをつくってみよう! streamlitを起動してみよう 簡単な掛け算アプリを作成してみよう 掛け算/足し算を選択できるようにアプリを拡張しよう コラム①:教育者という立場から見た本書の魅力 ■ 1 人やモノを検知するAIでアプリを作ってみよう 1-1 物体検知アプリを作成しよう カメラインプット機能を作成しよう 物体検知を実装しよう 人数を計測して出力しよう 動画から人数計測結果をグラフとして出力しよう 1-2 物体検知AIを紐解こう 画像データを扱ってみよう 動画データを扱ってみよう 画像の物体検知を行って物体検知AIの中身を知ろう 物体検知のパラメータを変えて出力させてみよう 写っている人の数を数えてみよう ■ 2 骨格や顔の部位を推定するAIでアプリを作ってみよう 2-1 骨格推定アプリを作成しよう カメラインプット機能を作成しよう 骨格推定機能を実装しよう 骨格推定を活用してどちらの手を挙げているか検知してみよう 顔の部位を推定するアプリを作ってみよう 顔の部位を推定して目線を判定するアプリを作ってみよう 2-2 骨格顔推定AIを紐解こう 骨格推定AIの中身を知ろう 複数のデータを骨格推定してAIの予測結果を理解しよう 顔の部位推定AIの中身を知ろう ■ 3 写真の画風を変えるAIでアプリを作ってみよう 3-1 写真の画風を変えるアプリを作成しよう 2つの画像読み込み機能を作成しよう 画風変換機能を実装しよう アニメ風画像に変換するアプリを作ってみよう アニメ風画像に変換するアプリを改良してみよう 3-2 画風変換AIを紐解こう 画風変換AIへの入力データを知ろう 画風変換AIを実行しよう アニメ風変換AIを見てみよう コラム②:対談「教育現場でどう役に立つのか?」 ■ 4 テキストを単語に分割するAIでアプリを作ってみよう 4-1 どんな単語が含まれているか可視化するアプリを作成しよう 文字を入力できるようにしよう 単語を分割してみよう 単語に関する情報を抽出してアプリを拡張しよう CSVに書かれている文章の中身を可視化するアプリに拡張しよう 4-2 形態素解析を紐解こう 形態素解析をやってみよう 係り受け/固有表現抽出をやってみよう 形態素解析をつかいこなそう ■ 5 類似文章を検索するAIでアプリを作ってみよう 5-1 類似文章を検索するアプリを作成しよう 2つの文章の類似度を測定するアプリを作成しよう 類似文章を検索するアプリに拡張しよう 5-2 言語系AIによる文章の特徴量化と類似度計算を紐解こう 単語集計で文章を特徴量化してみよう 単語分散表現による特徴量化を体験しよう コラム③:対談「子どもたちに向けて」 ■ 6 OpenAIのGPTを活用したアプリを作ってみよう 6-1 GPTを活用したアプリを作成してみよう GPTの基本知識を押さえよう OpenAIのAPIを使用する準備を整えよう プログラムを生成してくれるアプリを作成しよう 6-2 GPTの利用方法について深堀りしてみよう GPT3.5モデルの特徴を確認しよう パラメータによる違いを確認しよう 様々な利用用途を試してみる API単体で利用する場合の留意点を押さえよう ■ 7 OpenAIの画像生成AIを活用したアプリを作ってみよう 7-1 画像を生成するアプリを作成しよう OpenAIの画像生成に関する基本知識を押さえよう 画像を生成してくれるアプリを作成しよう GPTと組み合わせたアプリに拡張しよう 7-2 画像生成(DALL・E)の利用方法について深堀りしてみよう 画像生成の基本的な使い方を押さえよう 画像生成のやり方を変えてみよう 言語の入れ方や種類を工夫してみよう コラム④:対談「プログラミングを他業種の人が習得する」