【Pythonスクレイピング】 BeautifulSoupのCSSセレクタで『特定のTD・TRタグ要素』を抜き出す方法

BeautifulSoupのCSSセレクタは便利

Pythonでスクレイピングするときに第一選択となるのが「BeautifulSoup」

BeautifulSoupを使えばCSSの特定の要素だけを抜き出すことが簡単にできます。
しかし、webページによくある”表”の中の特定の要素だけを抜き出したい場合は少し工夫が必要となります。

『禁断の♡なろうR-18禁分析♡』連載中です

現在「小説家になろう」の「その他ジャンル」でR-18禁分析を連載しています！

なろうのページ

【禁断のなろうR-18分析】数字から見る「ノクターンノベルズ」「ムーンライトノベルズ」「ミッドナイトノベルズ」の現状と実態！

『なろう18禁小説API』の全作品・全項目データを取得するPythonスクリプト※コード改良しました

なろう18禁小説APIの”全作品情報データ”を取得する

なろう18禁小説API全取得の例

なろうが提供するAPIには、「なろう小説API」とは別に『なろう１８禁小説API』という物があります。

https://dev.syosetu.com/xman/api/:なろう18禁小説API(なろうディベロッパー）

これは以下のサイトに投稿された作品を対象とするAPIです。

ノクターンノベルズ(男性向け)
ムーンライトノベルズ(女性向け)
ムーンライトノベルズ(BL)
ミッドナイトノベルズ(大人向け)

『なろう１８禁小説API』を使用することで、これらのサイトに投稿された全ての作品情報データを取得できます。

なお『なろう小説API』の全データを取得するコードは以下の記事を御覧ください

karupoimou.hatenablog.com

全データ取得コード

Pythonを用いて「なろう18禁小説API」の全作品・全項目データを取得するコードです。
.pyはGithubにアップしていますので、そちらからダウンロードできます。
github.com

『なろう小説API』を用いて、なろうの『全作品情報データを一括取得する』Pythonスクリプト※コード改良しました

pythonを使ってなろうの全ての情報を取得する

なろうが提供する「なろう小説API」を用いて、なろうに存在するすべての小説情報データを全件取得するコードです。
とりあず手元になろうの全件データセットを持った上で解析を行いたい人向けの「全部をすべて取得するPythonコード」です。

全件取得例

なろう小説APIで取得できる全作品情報データの全40項目を一括取得できます。（2021年1月現在約86万件分）

取得データについては、「なろうディベロッパー」サイトを御覧ください。

https://dev.syosetu.com/man/api/:なろう小説API(なろうディベロッパー)

このスクリプトを使うことで「ポチポチ」で全件取得が可能となります。

Githubのページ

github.com

windows10でPythonスクリプトを定期的に自動実行する方法 タスクスケジューラ

Python3.7のインストール

karupoimou.hatenablog.com

普段Anacondaを使っている方は、pipでパッケージをインストールするのを忘れないようにしましょう。

.pyファイルの作成

.pyを実行する方法として、.bat(バッチファイル）を挟んでから実行するやり方もありますが、タスクスケジューラから実行する場合はpython.exeから直接実行する必要があるみたいです。

タスクスケジューラの設定

タスクスケジューラの起動、タスクスケジューラがある場所

スタートメニューで「タスク」と打ち込むと候補に出てきます。

タスクスケジューラの開き方