なろう分析記録

『小説家になろう』をふくめ『ネット小説投稿サイト』を分析する。コード置き場,主にPython,javascript,たまに創作。

プログラミング

【Python】指定したwebページに非SSL(HTTP)画像コンテンツが存在するかどうか自動チェックするサンプルコード

はじめに 前回、【Python】なろう作品の「http://」画像の存在をチェックするサンプルコードという記事を書きましたが、よく考えてみると非SSL(HTTP)サイトからの画像引用は小説家になろうに限らず行われていることであり対応が必要です。Flashを用いたweb…

【Python】なろう作品の「http://」画像の存在をチェックするサンプルコード

非SSL(HTTP)サイトの画像は標準で表示されなくなる 画像設定項目見直しのお願い - 小説家になろうグループ公式ブログ blog.syosetu.com昨今、ほとんどのwebサイトでは、よりセキュリティ性の高いSSLに対応していますが、まだ一部では従来の非SSLサイトも存在…

【Python】tweepyでRTを除外する2つの方法

RTを除外したい ツイッターAPIを利用してツイート検索をする時、リツイート(RT)を含まないオリジナルなツイートだけを取得したい場面もあると思います。そこで今回はいくつかのパターンに分けて、RTを除外する方法をご紹介したいと思います。取得例

【Pythonサンプルコード】Pandasで指定した列のユニークな要素と出現回数をリストとして取得する

ユニークな要素と出現回数をリストで取得したい Pandasを使って指定列のユニークな要素と、それに対応する出現回数が入ったリストの作り方をご紹介します。sample

【Python】IllegalCharacterErrorを回避する方法

Pandasでたまに出る「IllegalCharacterError」 スクレイピングや各種APIから文字データを取得し、Pandasでエクセルファイルに書き出そうとする時、たまに表示される「IllegalCharacterError」を回避する方法について調べてみました。

【Python】Flaskで表示された結果をHTMLファイルとして保存する

Flaskの表示結果をHTMLファイルとして保存したい Pythonの軽量webフレームワーク「Flask」を使えば、ユーザーからの入力に対して簡単に動的なhtmlを返す事ができます。ただFlaskで表示される結果は基本的に一時的なものであり、特に設定をしない限り表示され…

【Pythonサンプルコード】なろう全作品情報一括取得ファイルに『作者』に関する集計項目を追加するPythonコード

以前、全なろう作品の情報を全項目・全取得が入ったエクセルファイルを出力するPythonコードをご紹介しました。 karupoimou.hatenablog.com 今回は、そのコードで出力したエクセルファイルに対して「作者」に関する集計項目を新たに追加するPythonコードを紹…

【Pythonサンプルコード】tweepyでURLが含まれるツイートを抽出する:expanded_url

ツイートに含まれるURLは省略されている ツイッターAPIを扱う代表的なPythonモジュールとして「tweepy」があり、tweepyを使うことで簡単にツイートのデータを検索したり、ツイート内容を抽出したりできます。これを利用することで「ツイートに含まれるURL」…

Pythonでデータの正規性を確認するサンプルコード

データの正規性を確認する 様々な統計学的な検定において、解析対象データが正規性のあるもの(パラメトリック)か、非正規(ノンパラメトリック)なものでは、適切な検定方法がことなるため、最初にデータの正規性を確認する必要があります。 そこで今回は…

『なろう小説API』のアップデートが来ていたらしい件

なろう小説APIがこっそりアップデート https://t.co/hIJbV6Jq3q> 出力要素の追加について(2019/8/20)> 小説情報の出力要素に感想数、期間別ポイントを表す項目を追加しました。ちょおおおおおおおおっ!?すごいアップデートが来てるジャン!? pic.twitter.…

【Python】なろう小説APIの活用例:Nコードのリストを使って作品タイトル入りhtmlリンクを生成するサンプルコード

なろう小説APIとPythonを組み合わせる なろう小説API - なろうデベロッパーが提供している「なろう小説API」を使うことで色々なことができます。 そこで今回はNコードのリストを使って「作品タイトル入りのhtmlリンクタグ」を自動的に生成するサンプルコード…

【Pythonサンプルコード】サブフォルダを含め、フォルダ内の総ファイルの総ファイルサイズを取得する方法

フォルダ内の総ファイル数と総ファイルサイズを把握する レンタルサーバーなどではファイル数・ファイルサイズに上限が指定されているため、これらを把握することは重要です。そしてそれらを把握するための機能は大抵のサーバーには付いていますが、リアルタ…

【たった2ステップで完了】pipでインストール済みPythonモジュールを一括アップデートする最も簡単な方法

ステップ①「pip-review」のインストール pip install pip-review ステップ②「pip-review」の実行 pip-review --auto pip-review --auto以上の操作でインストール済みpythonモジュールを一括アップデートすることができます。 解説 「pip-review」モジュール…

【Pythonサンプルコード】webページに含まれる全ての表データを1つのエクセルファイルに保存する【Pandas】

webページの表データをエクセルファイルとして取得する webページに含まれる「表データ」を取得したいという場面はたまにあるかと思います。 その様な場面の時のために、URLを指定するだけで、指定したページに存在する全ての表データを1つのエクセルファイ…

matplotlibスタイルのサンブル

matplotlibのスタイル Pythonのmatplotlibでは最初から複数の「スタイル」が含まれているため、これらを使うことによって簡単におしゃれなデザインのグラフを作ることが出来ます。 ただ、探してみたところ、スタイルのサンプルを一覧にしたページが見当たら…

【Python】Matplotlibでグリッドを消す方法

コード plt.grid(False) このコードの指定はスタイルでの指定より優先される。逆に表示したい場合は plt.grid(True) とすればよい。サンプル

Pythonで外部ファイルの関数を参照して実行する方法

関数を外部ファイル化する Pythonでは関数を外部ファイルに保存し、それを参照して実行するということができます。ここではもっともシンプルな外部参照の方法について紹介したいと思います。コード

2019年7月 ツイッター強制変更新UIへの対応:最適な画像サイズを検証

PC版ツイッターUIが強制変更に 2019年7月、PC版ツイッターのUIが強制変更となった様です。新UIは以前から存在していましたが、以前は旧UIを選択して使うことができていました。しかし今回はそれがもはや出来ず、強制変更となってしまった様です。www.itmedia…

【Pythonサンプルコード】フォルダ内のファイル名一覧のリストを取得して、更新時刻が古い順にファイルを削除していくコード

ディスク容量を空ける作業を自動化する ツイッターbotなどで自動的にファイルが生成されるように設定してあるサーバーの場合、ファイルを定期的に削除しなければいつかディスクが一杯になってしまいます。 そこで今回は、ファイルが一定数貯まると、自動で古…

最近書いた記事のまとめ『なろう分析』『Pythonサンプルコード』など

なろう分析 禁断のなろうR-18分析 なろう書籍化作家分析 なろう戦歴確認メーカー アクセス解析グラフ化 なろう小説簡単分析プラグインアップデート その他 セルバンテス更新情報ツイートbot Pythonサンプルコード 以前書いたスクレイピング・ワードクラウド…

【Python】リスト型の変数をそのまま外部ファイルに書き込み/読み出しするサンプルコード

リストを外部ファイルに保存する Pythonにおいて多用されるリスト型の変数を簡単に外部ファイルに書き込み/読み出しする方法をご紹介します。joblib

Pythonの軽量webフレームワーク「Flask」でフォーム送信 GET/POST通信を行うサンプルコード

Flaskを使えばフォーム送信で動的なwebページが簡単に作れる Pythonの軽量webフレームワークとして有名な「Flask」ここではそのFlaskを用いてフォーム送信 GET/POST通信を行うwebページの簡単な作り方をご紹介します。作例

【Pythonサンプルコード】スクレイピングで「特定の文字列を含む行」だけを抽出したい時の簡単な方法を解説

「特定の文字列を含む行」だけを抽出したい Pythonスクレイピングで特定の場所にあるテキストを抽出するとき、「タグ」や「class_」や「id」などで場所を指定するのが一般的です。ただそれ以外の方法としてテキストを指定して抽出する方法もあるので、ご紹介…

【Pythonサンプルコード】スクレイピングで文字列から数字だけ抽出したい時の簡単な方法を解説

文字列から数字だけを抽出したい Pythonでスクレイピングする時、抽出したい対象が「22,323アクセス」の様に、単純な数字だけではなく要らないテキストも一緒にくっついている場合があります。そこで今回は簡単にこの様な文字列から数字だけ抜き出す方法をご…

【Python】tweepyを使ってツイートを全取得し、エクセルファイルに落とし込む

Pythonでツイートを全取得する ここではPythonのtweepyプラグインを使ってツイートを全取得する方法をご紹介したいと思います。全ツイート取得例

なろうR-18作品の書籍化情報を全取得するPythonコード

ノク・ムン・ミッドの出版情報を全取得する 取得例前回のなろう作品の書籍化情報を全取得するPythonコードに引き続き、なろうR-18サイトの書籍化情報を一括取得するPythonコードを書きましたので公開します!

なろう作品の書籍化情報を全取得するPythonコード

書籍化情報をエクセルファイルに落とし込む なろう作品の書籍化情報を全部まとめて1つのエクセルファイルに落とし込むPythonコードを書きましたので公開したいと思います。出力ファイルの例2019-10-02 追記: Pythonコードをなろう書報ページにリニューアル…

【Pythonスクレイピング】なろう作品の小説情報(ポイント数・ブクマ数ect)をエクセルファイルに記録するPythonコード

なろう作品のポイント数・ブクマ数を経時的に記録する エクセルファイルPythonスクレイピングを用いて、なろう作品の小説情報ページにアクセスして、現在のpt数・ブクマ数・感想数・レビュー数を取得するコードです。このコードを用いることで、経時的に小説…

Pythonファイルをバッチファイル(.bat)から実行する方法

.pyファイルを実行する方法はいくつかあります。ここではその中でも、様々な応用が可能なバッチファイルから.pyファイルを実行する方法を紹介します。バッチファイル バッチファイルから起動する利点 ソースコードの紹介の前にバッチファイルから起動する利…

Pythonの変数を一時書き出ししておく「joblib」と「pickle」を徹底的に比較する。

Pythonの変数をそのまま一時保存しておきたい Pythonのオブジェクトを一時的に保存しおく方法には「csv書き出し」や「pickle」を使うなどの方法があります。しかし「csvでは読み書きの作業が面倒」「pickleではファイルサイズが大きくなりがち」という問題が…