なろう分析記録

『小説家になろう』をふくめ『ネット小説投稿サイト』を分析する。コード置き場,主にPython,javascript,たまに創作。

プログラミング

2019年7月 ツイッター強制変更新UIへの対応:最適な画像サイズを検証

PC版ツイッターUIが強制変更に 2019年7月、PC版ツイッターのUIが強制変更となった様です。新UIは以前から存在していましたが、以前は旧UIを選択して使うことができていました。しかし今回はそれがもはや出来ず、強制変更となってしまった様です。www.itmedia…

【Pythonサンプルコード】フォルダ内のファイル名一覧のリストを取得して、更新時刻が古い順にファイルを削除していくコード

ディスク容量を空ける作業を自動化する ツイッターbotなどで自動的にファイルが生成されるように設定してあるサーバーの場合、ファイルを定期的に削除しなければいつかディスクが一杯になってしまいます。 そこで今回は、ファイルが一定数貯まると、自動で古…

最近書いた記事のまとめ『なろう分析』『Pythonサンプルコード』など

なろう分析 禁断のなろうR-18分析 なろう書籍化作家分析 なろう戦歴確認メーカー アクセス解析グラフ化 なろう小説簡単分析プラグインアップデート その他 セルバンテス更新情報ツイートbot Pythonサンプルコード 以前書いたスクレイピング・ワードクラウド…

【Python】リスト型の変数をそのまま外部ファイルに書き込み/読み出しするサンプルコード

リストを外部ファイルに保存する Pythonにおいて多用されるリスト型の変数を簡単に外部ファイルに書き込み/読み出しする方法をご紹介します。joblib

Pythonの軽量webフレームワーク「Flask」でフォーム送信 GET/POST通信を行うサンプルコード

Flaskを使えばフォーム送信で動的なwebページが簡単に作れる Pythonの軽量webフレームワークとして有名な「Flask」ここではそのFlaskを用いてフォーム送信 GET/POST通信を行うwebページの簡単な作り方をご紹介します。作例

【Pythonサンプルコード】スクレイピングで「特定の文字列を含む行」だけを抽出したい時の簡単な方法を解説

「特定の文字列を含む行」だけを抽出したい Pythonスクレイピングで特定の場所にあるテキストを抽出するとき、「タグ」や「class_」や「id」などで場所を指定するのが一般的です。ただそれ以外の方法としてテキストを指定して抽出する方法もあるので、ご紹介…

【Pythonサンプルコード】スクレイピングで文字列から数字だけ抽出したい時の簡単な方法を解説

文字列から数字だけを抽出したい Pythonでスクレイピングする時、抽出したい対象が「22,323アクセス」の様に、単純な数字だけではなく要らないテキストも一緒にくっついている場合があります。そこで今回は簡単にこの様な文字列から数字だけ抜き出す方法をご…

【Python】tweepyを使ってツイートを全取得し、エクセルファイルに落とし込む

Pythonでツイートを全取得する ここではPythonのtweepyプラグインを使ってツイートを全取得する方法をご紹介したいと思います。全ツイート取得例

なろうR-18作品の書籍化情報を全取得するPythonコード

ノク・ムン・ミッドの出版情報を全取得する 取得例前回のなろう作品の書籍化情報を全取得するPythonコードに引き続き、なろうR-18サイトの書籍化情報を一括取得するPythonコードを書きましたので公開します!

なろう作品の書籍化情報を全取得するPythonコード

書籍化情報をエクセルファイルに落とし込む なろう作品の書籍化情報を全部まとめて1つのエクセルファイルに落とし込むPythonコードを書きましたので公開したいと思います。出力ファイルの例2019-10-02 追記: Pythonコードをなろう書報ページにリニューアル…

【Pythonスクレイピング】なろう作品の小説情報(ポイント数・ブクマ数ect)をエクセルファイルに記録するPythonコード

なろう作品のポイント数・ブクマ数を経時的に記録する エクセルファイルPythonスクレイピングを用いて、なろう作品の小説情報ページにアクセスして、現在のpt数・ブクマ数・感想数・レビュー数を取得するコードです。このコードを用いることで、経時的に小説…

Pythonファイルをバッチファイル(.bat)から実行する方法

Pythonのスプリクトファイル(.py)をWindowsで実行する方法はいくつかありますが、ここではその中でも、様々な応用が可能な「バッチファイル(.bat)」から.pyファイルを実行する方法を紹介したいと思います。バッチファイル

Pythonの変数を一時書き出ししておく「joblib」と「pickle」を徹底的に比較する。

Pythonの変数をそのまま一時保存しておきたい Pythonのオブジェクトを一時的に保存しおく方法には「csv書き出し」や「pickle」を使うなどの方法があります。しかし「csvでは読み書きの作業が面倒」「pickleではファイルサイズが大きくなりがち」という問題が…

pythonファイルをCGIとしてレンタルサーバー上でphp経由でCorn実行することで「500 Internal Server Error」を回避する方法

.pyファイルをCGIとしてそのまま実行するのには限界がある レンタルサーバーなどでpythonが使用できるサーバーはそこそこあります。ただし普通のやり方では重い処理や重いプラグインを呼び出す処理は「500 Internal Server Error」として処理を拒絶されたり…

Python3.7 windows10環境で『Flask』の最小構成を試す

pythonベースのWebフレームワークは様々ありますが、ハードルの低さとそこそこの機能を兼ね備えているのはおそらく「Flask」です。そこで、今回はPython3.7 windows10環境に「Flask」を入れて、最小構成で起動するところまでのチュートリアルを解説したいと…

Python3.7でテンプレートエンジン『Jinja2』を使う方法

jinja2でのhtml出力例pythonで動的にhtmlを表示する方法を探していたところFlaskなどにも使われている「Jinja2」を使うのが良さそうだったので少しいじってみました。

【Pythonプログラミング】配列を使ったテキスト操作 URLの作成

ここではスクレイピングやwebAPIを利用する際にリクエスト先のURLを変数的に扱う方法についてご紹介したいと思います。URL文字列操作

【XREAサーバー】win10のコマンドプロンプトから直接XREAサーバーにSSH接続する方法について

SSHクライアントを使わずにwin10のコマンドプロンプトから直接XREAサーバーにSSH接続する方法について解説したいと思います。 準備 XREAのSSH接続IPを許可する設定 ログイン | XREA Control Panelに行き、「SSH接続IPを許可する」ボタンを押すXREA※なおこの…

【日本語文章の表示サンプルあり】Pythonのワードクラウドで使えるカラーマップ一覧✰ matplotlib/WordCloud✰

Pythonのワードクラウドで使えるカラーマップ一覧 PythonのWordCloudパッケージでは”matplotlib”にあるカラーマップが使用できます。ここでは実際にワードクラウドを使ったときの全種類のカラーマップ表示例一覧をご紹介します。表示例

Pythonで『tweepy』を使いこなす方法【テキスト・改行・複数画像添付】

tweepyでのツイートこの記事は古いです。2022年現時点ではTwitter API V2がリリースされ、tweepyのバージョンも上がっているため、この記事の通りにしても動かない可能性があります pythonではツイッターAPIを利用するパッケージはいくつかありますが、その…

【2019年版】Twitter API Keyの申請から取得とtweepyでツイートするサンプルコード

この度ツイッターのTwitter API Keyを取得したので、そのやりとりの記録とPythonでTwitter API Keyを使ってツイートするサンプルコードを紹介したいと思います。tweepyでのツイート

Pythonスクレイピングで「IndexError: list index out of range」を回避する方法 リストの長さを用いたif文での条件分岐

IndexError: list index out of rangeスクレイピングでwebページのある表の1つのセルだけを抜き出すのは簡単です。 BeautifulSoupのcssセレクタを使えば一瞬です。【Pythonスクレイピング】 BeautifulSoupのCSSセレクタで『特定のTD・TRタグ要素』を抜き出…

Pythonで日付の差分を計算し、スタート日から現在まで一日ずつ足していく。「datetime」「timedelta」を使う方法

日付の計算は「datetime」「timedelta」を使う pythonで日付をカウントするサンプルコードの例pythonでの日付の取得には「datetime」関数を使います。

【Pythonスクレイピング】requests.getでcookieが必要な年齢確認ページなどを回避する方法

Pythonでスクレイピングをする時、年齢確認ページなどのクッキー認証がハードルになる時があります。ここではPythonスクレイピングでもっとも一般的な「requests.get」を使って、単純なcookieの値をそのまま持たせることで、クッキー認証を回避する方法を紹…

【Pythonスクレイピング】 BeautifulSoupのCSSセレクタで『特定のTD・TRタグ要素』を抜き出す方法

BeautifulSoupのCSSセレクタは便利 Pythonでスクレイピングするときに第一選択となるのが「BeautifulSoup」BeautifulSoupを使えばCSSの特定の要素だけを抜き出すことが簡単にできます。 しかし、webページによくある”表”の中の特定の要素だけを抜き出したい…

【2019年版】windows10を快適に使うオススメ設定

不要なアニメーション設定を切る このアニメーションというのは、フォルダを開いたときなどに”ぬっ”と下から表示されるように見える機能ですが、99%の人にとって不要でPC操作を遅くするだけのものだと思います。なので無効化していまいましょう。「スタート…

『なろう18禁小説API』の全作品・全項目データを取得するPythonスクリプト※コード改良しました

なろう18禁小説APIの”全作品情報データ”を取得する なろう18禁小説API全取得の例なろうが提供するAPIには、「なろう小説API」とは別に『なろう18禁小説API』という物があります。https://dev.syosetu.com/xman/api/:なろう18禁小説API(なろうディベロッパ…

『なろう小説API』を用いて、なろうの『全作品情報データを一括取得する』Pythonスクリプト※コード改良しました

pythonを使ってなろうの全ての情報を取得する なろうが提供する「なろう小説API」を用いて、なろうに存在するすべての小説情報データを全件取得するコードです。 とりあず手元になろうの全件データセットを持った上で解析を行いたい人向けの「全部をすべて取…

windows10でPythonスクリプトを定期的に自動実行する方法 タスクスケジューラ

Python3.7のインストール karupoimou.hatenablog.com普段Anacondaを使っている方は、pipでパッケージをインストールするのを忘れないようにしましょう。 .pyファイルの作成 .pyを実行する方法として、.bat(バッチファイル)を挟んでから実行するやり方もあり…

【windows10】Python3.7をインストールしてpathを通して、pipでパッケージを入れる

Pythonのインストーラは最低限しか設定してくれない Anacondaを入れることによって簡単に使うことができるPythonですが、「バッチファイルでタスクスケジューラーによって.pyファイルを定期実行する」みたいな場面を考えた時に、「.pyファイルをそのまま処理…