はじめに 前回、【Python】なろう作品の「http://」画像の存在をチェックするサンプルコードという記事を書きましたが、よく考えてみると非SSL（HTTP）サイトからの画像引用は小説家になろうに限らず行われていることであり対応が必要です。Flashを用いたweb…
非SSL(HTTP)サイトの画像は標準で表示されなくなる 画像設定項目見直しのお願い - 小説家になろうグループ公式ブログ blog.syosetu.com昨今、ほとんどのwebサイトでは、よりセキュリティ性の高いSSLに対応していますが、まだ一部では従来の非SSLサイトも存在…
RTを除外したい ツイッターAPIを利用してツイート検索をする時、リツイート（RT）を含まないオリジナルなツイートだけを取得したい場面もあると思います。そこで今回はいくつかのパターンに分けて、RTを除外する方法をご紹介したいと思います。取得例
ユニークな要素と出現回数をリストで取得したい Pandasを使って指定列のユニークな要素と、それに対応する出現回数が入ったリストの作り方をご紹介します。sample
Pandasでたまに出る「IllegalCharacterError」 スクレイピングや各種APIから文字データを取得し、Pandasでエクセルファイルに書き出そうとする時、たまに表示される「IllegalCharacterError」を回避する方法について調べてみました。
Flaskの表示結果をHTMLファイルとして保存したい Pythonの軽量webフレームワーク「Flask」を使えば、ユーザーからの入力に対して簡単に動的なhtmlを返す事ができます。ただFlaskで表示される結果は基本的に一時的なものであり、特に設定をしない限り表示され…
以前、全なろう作品の情報を全項目・全取得が入ったエクセルファイルを出力するPythonコードをご紹介しました。 karupoimou.hatenablog.com 今回は、そのコードで出力したエクセルファイルに対して「作者」に関する集計項目を新たに追加するPythonコードを紹…
PythonでMySQLを操作する バリューサーバーのMySQLをPythonで操作する方法についてのメモ 準備 pip pip install PyMySQL pythonでMySQLを扱うためのモジュールはいくつか存在しますが、今回は「PyMySQL」を使用。
ツイートに含まれるURLは省略されている ツイッターAPIを扱う代表的なPythonモジュールとして「tweepy」があり、tweepyを使うことで簡単にツイートのデータを検索したり、ツイート内容を抽出したりできます。これを利用することで「ツイートに含まれるURL」…
データの正規性を確認する 様々な統計学的な検定において、解析対象データが正規性のあるもの（パラメトリック）か、非正規（ノンパラメトリック）なものでは、適切な検定方法がことなるため、最初にデータの正規性を確認する必要があります。 そこで今回は…
なろう小説APIがこっそりアップデート https://t.co/hIJbV6Jq3q> 出力要素の追加について(2019/8/20)> 小説情報の出力要素に感想数、期間別ポイントを表す項目を追加しました。ちょおおおおおおおおっ！？すごいアップデートが来てるジャン！？ pic.twitter.…
なろう小説APIとPythonを組み合わせる なろう小説API - なろうデベロッパーが提供している「なろう小説API」を使うことで色々なことができます。 そこで今回はNコードのリストを使って「作品タイトル入りのhtmlリンクタグ」を自動的に生成するサンプルコード…
フォルダ内の総ファイル数と総ファイルサイズを把握する レンタルサーバーなどではファイル数・ファイルサイズに上限が指定されているため、これらを把握することは重要です。そしてそれらを把握するための機能は大抵のサーバーには付いていますが、リアルタ…
ステップ①「pip-review」のインストール pip install pip-review ステップ②「pip-review」の実行 pip-review --auto pip-review --auto以上の操作でインストール済みpythonモジュールを一括アップデートすることができます。 解説 「pip-review」モジュール…
webページの表データをエクセルファイルとして取得する webページに含まれる「表データ」を取得したいという場面はたまにあるかと思います。 その様な場面の時のために、URLを指定するだけで、指定したページに存在する全ての表データを1つのエクセルファイ…
matplotlibのスタイル Pythonのmatplotlibでは最初から複数の「スタイル」が含まれているため、これらを使うことによって簡単におしゃれなデザインのグラフを作ることが出来ます。 ただ、探してみたところ、スタイルのサンプルを一覧にしたページが見当たら…
コード plt.grid(False) このコードの指定はスタイルでの指定より優先される。逆に表示したい場合は plt.grid(True) とすればよい。サンプル
関数を外部ファイル化する Pythonでは関数を外部ファイルに保存し、それを参照して実行するということができます。ここではもっともシンプルな外部参照の方法について紹介したいと思います。コード
PC版ツイッターUIが強制変更に 2019年7月、PC版ツイッターのUIが強制変更となった様です。新UIは以前から存在していましたが、以前は旧UIを選択して使うことができていました。しかし今回はそれがもはや出来ず、強制変更となってしまった様です。www.itmedia…
ディスク容量を空ける作業を自動化する ツイッターbotなどで自動的にファイルが生成されるように設定してあるサーバーの場合、ファイルを定期的に削除しなければいつかディスクが一杯になってしまいます。 そこで今回は、ファイルが一定数貯まると、自動で古…
なろう分析 禁断のなろうR-18分析 なろう書籍化作家分析 なろう戦歴確認メーカー アクセス解析グラフ化 なろう小説簡単分析プラグインアップデート その他 セルバンテス更新情報ツイートbot Pythonサンプルコード 以前書いたスクレイピング・ワードクラウド…
リストを外部ファイルに保存する Pythonにおいて多用されるリスト型の変数を簡単に外部ファイルに書き込み/読み出しする方法をご紹介します。joblib
Flaskを使えばフォーム送信で動的なwebページが簡単に作れる Pythonの軽量webフレームワークとして有名な「Flask」ここではそのFlaskを用いてフォーム送信 GET/POST通信を行うwebページの簡単な作り方をご紹介します。作例
「特定の文字列を含む行」だけを抽出したい Pythonスクレイピングで特定の場所にあるテキストを抽出するとき、「タグ」や「class_」や「id」などで場所を指定するのが一般的です。ただそれ以外の方法としてテキストを指定して抽出する方法もあるので、ご紹介…
文字列から数字だけを抽出したい Pythonでスクレイピングする時、抽出したい対象が「22,323アクセス」の様に、単純な数字だけではなく要らないテキストも一緒にくっついている場合があります。そこで今回は簡単にこの様な文字列から数字だけ抜き出す方法をご…
Pythonでツイートを全取得する ここではPythonのtweepyプラグインを使ってツイートを全取得する方法をご紹介したいと思います。全ツイート取得例
ノク・ムン・ミッドの出版情報を全取得する 取得例前回のなろう作品の書籍化情報を全取得するPythonコードに引き続き、なろうR-18サイトの書籍化情報を一括取得するPythonコードを書きましたので公開します！
書籍化情報をエクセルファイルに落とし込む なろう作品の書籍化情報を全部まとめて１つのエクセルファイルに落とし込むPythonコードを書きましたので公開したいと思います。出力ファイルの例2019-10-02 追記： Pythonコードをなろう書報ページにリニューアル…
前回記事に書いた「サイトマップが読み込まれない問題」 karupoimou.hatenablog.com 前回の結論 現在のはてなブログにおける「中身の書いてあるサイトマップ」は「sitemap.xml?page=1」であった。「sitemap.xml」には「sitemap.xml?page=1」へのリンクしか書…
なろう作品のポイント数・ブクマ数を経時的に記録する エクセルファイルPythonスクレイピングを用いて、なろう作品の小説情報ページにアクセスして、現在のpt数・ブクマ数・感想数・レビュー数を取得するコードです。このコードを用いることで、経時的に小説…
