プログラミング
PC版ツイッターUIが強制変更に 2019年7月、PC版ツイッターのUIが強制変更となった様です。新UIは以前から存在していましたが、以前は旧UIを選択して使うことができていました。しかし今回はそれがもはや出来ず、強制変更となってしまった様です。www.itmedia…
ディスク容量を空ける作業を自動化する ツイッターbotなどで自動的にファイルが生成されるように設定してあるサーバーの場合、ファイルを定期的に削除しなければいつかディスクが一杯になってしまいます。 そこで今回は、ファイルが一定数貯まると、自動で古…
なろう分析 禁断のなろうR-18分析 なろう書籍化作家分析 なろう戦歴確認メーカー アクセス解析グラフ化 なろう小説簡単分析プラグインアップデート その他 セルバンテス更新情報ツイートbot Pythonサンプルコード 以前書いたスクレイピング・ワードクラウド…
リストを外部ファイルに保存する Pythonにおいて多用されるリスト型の変数を簡単に外部ファイルに書き込み/読み出しする方法をご紹介します。joblib
Flaskを使えばフォーム送信で動的なwebページが簡単に作れる Pythonの軽量webフレームワークとして有名な「Flask」ここではそのFlaskを用いてフォーム送信 GET/POST通信を行うwebページの簡単な作り方をご紹介します。作例
「特定の文字列を含む行」だけを抽出したい Pythonスクレイピングで特定の場所にあるテキストを抽出するとき、「タグ」や「class_」や「id」などで場所を指定するのが一般的です。ただそれ以外の方法としてテキストを指定して抽出する方法もあるので、ご紹介…
文字列から数字だけを抽出したい Pythonでスクレイピングする時、抽出したい対象が「22,323アクセス」の様に、単純な数字だけではなく要らないテキストも一緒にくっついている場合があります。そこで今回は簡単にこの様な文字列から数字だけ抜き出す方法をご…
Pythonでツイートを全取得する ここではPythonのtweepyプラグインを使ってツイートを全取得する方法をご紹介したいと思います。全ツイート取得例
ノク・ムン・ミッドの出版情報を全取得する 取得例前回のなろう作品の書籍化情報を全取得するPythonコードに引き続き、なろうR-18サイトの書籍化情報を一括取得するPythonコードを書きましたので公開します!
書籍化情報をエクセルファイルに落とし込む なろう作品の書籍化情報を全部まとめて1つのエクセルファイルに落とし込むPythonコードを書きましたので公開したいと思います。出力ファイルの例2019-10-02 追記: Pythonコードをなろう書報ページにリニューアル…
なろう作品のポイント数・ブクマ数を経時的に記録する エクセルファイルPythonスクレイピングを用いて、なろう作品の小説情報ページにアクセスして、現在のpt数・ブクマ数・感想数・レビュー数を取得するコードです。このコードを用いることで、経時的に小説…
Pythonのスプリクトファイル(.py)をWindowsで実行する方法はいくつかありますが、ここではその中でも、様々な応用が可能な「バッチファイル(.bat)」から.pyファイルを実行する方法を紹介したいと思います。バッチファイル
Pythonの変数をそのまま一時保存しておきたい Pythonのオブジェクトを一時的に保存しおく方法には「csv書き出し」や「pickle」を使うなどの方法があります。しかし「csvでは読み書きの作業が面倒」「pickleではファイルサイズが大きくなりがち」という問題が…
.pyファイルをCGIとしてそのまま実行するのには限界がある レンタルサーバーなどでpythonが使用できるサーバーはそこそこあります。ただし普通のやり方では重い処理や重いプラグインを呼び出す処理は「500 Internal Server Error」として処理を拒絶されたり…
pythonベースのWebフレームワークは様々ありますが、ハードルの低さとそこそこの機能を兼ね備えているのはおそらく「Flask」です。そこで、今回はPython3.7 windows10環境に「Flask」を入れて、最小構成で起動するところまでのチュートリアルを解説したいと…
jinja2でのhtml出力例pythonで動的にhtmlを表示する方法を探していたところFlaskなどにも使われている「Jinja2」を使うのが良さそうだったので少しいじってみました。
ここではスクレイピングやwebAPIを利用する際にリクエスト先のURLを変数的に扱う方法についてご紹介したいと思います。URL文字列操作
SSHクライアントを使わずにwin10のコマンドプロンプトから直接XREAサーバーにSSH接続する方法について解説したいと思います。 準備 XREAのSSH接続IPを許可する設定 ログイン | XREA Control Panelに行き、「SSH接続IPを許可する」ボタンを押すXREA※なおこの…
Pythonのワードクラウドで使えるカラーマップ一覧 PythonのWordCloudパッケージでは”matplotlib”にあるカラーマップが使用できます。ここでは実際にワードクラウドを使ったときの全種類のカラーマップ表示例一覧をご紹介します。表示例
tweepyでのツイートこの記事は古いです。2022年現時点ではTwitter API V2がリリースされ、tweepyのバージョンも上がっているため、この記事の通りにしても動かない可能性があります pythonではツイッターAPIを利用するパッケージはいくつかありますが、その…
この度ツイッターのTwitter API Keyを取得したので、そのやりとりの記録とPythonでTwitter API Keyを使ってツイートするサンプルコードを紹介したいと思います。tweepyでのツイート
IndexError: list index out of rangeスクレイピングでwebページのある表の1つのセルだけを抜き出すのは簡単です。 BeautifulSoupのcssセレクタを使えば一瞬です。【Pythonスクレイピング】 BeautifulSoupのCSSセレクタで『特定のTD・TRタグ要素』を抜き出…
日付の計算は「datetime」「timedelta」を使う pythonで日付をカウントするサンプルコードの例pythonでの日付の取得には「datetime」関数を使います。
Pythonでスクレイピングをする時、年齢確認ページなどのクッキー認証がハードルになる時があります。ここではPythonスクレイピングでもっとも一般的な「requests.get」を使って、単純なcookieの値をそのまま持たせることで、クッキー認証を回避する方法を紹…
BeautifulSoupのCSSセレクタは便利 Pythonでスクレイピングするときに第一選択となるのが「BeautifulSoup」BeautifulSoupを使えばCSSの特定の要素だけを抜き出すことが簡単にできます。 しかし、webページによくある”表”の中の特定の要素だけを抜き出したい…
不要なアニメーション設定を切る このアニメーションというのは、フォルダを開いたときなどに”ぬっ”と下から表示されるように見える機能ですが、99%の人にとって不要でPC操作を遅くするだけのものだと思います。なので無効化していまいましょう。「スタート…
なろう18禁小説APIの”全作品情報データ”を取得する なろう18禁小説API全取得の例なろうが提供するAPIには、「なろう小説API」とは別に『なろう18禁小説API』という物があります。https://dev.syosetu.com/xman/api/:なろう18禁小説API(なろうディベロッパ…
pythonを使ってなろうの全ての情報を取得する なろうが提供する「なろう小説API」を用いて、なろうに存在するすべての小説情報データを全件取得するコードです。 とりあず手元になろうの全件データセットを持った上で解析を行いたい人向けの「全部をすべて取…
Python3.7のインストール karupoimou.hatenablog.com普段Anacondaを使っている方は、pipでパッケージをインストールするのを忘れないようにしましょう。 .pyファイルの作成 .pyを実行する方法として、.bat(バッチファイル)を挟んでから実行するやり方もあり…
Pythonのインストーラは最低限しか設定してくれない Anacondaを入れることによって簡単に使うことができるPythonですが、「バッチファイルでタスクスケジューラーによって.pyファイルを定期実行する」みたいな場面を考えた時に、「.pyファイルをそのまま処理…