なろう分析記録

『小説家になろう』をふくめ『ネット小説投稿サイト』を分析する。コード置き場,主にPython,javascript,たまに創作。

Pythonの変数を一時書き出ししておく「joblib」と「pickle」を徹底的に比較する。

Pythonの変数をそのまま一時保存しておきたい

Pythonのオブジェクトを一時的に保存しおく方法には「csv書き出し」や「pickle」を使うなどの方法があります。

しかし「csvでは読み書きの作業が面倒」「pickleではファイルサイズが大きくなりがち」という問題があります。

そこで「joblib」です。

ここでは「joblib.dump」を使ったリストの書き出しと「joblib.load」を使った読み込みについて解説します。

また「joblib」と「pickle」についてファイルサイズや処理時間などを比較してみたいと思います。

  • Pythonの変数をそのまま一時保存しておきたい
  • 準備
  • 「joblib」の使用方法
    • 書き出し
    • 読み出し
  • 「pickle」と「joblib」の比較
    • ファイルサイズの比較
      • 生成コード
      • ファイルサイズの結果
    • 書き込み速度の比較
      • 書き込み速度の結果
    • 読み込み時間の比較
      • 読み込み時間の結果
  • 比較結果まとめ
  • 結論
    • 参考ページ
続きを読む

pythonファイルをCGIとしてレンタルサーバー上でphp経由でCorn実行することで「500 Internal Server Error」を回避する方法

.pyファイルをCGIとしてそのまま実行するのには限界がある

レンタルサーバーなどでpythonが使用できるサーバーはそこそこあります。

ただし普通のやり方では重い処理や重いプラグインを呼び出す処理は「500 Internal Server Error」として処理を拒絶されたりします。

そんな時はphp経由で.pyを実行する方法が有効です。

ここではXREAサーバーを例に.pyphp経由CGIとして実行する方法を解説したいと思います。

f:id:karupoimou:20190521183208p:plain:w400
実行例

続きを読む

Python3.7 windows10環境で『Flask』の最小構成を試す

pythonベースのWebフレームワークは様々ありますが、ハードルの低さとそこそこの機能を兼ね備えているのはおそらく「Flask」です。

そこで、今回はPython3.7 windows10環境に「Flask」を入れて、最小構成で起動するところまでのチュートリアルを解説したいと思います。

続きを読む

Python3.7でテンプレートエンジン『Jinja2』を使う方法

f:id:karupoimou:20190520110822p:plain
jinja2でのhtml出力例
pythonで動的にhtmlを表示する方法を探していたところFlaskなどにも使われている「Jinja2」を使うのが良さそうだったので少しいじってみました。

続きを読む

【Pythonプログラミング】配列を使ったテキスト操作 URLの作成

ここではスクレイピングやwebAPIを利用する際にリクエスト先のURLを変数的に扱う方法についてご紹介したいと思います。

f:id:karupoimou:20190520053947p:plain:w400
URL文字列操作

続きを読む