なろう分析記録

『小説家になろう』をふくめ『ネット小説投稿サイト』を分析する。コード置き場,主にPython,javascript,たまに創作。

Pythonでデータの正規性を確認するサンプルコード

データの正規性を確認する

様々な統計学的な検定において、解析対象データが正規性のあるもの(パラメトリック)か、非正規(ノンパラメトリック)なものでは、適切な検定方法がことなるため、最初にデータの正規性を確認する必要があります。
そこで今回は、簡単にデータの正規性を確認するためのサンプルコードをご紹介したいと思います。

f:id:karupoimou:20190831185529p:plain:w400
正規性の確認

データの正規性を確認するサンプルコード

import numpy as np 
from numpy.random import *
from scipy import stats
import pandas as pd
import matplotlib.pyplot as plt

############ 検証データの準備 #############

#Pandasでエクセルからリストを持ってくる場合
df = pd.read_excel("data.xlsx")#読み込みxlsxファイル指定
excel_list = df["length"]#ここで列名を指定する

#numpyで生成
normal = randn(1000)#正規分布に従う乱数
randam = rand(1000)#非正規なただの乱数

############ 正規性確認の関数 #############

def check_norm(x):
    plt.hist(x, bins=100)#ヒストグラム表示

    plt.pause(.01)

    stats.probplot(x, dist="norm", plot=plt)#QQプロット表示
    plt.pause(.01)

    p=stats.shapiro(x)#シャピロウィルク検定
    print(p)

###### 確認したいリスト名を引数に指定 #####

check_norm(excel_list)
check_norm(normal)
check_norm(randam)

出力例

f:id:karupoimou:20190831185650p:plain
正規性の無いデータ

f:id:karupoimou:20190831185723p:plain
正規性のあるデータ

f:id:karupoimou:20190831185529p:plain:w400
正規性の無いデータ

参考にしたページ

note.mu
www.ie-kau.net

『なろう小説API』のアップデートが来ていたらしい件

なろう小説APIがこっそりアップデート

f:id:karupoimou:20190826234145p:plain:w400
なろう小説APIアップデート2018/08/20
なろう小説APIに「感想数」「期間別ポイント数」の項目が新たに追加されていた様です。

続きを読む

【Python】なろう小説APIの活用例:Nコードのリストを使って作品タイトル入りhtmlリンクを生成するサンプルコード

なろう小説APIPythonを組み合わせる

なろう小説API - なろうデベロッパーが提供している「なろう小説API」を使うことで色々なことができます。
そこで今回はNコードのリストを使って「作品タイトル入りのhtmlリンクタグ」を自動的に生成するサンプルコードをご紹介したいと思います。

f:id:karupoimou:20190814190257p:plain
出力例

続きを読む

【Pythonサンプルコード】サブフォルダを含め、フォルダ内の総ファイルの総ファイルサイズを取得する方法

フォルダ内の総ファイル数と総ファイルサイズを把握する

レンタルサーバーなどではファイル数・ファイルサイズに上限が指定されているため、これらを把握することは重要です。

そしてそれらを把握するための機能は大抵のサーバーには付いていますが、リアルタイムで細かい情報を取得することは出来ないことが多いため、具体的にどこでどのファイルがどれぐらいの容量を圧迫しているのかを把握することはなかなか難しいです。

そこで今回はPythonを使って「サブフォルダを含め、フォルダ内の総ファイルの総ファイルサイズ」を取得し、エクセルファイルに書き出すサンプルコードをご紹介したいと思います。

f:id:karupoimou:20190803025012p:plain:w400
サンプルコード

続きを読む

【たった2ステップで完了】pipでインストール済みPythonモジュールを一括アップデートする最も簡単な方法

ステップ①「pip-review」のインストール

pip install pip-review

ステップ②「pip-review」の実行

pip-review --auto

f:id:karupoimou:20190728185526p:plain
pip-review --auto
以上の操作でインストール済みpythonモジュールを一括アップデートすることができます。

解説

「pip-review」モジュールを使うことで、アップデートの確認からアップデートの実行までを自動で行うことが出来ます。

補足:pip自体のアップデート

pip install --upgrade pip

事前に現在の環境をファイルに書き出しておく

pip freeze > requirements.txt

f:id:karupoimou:20191008071551p:plain:w400
requirements.txt
事前にrequirements.txtを書き出して、ファイルに保存しておけば万が一アップデート後に動かなくなっても、元の環境に戻すことができます。

requirements.txtからpipインストールする方法

pip install -r requirements.txt