なろう分析記録

『小説家になろう』をふくめ『ネット小説投稿サイト』を分析する。コード置き場,主にPython,javascript,たまに創作。

【Python】IllegalCharacterErrorを回避する方法

Pandasでたまに出る「IllegalCharacterError」

スクレイピングや各種APIから文字データを取得し、Pandasでエクセルファイルに書き出そうとする時、たまに表示される「IllegalCharacterError」を回避する方法について調べてみました。
f:id:karupoimou:20190929235500p:plain

続きを読む

【Python】Flaskで表示された結果をHTMLファイルとして保存する

Flaskの表示結果をHTMLファイルとして保存したい

Pythonの軽量webフレームワーク「Flask」を使えば、ユーザーからの入力に対して簡単に動的なhtmlを返す事ができます。

ただFlaskで表示される結果は基本的に一時的なものであり、特に設定をしない限り表示されたhtmlコードが何処かに保存されたりすることは有りません。

そこで今回はFlaskの表示結果をHTMLファイルとしてそのまま保存する方法をご紹介したいと思います。

f:id:karupoimou:20190917063652p:plain:w400
Flask

続きを読む

【Pythonサンプルコード】なろう全作品情報一括取得ファイルに『作者』に関する集計項目を追加するPythonコード

以前、全なろう作品の情報を全項目・全取得が入ったエクセルファイルを出力するPythonコードをご紹介しました。

 

karupoimou.hatenablog.com

 

今回は、そのコードで出力したエクセルファイルに対して「作者」に関する集計項目を新たに追加するPythonコードを紹介したいと思います。

続きを読む

メモ:レンタルサーバー上のMySQLにPythonでデータの出し入れ操作を行う

PythonMySQLを操作する

バリューサーバーのMySQLPythonで操作する方法についてのメモ

準備

pip

pip install PyMySQL

pythonMySQLを扱うためのモジュールはいくつか存在しますが、今回は「PyMySQL」を使用。

続きを読む

【Pythonサンプルコード】tweepyでURLが含まれるツイートを抽出する:expanded_url

ツイートに含まれるURLは省略されている

ツイッターAPIを扱う代表的なPythonモジュールとして「tweepy」があり、tweepyを使うことで簡単にツイートのデータを検索したり、ツイート内容を抽出したりできます。

これを利用することで「ツイートに含まれるURL」を集めることも簡単にできるかと思えば、残念ながらツイートに含まれるURLはこんな感じに短縮されておりそのままでは使えません。


f:id:karupoimou:20190906194530p:plain


そこで今回は、tweepyを使って「ツイートに含まれるURLをそのまま抽出する方法」をご紹介したいと思います。

続きを読む