Python on いつかの熊右衛門

Python：Google Calendar API を使う

Sat, 04 May 2024 16:53:18 +0900

長野市ごみ収集日の CSV ファイルを公開していますが、使うには少しハードルがありますよね。
カレンダーの共有リンクで自分のカレンダーに反映できたら楽だろうなと思っていたのですが、40 以上のカレンダーを手動で作って公開までする気にはならず、コードでできないか調べつつ書きました。
作成したカレンダーの共有リンクは先のページに反映しました。

Calendar API を使う

Calendar API のガイドに従い、以下のように必要なパッケージをインストールしておきます。

pip install --upgrade google-api-python-client google-auth-httplib2 google-auth-oauthlib

カレンダーを作成して共有リンクを得る

作成したコードの主な処理内容は以下の通り。
・長野市の地区毎に１つのカレンダーを作成
・そのカレンダーに、ごみ収集日を登録
・カレンダーを読み取り専用で一般公開
・カレンダーの共有リンクを取得
・公開ページで使う HTML の一部を作成
　これも手入力で作るのは辛い部分の HTML を作成しています。

認証は「OAuth クライアント ID」で行っており、作成した認証の json ファイルはダウンロードして credentials.json にリネームしています。

カレンダーの共有リンクを取得する方法が API リファレンスなどでは見つからず、コードの作成は無理かと思いましたが Stack Overflow で見つかったので、そのまま流用しました。

収集日を１つずつ登録していくので結構時間が掛かります。
また、一度に全て実行すると無料枠を超えそうなので実際は地区を分け、日を変えて登録しました。

import base64
import csv
import os.path

from google.auth.transport.requests import Request
from google.oauth2.credentials import Credentials
from google_auth_oauthlib.flow import InstalledAppFlow
from googleapiclient.discovery import build
from googleapiclient.errors import HttpError

# Scopesを変更する場合は、token.jsonファイルを削除してください。
SCOPES = ["https://www.googleapis.com/auth/calendar"]


def getCredentials():
 creds = None
 # token.jsonファイルには、ユーザーのアクセストークンとリフレッシュトークンが保存されており、
 # 認証フローが初めて完了したときに自動的に作成されます。
 if os.path.exists("token.json"):
 creds = Credentials.from_authorized_user_file("token.json", SCOPES)
 # 有効な資格情報がない場合は、ユーザーにログインしてもらいます。
 if not creds or not creds.valid:
 if creds and creds.expired and creds.refresh_token:
 creds.refresh(Request())
 else:
 flow = InstalledAppFlow.from_client_secrets_file(
 "credentials.json", SCOPES
 )
 creds = flow.run_local_server(port=0)
 # 次回の実行のために資格情報を保存します
 with open("token.json", "w") as token:
 token.write(creds.to_json())
 return creds


# 共有リンクのcidを取得
# https://stackoverflow.com/questions/55150173/google-calendar-get-shareable-link-via-api-get-cid-value-for-a-calendar
def getCalenderCID(calendarId):
 calendarId_bytes = calendarId.encode("utf-8")
 cid_base64 = base64.b64encode(calendarId_bytes)
 cid = cid_base64.decode().rstrip("=")
 return cid


# 新しいカレンダーを作成
def createCalendar(service, calendarName, description):
 # 新しいカレンダーを作成
 calendar = {
 "summary": calendarName,
 "description": description,
 "timeZone": "Asia/Tokyo",
 }
 request = service.calendars().insert(body=calendar).execute()
 # カレンダーIDを取得
 calendarId = request["id"]
 return calendarId


# CSVファイルからイベントをインポート
def importEvents(service, calendarId, csvFile):
 with open(csvFile, "r", encoding="utf-8") as f:
 reader = csv.reader(f)
 next(reader) # ヘッダー行を読み飛ばす
 for row in reader:
 # CSVファイルから予定データを取得
 subject, start_date = row
 is_all_day = True # 終日イベント
 # イベントを作成
 event = {
 "summary": subject,
 "location": "",
 "start": {
 "date": start_date,
 "timeZone": "Asia/Tokyo",
 },
 "end": {
 "date": start_date,
 "timeZone": "Asia/Tokyo",
 },
 "allDay": is_all_day,
 }
 service.events().insert(
 calendarId=calendarId, body=event
 ).execute()
 print(f"イベントが作成されました: {subject}")


def main():
 credentials = getCredentials()
 service = build("calendar", "v3", credentials=credentials)

 trs = []
 with open("./2024/2024nagano_area.csv", "r", encoding="utf-8") as f:
 reader = csv.reader(f)
 next(reader) # ヘッダー行を読み飛ばす
 for row in reader:
 no, area = row
 no = no.zfill(2)
 print(f"{no}:{area}")
 csvFile = f"./2024/2024nagano_area{no}.csv"

 try:
 calendarName = f"長野市{no.zfill(2)}_ごみ収集日"
 calendarId = createCalendar(service, calendarName, area)
 print(f"カレンダーが作成されました: {calendarName}")
 importEvents(service, calendarId, csvFile)

 rule = {
 "scope": {
 "type": "default",
 },
 "role": "reader",
 }
 created_rule = (
 service.acl()
 .insert(calendarId=calendarId, body=rule)
 .execute()
 )
 print(created_rule)
 service.acl().list(calendarId=calendarId).execute()
 cid = getCalenderCID(calendarId)
 print(f"cid={cid}")
 sharedLink = f"https://calendar.google.com/calendar?cid={cid}"

 tr = (
 f"<tr>"
 f"<td>{no}</td>"
 f"<td><a href="
 f'"/images/2024/03/2024nagano_area{no}.csv" '
 f'download="">{area}</a></td>'
 f'<td><a href="{sharedLink}" '
 f'target="_blank" rel="noopener noreferrer">'
 f"カレンダーに追加</a></td>"
 f"</tr>"
 )
 trs.append(tr)

 except HttpError as error:
 print(f"エラーが発生しました: {error}")

 # 共有リンクを公開する際に使うHTMLを保存
 with open("./tbody.html", "w", encoding="utf-8") as f:
 f.write("\n".join(trs))


if __name__ == "__main__":
 main()

子ディレクトリの 2024 に置いたファイルですが、
・2024nagano_areaXX.csv は公開している CSV ファイル
　（但し収集対象の名称を短くする為に一部変更している）
・2024nagano_area.csv は以下の内容
です。

"no","area"
1,"第一"
2,"第二"
3,"第三"
4,"第四"
5,"第五"
6,"芹田"
7,"古牧"
8,"三輪"
9,"吉田"
10,"古里、朝陽"
11,"柳原、若穂"
12,"浅川"
13,"大豆島"
14,"若槻"
15,"長沼"
16,"安茂里"
17,"小田切"
18,"芋井"
19,"篠ノ井塩崎、篠ノ井共和、篠ノ井川柳、篠ノ井信里"
20,"篠ノ井東福寺、篠ノ井西寺尾"
21,"篠ノ井中央"
22,"松代"
23,"川中島"
24,"更北"
25,"七二会"
26,"信更"
27,"戸隠中社、戸隠宝光社、戸隠上楠川"
28,"戸隠北部、戸隠中央、戸隠東部、戸隠南部、戸隠川手、戸隠志垣"
29,"戸隠西部、戸隠平、戸隠西条、戸隠追通、戸隠上祖山、戸隠下祖山"
30,"鬼無里上里、鬼無里中央1"
31,"鬼無里中央2、鬼無里両京"
32,"大岡甲（川口を除く）、大岡中牧、大岡弘崎、大岡聖ヶ岡"
33,"大岡乙、大岡丙（聖ヶ岡を除く）、大岡川口"
34,"豊野南郷、豊野石、豊野西町、豊野上組、豊野立町、豊野南町、豊野中尾1・2"
35,"豊野横町、豊野伊豆毛、豊野上田中、豊野神代町、豊野本町1・2、豊野中尾1・2（一部）、豊野小瀬1、豊野泉平、豊野上神代、豊野豊陽台、豊野沖1・2、豊野中央組、豊野向原"
36,"豊野本町3・4・5、豊野東町、豊野小瀬2、豊野ゆたかの、豊野豊南町、豊野下田中"
37,"豊野浅野、豊野蟹沢、豊野入、豊野小日向、豊野上堰、豊野鳥居団地、豊野大方、豊野橋場、豊野上原、豊野蟻ケ崎、豊野城山、豊野川谷"
38,"信州新町旭町、信州新町仲町、信州新町上町、信州新町西上町、信州新町常磐町、信州新町鹿島東、信州新町鹿島西、信州新町大原東、信州新町大原西、信州新町下市場、信州新町牧野島（伊切を除く）、信州新町鹿道、信州新町鹿道団地"
39,"信州新町久保、信州新町本町、信州新町境町、信州新町千原田、信州新町平、信州新町和平団地、信州新町藤池団地、信州新町下川西平、信州新町太田笠子（石畑を除く）、信州新町穂刈下、信州新町穂刈中、信州新町穂刈上、信州新町穂刈北、信州新町穂刈団地、信州新町陽のあたる丘、信州新町大門、信州新町LR、信州新町原、信州新町道祖神"
40,"信州新町津和中央、信州新町山秋、信州新町中福、信州新町栃久保、信州新町中尾、信州新町菅沼、信州新町細尾、信州新町津上、信州新町外味藤、信州新町豊和、信州新町津南、信州新町中組、信州新町味藤、信州新町橋場、信州新町安用、信州新町風越、信州新町追沢、信州新町神田、信州新町花倉、信州新町二丁田、信州新町穴平、信州新町寺尾、信州新町矢ノ尻、信州新町峰組、信州新町枌ノ木、信州新町赤柴、信州新町石畑、信州新町尾崎、信州新町上古、信州新町芦沢、信州新町本村、信州新町大河、信州新町西日時"
41,"信州新町塩本、信州新町伊切、信州新町牧田中一、信州新町牧田中二、信州新町中牧一、信州新町中牧二、信州新町南牧住平、信州新町一倉田和、信州新町下中山、信州新町日名、信州新町和田吐唄、信州新町置原、信州新町橋木、信州新町左右、信州新町岩下、信州新町信級中央、信州新町高見、信州新町岩本、信州新町柳高、信州新町川名"
42,"中条"

Python：明示的にインストールしたパッケージの一覧を取得する

Sat, 13 Apr 2024 07:41:15 +0900

仮想環境（venv）で明示的にインストールしたパッケージの一覧を取得したく、pip freeze を使ったのですが、依存でインストールされたパッケージまで含まれているもので欲しい一覧になりませんでした。

調べた所、pip-chill パッケージで欲しかった一覧が取れたのでメモしておきます。
※ 但し、手元の環境で試した限りは意図しない一覧になる場合もあったので注意が必要そうです。
　→ 明示的にインストールしたものが依存先になっているパッケージをインストールしたとか。
　　(例) numpy インストール後に pandas をインストールすると numpy が出なくなる。
　　　これぐらいなら良いんですが、別パターンで私には意図が読めない結果の場合もありました。

pip-chill のインストールは以下でOK。

pip install pip-chill

この後 pip-chill を実行すると以下のエラーが発生したので、pip install setuptools を実行しました。

ModuleNotFoundError: No module named 'pkg_resources'

そして、pip install pandas した後の pip freeze と pip-chill の違いは以下の通り。

$ pip freeze
numpy==1.26.4
pandas==2.2.2
pip-chill==1.0.3
python-dateutil==2.9.0.post0
pytz==2024.1
setuptools==69.2.0
six==1.16.0
tzdata==2024.1

$ pip-chill
pandas==2.2.2
pip-chill==1.0.3

VSCode：Python の環境変数を .env ファイルに設定する

Sat, 06 Apr 2024 07:15:34 +0900

ワークスペースのフォルダ直下に .env ファイルを作成して環境変数を設定するメモ。

プロキシ環境下かつルート証明書の設定を定義した例。
プロキシの設定 http_proxy, https_proxy が無いと外部に繋がらない。
→ プロキシの値が https://proxy.example.com:8080 を例にした。
プロキシを使わない接続先を no_proxy に設定。
ルート証明書の設定が無いと https が繋がらない。
→ 例としてルート証明書のファイルをワークスペース直下に置いた。
また、REQUESTS_CA_BUNDLE で requests パッケージにルート証明書を示すことで検証してアクセスされる。
→ 引数 verify=False で検証を止める必要が無い。

定義済みの環境変数は ${…} で参照できるので、同じ値のものは参照で設定する。

http_proxy=https://proxy.example.com:8080
https_proxy=${http_proxy}
no_proxy="localhost, 127.0.0.1, ::1"
CA_BUNDLE=${workspaceFolder}/cacert.pem
REQUESTS_CA_BUNDLE=${CA_BUNDLE}

./.vscode/settings.json に .env ファイルを定義する。

{
	"python.envFile": "${workspaceFolder}/.env"
}

pytest：共通の前処理/後処理を作成する

Sat, 23 Mar 2024 18:46:48 +0900

@pytest.fixture デコレータで前処理/後処理が書けるので、テストで共通するログイン処理を前処理として作成した例です。

import requests
import pytest


@pytest.fixture
def login_session():
 with requests.Session() as session:
 res = session.post(
 "ログイン先のURL",
 data=(
 {
 "id": "kuma",
 "pass": "emon",
 }
 ),
 )
 if res.status_code != 200:
 raise Exception(res.text)
 yield session


def test_resource1(login_session):
 # login_session を使ってテスト
 res = login_session.get("リソースのURL")
 assert res.status_code == 200

with を使用したので後処理の記述が無いですが、以下のパターンで定義すれば良いです。

@pytest.fixture
def setup_teardown():
 # テストごとの事前処理
 # 例えば、データベースの接続を確立するなど

 yield # 例えば、データベースの接続を返すなど

 # テストごとの事後処理
 # 例えば、データベースの接続を閉じるなど

def test_hoge(setup_teardown):
 # setup_teardown からの値を使ってテスト

Python：TOPIX に含まれる銘柄の配当利回りを取得する

Sat, 16 Mar 2024 17:41:54 +0900

日本取引所グループで公開されていた“構成銘柄別ウエイト一覧"に、配当利回りの列を付与してみました。

銘柄コードの終わりに “.T” を追加。それで良いのか未検証。
配当利回り等の値は Yahoo Finance から取得。

Yahoo ファイナンス JAPAN で見られる株式ランキングの値と異なっていたので、終値と一株配当も付与してみました。
※ 作成したソースコード及びその結果の一覧は保証しません。

配当利回りなどの列を追加した一覧をダウンロード（2024/08/20 作成）

import pandas as pd
import yfinance as yf
from datetime import datetime
from zoneinfo import ZoneInfo

# TOPIX 構成銘柄別ウエイト一覧
csv_url = (
 "https://www.jpx.co.jp/automation/markets/indices/"
 "topix/files/topixweight_j.csv"
)
df = pd.read_csv(csv_url, encoding="shift_jis")

# 不要な列を削除
df = df.drop(columns=["日付"])
df = df.drop(columns=["ニューインデックス区分"])
# "コード"列が数字で始まっている行のみにし、末尾に".T”を追加
df = df[df["コード"].astype(str).str.match("^\\d")]
df["コード"] = df["コード"].astype(str).str.replace("$", ".T", regex=True)

# 銘柄コード毎に次の値を格納
# - 配当利回り
# - 終値
# - 一株配当
dividend_yields = []
close_prices = []
dividends_per_share = []
for code in df["コード"]:
 stock_info = yf.Ticker(code)
 dividend_yield = stock_info.info.get("dividendYield", None)
 dividend_yields.append(dividend_yield)
 # 上場廃止銘柄は終値が取れずにエラーになったので対策
 try:
 close_price = stock_info.history(period="1d").iloc[-1]["Close"]
 except IndexError:
 close_price = None
 close_prices.append(close_price)
 dividend_per_share = stock_info.info.get("dividendRate", None)
 dividends_per_share.append(dividend_per_share)
df["配当利回り"] = dividend_yields
df["終値"] = close_prices
df["一株配当"] = dividends_per_share

# CSVファイルに出力
now = datetime.now(ZoneInfo("Asia/Tokyo"))
ts = now.strftime("%Y%m%d")
output_csv = f"topixweight_j_with_some_value_{ts}.csv"
df.to_csv(output_csv, index=False)

以前のコード

2024/03/16 頃に使用したコードです。
2024/08/20 現在は実行してもエラーになりますが残しておきます。

銘柄コードの終わりが “.0” だったので、".T” に置換。それで良いのか未検証。
配当利回り等の値は Yahoo Finance から取得。

配当利回りなどの列を追加した一覧をダウンロード（2024/03/16 作成）

import pandas as pd
import yfinance as yf

# TOPIX 構成銘柄別ウエイト一覧（1月末現在）
csv_url = (
 "https://www.jpx.co.jp/markets/indices/topix/"
 "tvdivq00000030ne-att/topixweight_j.csv"
)
df = pd.read_csv(csv_url, encoding="shift_jis")

# 不要な列を削除
df = df.drop(columns=["日付"])
df = df.drop(columns=["ニューインデックス区分"])
# "コード"列が数字で始まっている行のみにし、".0"を".T"に置換
df = df[df["コード"].astype(str).str.match("^\\d")]
df["コード"] = df["コード"].astype(str).str.replace("\\.0$", ".T", regex=True)

# 銘柄コード毎に次の値を格納
# - 配当利回り
# - 終値
# - 一株配当
dividend_yields = []
close_prices = []
dividends_per_share = []
for code in df["コード"]:
 stock_info = yf.Ticker(code)
 dividend_yield = stock_info.info.get("dividendYield", None)
 dividend_yields.append(dividend_yield)
 close_price = stock_info.history(period="1d").iloc[-1]["Close"]
 close_prices.append(close_price)
 dividend_per_share = stock_info.info.get("dividendRate", None)
 dividends_per_share.append(dividend_per_share)
df["配当利回り"] = dividend_yields
df["終値"] = close_prices
df["一株配当"] = dividends_per_share

# CSVファイルに出力
output_csv = "topixweight_j_with_some_value.csv"
df.to_csv(output_csv, index=False)

Pythonでできる！株価データ分析 (Amazon) Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon) ファイナンス機械学習 (Amazon) アセットマネージャーのためのファイナンス機械学習 (Amazon)

TaC · 2024年8月16日

初めまして。コードありがとうございます。株式データを取得をしたく､新しくpythonを始めた者です。とても参考になりました。早速試してみたのですが、下記エラーが発生しました。エラーの内容を見ると恐らくcsvのURLが見つからないようです。もし宜しければ､お手すきの際に解決法を教えて頂けないでしょうか？

csv_urlのみ下記､最新アドレスに変更しており､他はそのままコピーペーストしています。 “https://www.jpx.co.jp/markets/indices/topix/files/topixweight_j.csv"

IDLE Shell で Run Moduleしています。

エラー内容
-------------------------------------
Traceback (most recent call last):
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\TestPythonTopix.py", line 8, in 
 df = pd.read_csv(csv_url, encoding="shift_jis")
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\parsers\readers.py", line 1026, in read_csv
 return _read(filepath_or_buffer, kwds)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\parsers\readers.py", line 620, in _read
 parser = TextFileReader(filepath_or_buffer, **kwds)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\parsers\readers.py", line 1620, in __init__
 self._engine = self._make_engine(f, self.engine)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\parsers\readers.py", line 1880, in _make_engine
 self.handles = get_handle(
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\common.py", line 728, in get_handle
 ioargs = _get_filepath_or_buffer(
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\common.py", line 384, in _get_filepath_or_buffer
 with urlopen(req_info) as req:
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\site-packages\pandas\io\common.py", line 289, in urlopen
 return urllib.request.urlopen(*args, **kwargs)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\urllib\request.py", line 215, in urlopen
 return opener.open(url, data, timeout)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\urllib\request.py", line 521, in open
 response = meth(req, response)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\urllib\request.py", line 630, in http_response
 response = self.parent.error(
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\urllib\request.py", line 559, in error
 return self._call_chain(*args)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\urllib\request.py", line 492, in _call_chain
 result = func(*args)
 File "C:\Users\xxx\AppData\Local\Programs\Python\Python312\Lib\urllib\request.py", line 639, in http_error_default
 raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found

熊右衛門 · 2024年8月20日

修正頂いた csv_url が違っておりエラーになったようです。現在は “https://www.jpx.co.jp/automation/markets/indices/topix/files/topixweight_j.csv" であり、"/automation” が抜けていると見受けます。上記含め、いくつかの修正をして投稿のコード及びデータを更新しましたので参照ください。

TaC · 2024年8月21日

先日は長文失礼しました。ご返信また､コードの更新ありがとうございます。大変助かりました。お陰様で無事に実行・完了することができました。

途中､401 Client Error: Unauthorized for url が出ましたが､ yfinanceをアップデートすることで最後まで完了できました。次はサーバーでスケジュール実行をしようと思っています。ありがとうございました！

pytest：モックの処理内容を引数で変える

Sat, 09 Mar 2024 15:48:35 +0900

関数をモックに差し替えるけど、引数の値によっては元々の関数で処理したい、という場合のメモです。

まずは、モックに差し替える関数の例。

def myfunc(cond):
 return f"original: {cond}"

pytest で実行するテストコード。
モックに差し替える前に、元の関数を org_myfunc に保持し、差し替えたモック内で引数を判定して処理を分岐させます。

import mdl
import pytest

def test_myfunc(mocker):
 org_myfunc = mdl.myfunc
 def mock_myfunc(cond):
 if cond:
 return f"mock: {cond}"
 else:
 return org_myfunc(cond)
 mocker.patch("mdl.myfunc", side_effect=mock_myfunc)

 assert mdl.myfunc(True) == "mock: True"
 assert mdl.myfunc(False) == "original: False"

VSCode：Python のフォーマッターとリンターを設定する

Sat, 02 Mar 2024 14:48:03 +0900

自分が調べた限り、現時点では以下の拡張機能をインストール、設定すれば良さそうに感じました。

設定は以下で初めようと思います。
まずは black と flask8 で1行の長さの初期値が違うようなので設定しました。
必要に応じてカスタマイズかな。

{
 "[python]": {
 "editor.defaultFormatter": "ms-python.black-formatter",
 "editor.formatOnSave": true,
 "editor.codeActionsOnSave": {
 "source.organizeImports": "explicit"
 },
 },
 "black-formatter.args": [
 "--line-length",
 "79"
 ],
 "flake8.args": [
 "--max-line-length",
 "79"
 ],
 "isort.args":["--profile", "black"]
}

ルールに違反した適当なコードで試してみます。
次のコードが保存前。

次のコードが保存後。

手動による修正が必要な所が残りましたが、まずは良さそうかなと思います。

参考：Existing Python Tools Extensions

Python：変数に代入する長い文字列を複数行で書く

Sat, 24 Feb 2024 07:17:00 +0900

長い文字列、例えば「心地よい陽光、爽やかな風、穏やかな心。自然と笑顔が溢れ、幸せが全身を包みます。感謝と平和の日。」を変数に代入するとき、複数行で書く際の例です。

バックスラッシュを使う

value = "心地よい陽光、爽やかな風、穏やかな心。" \
 "自然と笑顔が溢れ、幸せが全身を包みます。" \
 "感謝と平和の日。"

括弧を使う

value = (
 "心地よい陽光、爽やかな風、穏やかな心。"
 "自然と笑顔が溢れ、幸せが全身を包みます。"
 "感謝と平和の日。" 
)

Python：requests で Cookie を引き継いでアクセスする

Sat, 17 Feb 2024 09:49:21 +0900

requests から session を得てアクセスしていけば OK です。
ログインの有無を Cookie で管理されている場合などに便利です。

import requests

with requests.Session() as s:
 res = s.post(
 "ログイン先のURL",
 data = ({
 "id": "kuma",
 "pass": "emon"
 })
 )
 res = s.get("何等かの情報を取得")

使わない場合は Cookie を受け渡して行けば良いですが手間ですね。

import requests

res = requests.post(
 "ログイン先のURL",
 data = ({
 "id": "kuma",
 "pass": "emon"
 })
 )
res = requests.get("何等かの情報を取得", cookies = res.cookies)

Python：RSA 公開鍵/秘密鍵で文字列を暗号化/復号化する

Sat, 03 Feb 2024 17:02:43 +0900

ライブラリに pycryptodome を使用するので、予めインストールしておきます。

pip install pycryptodome

暗号化と復号化は別のマシンで実行されるものですが、例ということで。

from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_OAEP

# 暗号化する文字列
message = "kuma"

# 公開鍵/秘密鍵を生成する
key = RSA.generate(2048)
private_key = key.export_key()
public_key = key.publickey().export_key()
print(f"公開鍵: {public_key.decode('utf-8')}")

# 公開鍵で文字列を暗号化する
public_key_obj = RSA.import_key(public_key)
cipher = PKCS1_OAEP.new(public_key_obj)
encrypted_message = cipher.encrypt(message.encode("utf-8"))

# 暗号化した結果を秘密鍵で復号化する
private_key_obj = RSA.import_key(private_key)
decipher = PKCS1_OAEP.new(private_key_obj)
decrypted_message = decipher.decrypt(encrypted_message)

print(f"元の文字列: {message}")
print(f"暗号化後: {encrypted_message.hex()}")
print(f"復号化後: {decrypted_message.decode('utf-8')}")

公開鍵: -----BEGIN PUBLIC KEY-----
MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAvYcDGJ3IDGQBDAxtyrto
NG50KZex+NVyFHf9qOt/FKT6HYyMwB3XrdTQiyw6TZE9IlfKsnzQeNDuNUr9d9kE
JVR1CpeOtDGu+Yi/7Fzz1jm5/Oy4FgsESv4J0ENB5ICcMTtagy8E8hUrAXzkAOZ0
PPwIQ+c4QGb4Exg7to7AD024+VVsjiW2obAXRechzGbE38uNFLSMI4pqBVlKfh/0
WMSk6pQj13CsTwk5NSUm+i9D4/LYGU2n6jQBebTe/aITlHSYQX/BanZbmEGcGmv9
s6b0mfzV+Wp4YBmUIoAVBfb1gTjLVbTEA8ieE20p48N6wAGxCmoTkByoqLgwkBEv
jQIDAQAB
-----END PUBLIC KEY-----
元の文字列: kuma
暗号化後: 84452db925a820614abb1b21b5716cc7cb14a7163b37aa3c4533683b282dcad9f65a052bbfcc8281beddea9ef08e02027a9afcd391f2b238eb10f42d0b279338487837de02c02cc92281b7f7ac0750ebad69ac365e04300730a65ffd09e76bddf535bd58051a4b2a8db08dcdbf02a9d0ce0b9bcd1385e4274f18d84df47277520039665a4420a4a5467836289e7f9c10a00eb3a70484c97d1f7185c716fd9c07da601666937e70698005ab8ef2a68b92001aa8eb4a330516a57eefd044e177ccd4163fd425218c6eda94b73d405b2211cc5157815375150a6973ac666e32f053b687e9c99c408f599e81a3ffc5e4f77de45bc6dae36ec9faa60332909d541c4c
復号化後: kuma

Python：緯度経度を指定して地図の画像ファイルを保存する

Sat, 06 Jan 2024 15:23:26 +0900

国土地理院のサイトで出来たんですが、見慣れた Google Map の画像にしたい。でも、緯度経度を決めてのスクショは厳しい。
ということで、Maps Static API を使用して画像ファイルを取得してみました。
Google Colab がお手軽なので Python にしましたが、別の言語でも良いと思います。

Maps Static API で地図の画像を保存

API キーの取得と、Maps Static API を許可する説明は省略します。
コードは以下のようにしました。

import requests

# 自分のAPIキーに置き換える
api_key = "自分のAPIキー"

def save_map_image(api_key, filename, locations, maptype, zoom, width, height):
 base_url = "https://maps.googleapis.com/maps/api/staticmap?"
 api_key_param = f"key={api_key}"
 maptype_param = f"maptype={maptype}"
 zoom_param = f"zoom={zoom}"
 size_param = f"size={width}x{height}"
 markers = "&".join([f"markers=size:small%7C{loc}" for loc in locations])
 request_url = base_url + "&".join([
 api_key_param,
 maptype_param,
 zoom_param,
 size_param,
 markers,
 "scale=2",
 "language=ja_JP",
 ])
 response = requests.get(request_url)
 if response.status_code == 200:
 with open(filename, "wb") as f:
 f.write(response.content)
 else:
 raise Exception(f"Error: {response.status_code} - {response.text}")

save_map_image(
 api_key,
 "test.png",
 ["36.103993,140.084481", "36.105103,140.085855"],
 "roadmap",
 17,
 256,
 256
)

保存できたファイルは次の通りです。
zoom の値を何度か調整して、経度と緯度の位置がマーカーで分かるようにしました。
少し面倒ですが、トリミングすれば良いかなと。

国土地理院のサイトで地図の画像を保存

参考までに国土地理院のサイトを使った場合です。
ツールバーの「共有」から、山っぽいアイコンを選びます。

「範囲を固定」を選択すると、緯度経度を指定できます。
「OK」で進めていくと、画像ファイルに保存できます。

Python：ディクショナリ同士を結合する

Sat, 09 Dec 2023 09:37:43 +0900

JavaScript のスプレッド演算子の様なことをしたかったので調べました。

dict1 = {'a': 1, 'b': 2}
dict2 = {'c': 3, 'd': 4}

dict3 = {**dict1, **dict2}
# dict3 は {'a': 1, 'b': 2, 'c': 3, 'd': 4} になる

同じキーを後ろに持っていくことで、上書き可能です。

dict1 = {'a': 1, 'b': 2}
dict2 = {'b': 3, 'c': 4}

dict3 = {**dict1, **dict2}
# dict3 は {'a': 1, 'b': 3, 'c': 4} になる

dict4 = {**dict1, 'b': 9}
# dict4 は {'a': 1, 'b': 9, 'c': 4} になる

ディクショナリの update メソッドを使う手もありましたが、元のディクショナリが変更されるので、そちらの場合はそのつもりで。

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：logging で exc_info をデフォルトで True にする

Sat, 02 Dec 2023 14:45:12 +0900

スタックトレースを出力するには exc_info を True にするが、毎回引数に指定はしたくない。
そんなときの対応方法のメモです。

スタックトレースが欲しいのは error と critical かと思いますが、その辺りはお好みで。
functools.partial を使ってデフォルトの値を変えて使います。

import logging
from functools import partial

logging.basicConfig(level=logging.DEBUG)

logger = logging.getLogger("hoge")
logger.error = partial(logger.error, exc_info=True)
logger.critical = partial(logger.critical, exc_info=True)

try:
 raise Exception("例外発生")

except Exception as e:
 logger.error("エラーメッセージ")

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：指定した名前のロガーがあるか確認する

Sat, 25 Nov 2023 18:11:15 +0900

Python の logger モジュールでは、getLogger関数を使用してロガーを取得しますが、getLogger に未定義の名前を渡した場合、その名前のロガーが新しく作成されます。
新しいロガーを作成したときは設定を行いたいことがあったので、その際の判定方法です。

logging.Logger.manager.loggerDict に含まれているかどうかで、存在するロガーか確認できます。

import logging

logger_name = "kuma"

if logger_name in logging.Logger.manager.loggerDict:
 # 既存のロガーを取得
 logger = logging.getLogger(logger_name)
else:
 # 新たなロガーを取得
 logger = logging.getLogger(logger_name)
 # ここでロガーの設定などを行う

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：値をデープコピーしたい

Sat, 18 Nov 2023 16:06:16 +0900

copy.deepcopy を使えば良い。

import copy
import json

value = {
 "name": "Yamada",
 "gender": "male",
 "address": {
 "country": "Japan",
 "Prefecture": "Saitama",
 }
}

dup1 = copy.deepcopy(value)
dup1["name"] = "Suzuki"
dup1["address"]["Prefecture"] = "Tokyo"
print(json.dumps(dup1, indent=2))
print(json.dumps(value, indent=2))

{
 "name": "Suzuki",
 "gender": "male",
 "address": {
 "country": "Japan",
 "Prefecture": "Tokyo"
 }
}
{
 "name": "Yamada",
 "gender": "male",
 "address": {
 "country": "Japan",
 "Prefecture": "Saitama"
 }
}

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：with 文と contextmanager で try/finally を除外する

Sat, 11 Nov 2023 17:52:56 +0900

用途によってはクラスを作るより contextmanager の方がスッキリ書けると知ったのでメモです。
例えば、リソースを使う際に “開く/閉じる” や “接続/切断”、“確保/解放” などの処理を書くとき try/finally で囲みますが、そういったときに try/finally を contextmanager デコレータを付けた関数内で行い、使う側は with 文で書きます。

試すにあたって Google Colab を使いました。
そこにあった README.md を読み込んで表示してみました。
ファイルを例にサンプルを書きましたが、ファイルは次のように既に with 文で使えますので念のため。

with open('./sample_data/README.md', 'r') as f:
 print(f.read())

ということで、contextmanager を使って自作した場合は

from contextlib import contextmanager

@contextmanager
def sample_read(filename):
 file = open(filename, 'r')
 try:
 yield file
 finally:
 file.close()

with sample_read("./sample_data/README.md") as file:
 print(file.read())

contextmanager デコレータを付けた関数内で try/finally し、finally でファイルを閉じるようにしています。
ファイルのように with 文に対応しているものは良いですが、自前で解放が必要な場合は contextmanager でスッキリ書けそうです。

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：デコレータと *args, **kwargs の使い方メモ

Sat, 04 Nov 2023 06:48:45 +0900

ということで、付けると引数の値を出力するデコレータのコードを例として書き留めておきます。

from functools import wraps

def print_params(func):
 @wraps(func)
 def wrapper(*args, **kwargs):
 for v in args:
 print(v)
 for k, v in kwargs.items():
 print(k,'=',v)
 func(*args, **kwargs)
 return wrapper

@print_params
def hoge(a, b, c, d = 'test'):
 print('hoge hoge')

hoge(1, [2, 3], { 'first name': 'Taroh', 'last name': 'Yamada' }, d = 'abcd')

結果

1
[2, 3]
{'first name': 'Taroh', 'last name': 'Yamada'}
d = abcd
hoge hoge

functools.wraps は、対象の関数の __name__ や __doc__ が失われないように付けます。

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：文字列に変数の内容を展開する

Sat, 28 Oct 2023 12:09:05 +0900

いわゆる format ですが、何パターンか見かけたのでメモです。
場面によりますが、個人的には最後の書き方をすることが最近は多いです。

first_name = 'Taroh'
last_name = 'Yamada'

print("name: {} {}".format(first_name, last_name))
print("name: {1} {0}".format(first_name, last_name))
print("name: %s %s" % (first_name, last_name))
print(f"name: {first_name} {last_name}")

name: Taroh Yamada
name: Yamada Taroh
name: Taroh Yamada
name: Taroh Yamada

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python：with 文で使うクラスを作る

Sat, 22 Jul 2023 11:03:09 +0900

作成したオブジェクトの後処理を手軽かつ確実にするには with 文が便利です。
そのクラスの作成と、使用する際のメモです。

with 文で使うクラスの作成

class prc:
 param = "unknown"

 def __init__(self, *args, **kwargs):
 self.param = kwargs.get("param")
 print(f"prc init {self.param}")

 def __enter__(self):
 print(f"prc enter {self.param}")
 return self

 def __exit__(self, exception_type, exception_value, traceback):
 print(f"prc exit {self.param}")

 def something(self):
 print(f"prc something {self.param}")

関数でオブジェクトを生成したい

コンストラクタのパラメータを決まった値にしたいので、関数でオブジェクトを返して使うとき。

def get_prc():
 return prc(param="A")

print("---1---")
with get_prc() as t:
 print("---2---")
 t.something()
 print("---3---")

---1---
prc init A
prc enter A
---2---
prc something A
---3---
prc exit A

関数をクラスのメソッドにしたい

スタティックメソッドにしたかったので @staticmethod を付けています。

class wrapB:
 @staticmethod
 def get_prc():
 return prc(param="B")

print("---1---")
with wrapB.get_prc() as t:
 print("---2---")
 t.something()
 print("---3---")

---1---
prc init B
prc enter B
---2---
prc something B
---3---
prc exit B

別クラスでラップしたい

class wrapC:
 instance = None

 def __init__(self):
 print("wrap init")
 self.instance = prc(param="C")

 def __enter__(self):
 print("wrap enter")
 self.instance.__enter__()
 return self

 def __exit__(self, exception_type, exception_value, traceback):
 print("wrap exit")
 return self.instance.__exit__(exception_type, exception_value, traceback)

 def something(self):
 print("wrap something")
 self.instance.something()

print("---1---")
with wrapC() as t:
 print("---2---")
 t.something()
 print("---3---")

---1---
wrap init
prc init C
wrap enter
prc enter C
---2---
wrap something
prc something C
---3---
wrap exit
prc exit C

Python : ディクショナリ変数を JSON 形式で整形して出力する

Sat, 01 Jul 2023 09:48:00 +0900

そのまま出力すると、以下のように長くて見づらいです。

dic = { "a": 1, "b": { "c": 2, "d": { "e": 3}}, "f": 4 }
print(f"dic = {dic}")

dic = {'a': 1, 'b': {'c': 2, 'd': {'e': 3}}, 'f': 4}

json.dumps 関数で indent を指定して整形すると見やすく出力できます。

import json
print(f"dic = {json.dumps(dic, indent=2)}")

dic = {
 "a": 1,
 "b": {
 "c": 2,
 "d": {
 "e": 3
 }
 },
 "f": 4
}

Python : 公開鍵の形式とビット数を得る

Sat, 24 Jun 2023 08:08:00 +0900

公開鍵の形式が RSA か ECC か、ビット数はいくつかを確認するメモです。
cryptography ライブラリを使用します。

pip install cryptography

from cryptography.hazmat.backends import default_backend
from cryptography.hazmat.primitives.asymmetric import rsa, ec
from cryptography.hazmat.primitives.asymmetric.rsa import RSAPublicKey
from cryptography.hazmat.primitives.asymmetric.ec import EllipticCurvePublicKey

# RSA公開鍵
def get_rsa_public_key():
 private_key = rsa.generate_private_key(
 public_exponent=65537,
 key_size=2048,
 backend=default_backend()
 )
 public_key = private_key.public_key()
 return public_key

# ECC公開鍵
def get_ecc_public_key():
 private_key = ec.generate_private_key(ec.SECP256R1())
 public_key = private_key.public_key()
 return public_key

# 公開鍵の確認
def show_key_info(public_key):
 key_type = "形式不明な公開鍵"
 if isinstance(public_key, RSAPublicKey):
 key_type = "RSA公開鍵"
 elif isinstance(public_key, EllipticCurvePublicKey):
 key_type = "ECC公開鍵"
 print(f"{key_type} {public_key.key_size}bit")

show_key_info(get_rsa_public_key())
show_key_info(get_ecc_public_key())

実行結果

RSA公開鍵 2048bit
ECC公開鍵 256bit

Python で上場企業の要約を取得する

Sat, 01 Jan 2022 13:17:13 +0900

JupyterLab または Jupyter Notebook で上場企業の要約を取得してみます。
JupyterLab または Jupyter Notebook の用意はこちらを参照ください。

要約を取得する

取得には、yahooquery 2.2.15 を使います。

from yahooquery import Ticker

toyota = Ticker('7203.T')
sd = toyota.summary_detail

３行目： Ticker で、取得したい銘柄のコードを指定します。
日本の銘柄は ‘7203.T’ の様にコード（7203=トヨタ自動車）と取引所（T=東京証券取引所）をドットで区切って設定します。
４行目：要約のデータを取得します。

sd に dict 型オブジェクトでデータを取得できます。

{'7203.T': {'maxAge': 1,
 'priceHint': 2,
 'previousClose': 2110.5,
 'open': 2104.0,
 'dayLow': 2091.0,
 'dayHigh': 2116.0,
 'regularMarketPreviousClose': 2110.5,
 'regularMarketOpen': 2104.0,
 'regularMarketDayLow': 2091.0,
 'regularMarketDayHigh': 2116.0,
 'dividendRate': 51.0,
 'dividendYield': 0.0242,
 'exDividendDate': '2021-09-29 09:00:00',
 'payoutRatio': 0.2282,
 'fiveYearAvgDividendYield': 3.07,
 'beta': 0.648588,
 'trailingPE': 9.420413,
 'forwardPE': 9.330822,
 'volume': 14009600,
 'regularMarketVolume': 14009600,
 'averageVolume': 21168583,
 'averageVolume10days': 18734770,
 'averageDailyVolume10Day': 18734770,
 'bid': 2105.0,
 'ask': 2108.0,
 'bidSize': 0,
 'askSize': 0,
 'marketCap': 29175282925568,
 'fiftyTwoWeekLow': 1443.2,
 'fiftyTwoWeekHigh': 2188.0,
 'priceToSalesTrailing12Months': 0.9315025,
 'fiftyDayAverage': 2063.05,
 'twoHundredDayAverage': 1924.4655,
 'trailingAnnualDividendRate': 51.0,
 'trailingAnnualDividendYield': 0.024164889,
 'currency': 'JPY',
 'fromCurrency': None,
 'toCurrency': None,
 'lastMarket': None,
 'algorithm': None,
 'tradeable': False}}

特定の項目、例えば dividendYield を取り出したければ、

sd.get('7203.T').get('dividendYield')

とし、ループで項目を処理したければ、

v = sd.get('7203.T')
for k in v:
 print(k, v.get(k))

のようにすれば、各項目を以下のように表示できます。

maxAge 1
priceHint 2
previousClose 2110.5
open 2104.0
dayLow 2091.0
dayHigh 2116.0
regularMarketPreviousClose 2110.5
regularMarketOpen 2104.0
regularMarketDayLow 2091.0
regularMarketDayHigh 2116.0
dividendRate 51.0
dividendYield 0.0242
exDividendDate 2021-09-29 09:00:00
payoutRatio 0.2282
fiveYearAvgDividendYield 3.07
beta 0.648588
trailingPE 9.420413
forwardPE 9.330822
volume 14009600
regularMarketVolume 14009600
averageVolume 21168583
averageVolume10days 18734770
averageDailyVolume10Day 18734770
bid 2105.0
ask 2108.0
bidSize 0
askSize 0
marketCap 29175282925568
fiftyTwoWeekLow 1443.2
fiftyTwoWeekHigh 2188.0
priceToSalesTrailing12Months 0.9315025
fiftyDayAverage 2063.05
twoHundredDayAverage 1924.4655
trailingAnnualDividendRate 51.0
trailingAnnualDividendYield 0.024164889
currency JPY
fromCurrency None
toCurrency None
lastMarket None
algorithm None
tradeable False

Python で上場企業の損益計算書を取得する

Sat, 25 Dec 2021 20:20:00 +0900

JupyterLab または Jupyter Notebook で上場企業の損益計算書を取得してみます。
JupyterLab または Jupyter Notebook の用意はこちらを参照ください。

損益計算書を取得する

取得には、yahooquery 2.2.15 を使います。

from yahooquery import Ticker

toyota = Ticker('7203.T')
icst = toyota.income_statement()

３行目： Ticker で、取得したい銘柄のコードを指定します。
日本の銘柄は ‘7203.T’ の様にコード（7203=トヨタ自動車）と取引所（T=東京証券取引所）をドットで区切って設定します。
４行目：損益計算書のデータを取得します。

icst に以下の様にデータを取得できます。

列が多くて表示しきれません。
なので、転置行列にする .T をつけてみます。

icst.T

多いので見たい項目だけに絞ってみます。が、英語でどれに当たるか良く分かってません。。
取り敢えず、

売上総利益 (GrossProfit)
純利益 (NetIncome)
営業利益 (OperatingIncome)
総収入 (TotalRevenue)

にしてみます。

icst.T.query('index in ("asOfDate", "GrossProfit", "NetIncome", "OperatingIncome", "TotalRevenue")')

省略表示されない程度に絞れるなら、転置行列しなくても良いかもしれません。

icst[["asOfDate", "GrossProfit", "NetIncome", "OperatingIncome", "TotalRevenue"]]

指数で表示されちゃいますね。微妙でしょうか。

Docker で JupyterLab または Jupyter Notebook 使う

Sat, 28 Aug 2021 17:50:01 +0900

Dockerイメージが continuumio/anaconda3 で公開されているので利用はとても簡単です。

JupyterLab（Jupyer Notebook の後継）を使いたいなら

docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash -c "\
 conda install jupyter -y --quiet && \
 mkdir -p /opt/notebooks && \
 jupyter lab \
 --notebook-dir=/opt/notebooks --ip='*' --port=8888 \
 --no-browser --allow-root \
 --NotebookApp.token=''"

Jupyter Notebook の方なら

docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash -c "\
 conda install jupyter -y --quiet && \
 mkdir -p /opt/notebooks && \
 jupyter notebook \
 --notebook-dir=/opt/notebooks --ip='*' --port=8888 \
 --no-browser --allow-root \
 --NotebookApp.token=''"

で実行後、ブラウザから http://localhost:8888/ にアクセスすれば OK です。
root ユーザーの許可、トークン無しのログインを許すオプションを付けているので、閉じた環境のみで使うなどの注意はしてください。

必要なパッケージを毎回追加するのは面倒

→ Dockerイメージをカスタマイズ

前回の様な事をする場合、毎回パッケージをインストールするのは面倒なので、追加済みの Docker イメージを作っておくと便利です。

ということで以下のような Dockerfile を作成して、パッケージを追加済みのイメージを作りました。今回追加したパッケージは、

sqlite3
scikit-learn
mplfinance
yahooquery

です。

FROM continuumio/anaconda3

RUN apt-get update \
 && apt-get install --no-install-recommends -y \
 sqlite3 \
 && apt-get clean \
 && rm -r /var/lib/apt/lists/* \
 && ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime

RUN pip install --upgrade pip && \
 pip install scikit-learn && \
 pip install mplfinance && \
 pip install yahooquery

RUN conda install jupyter -y --quiet && \
 mkdir -p /opt/notebooks

WORKDIR /opt/notebooks
EXPOSE 8888
ENTRYPOINT ["jupyter", "lab", "--ip='*'", "--port=8888", "--no-browser", "--allow-root", "--NotebookApp.token=''", "--notebook-dir=/opt/notebooks"]

で、この Dockerfile のあるディレクトリで

docker image build -t myjn -f Dockerfile .

とすれば、イメージが作成できます。イメージの名前は myjn にしてみました。
実行する場合は、

docker run -it \
 -p 8888:8888 \
 -v $PWD/notebooks:/opt/notebooks \
 --rm \
 myjn

で OK です。Docker 停止後も JupterLab で作成したファイルが残るように、ホストPC の ./notebooks ディレクトリを使うようにしています。

今週、ちょっと株価戻ったんですね。

2023/12/08 追記
起動時の “Would you like to receive official Jupyter news?” という通知を止めるには、次のコマンドを先に実行しておきます。

jupyter labextension disable "@jupyterlab/apputils-extension:announcements"

例えば以下の様になります。

docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash -c "\
 conda install jupyter -y --quiet && \
 mkdir -p /opt/notebooks && \
 jupyter labextension disable "@jupyterlab/apputils-extension:announcements" && \
 jupyter lab \
 --notebook-dir=/opt/notebooks --ip='*' --port=8888 \
 --no-browser --allow-root \
 --NotebookApp.token=''"

Docker Desktop for Windows/Macでつくるクリーンな開発環境構築入門(Python版) (Amazon)

Python で株価を取得してグラフにする

Sat, 21 Aug 2021 20:49:00 +0900

JupyterLab または Jupyter Notebook で株価の取得とグラフ化をしてみます。
JupyterLab または Jupyter Notebook の用意はこちらを参照ください。

株価を取得する

株価の取得には、yahooquery 2.2.15 を使います。

from yahooquery import Ticker

ticker = Ticker('7203.T')
df = ticker.history(period='1mo', interval='1d')

３行目： Ticker で、取得したい銘柄のコードを指定します。
日本の銘柄は ‘7203.T’ の様にコード（7203=トヨタ自動車）と取引所（T=東京証券取引所）をドットで区切って設定します。
４行目： history でデータを取得します。
period で期間を指定します。‘1mo’ は１ヶ月分になります。
interval で間隔を指定します。‘1d’ で１日毎になります。

df に以下の様にデータを取得できます。

ラインチャートにする

ラインチャートは matplotlib を使って書いてみます。

import matplotlib.pyplot as plt

fig, ax = plt.subplots()
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda x, loc: "{:,}".format(int(x))))
plt.xticks(rotation=45)
plt.plot(df.loc['7203.T'].close)
plt.show()

３−４行目：Y軸の数値を３桁区切りで表示させる
５行目：横軸のラベルを45°に傾ける
６行目：グラフ描画
引数のデータの指定が df.loc[‘7203.T’].close と分かりづらいですが、中身は以下のようになっています。

グラフにした結果は、

ローソク足チャートにする

ローソク足チャートは mplfinance を使って書いてみます。

import pandas as pd
import mplfinance as mpf

dg = df.loc['7203.T'].copy()

dh = dg.reset_index()
dh.rename(columns=str.capitalize, inplace=True)
dh['Date'] = pd.to_datetime(dh['Date'])

di = dh.reset_index()
di.set_index('Date', inplace=True)
di.drop('Adjclose', axis=1, inplace=True)

mpf.plot(di, type='candle')
mpf.show()

４−１２行目：１４行目で使う為に、データの変換
１４行目：グラフ描画

ほとんどデータ変換に費やしています。変換の前と変換後で見ると、次の通りです。

変換前

変換後

７行目：列名の頭文字を大文字に変換（ date → Date ）
８行目：日付の列を datetime64 型に変換
１０−１１行目：インデックスを Date に設定
１２行目：不要な列（Adjclose）を削除

グラフにした結果は、