Django on hdknr blog

Celery

Mon, 06 Apr 2026 00:00:00 +0000

分散タスクキュー。非同期処理と定期タスク実行を実現

CloudFront → ALB → Django の HTTPS 判定

Mon, 06 Apr 2026 00:00:00 +0000

ALB が X-Forwarded-Proto を上書きする問題の解決ガイド

Django REST Framework (DRF)

Mon, 06 Apr 2026 00:00:00 +0000

Django で RESTful API を構築するフレームワーク

Redis

Mon, 06 Apr 2026 00:00:00 +0000

高速インメモリデータストア。キャッシュ・セッション・キューイング・分散ロックに利用

分散ロック

Mon, 06 Apr 2026 00:00:00 +0000

複数サーバー環境で共有リソースへのアクセスを排他制御する仕組み

Claude Code で Laravel→Django 全自動移行をやってみた（1/3）計画編

Thu, 26 Mar 2026 00:00:00 +0000

Laravel 6 から Django 4.2 への全自動移行プロジェクトの計画編。inspectdb 方式によるモデル生成、8フェーズの段階設計、CLAUDE.md を活用した Claude Code への設計書作成手法を解説。

Claude Code で Laravel→Django 全自動移行をやってみた（2/3）自動化基盤編

Thu, 26 Mar 2026 00:00:00 +0000

Claude Code を自律実行させるための Bash フレームワーク run-issue.sh の設計を解説。Issue 駆動の実行フロー、サブエージェント活用、Pre-commit Hook と CI による品質保証の実装。

Claude Code で Laravel→Django 全自動移行をやってみた（3/3）実行結果・教訓編

Thu, 26 Mar 2026 00:00:00 +0000

15 Issue を Claude Code で自律実行した結果と教訓。5.5時間で84コミット・199テスト全パスを達成したが、ブランチ分岐問題が発生。次回に活かすべき8つの改善策を共有。

redis-py の Lock をサブクラス化してフェンシングトークンを実装する

Tue, 17 Mar 2026 00:00:00 +0000

redis-py の Lock クラスは UUID ベースのトークンでロックの所有権を管理するが、フェンシングトークン（単調増加する数値）は提供しない。しかし、Lock クラスは do_acquire や Lua スクリプトをオーバーライドできる設計になっており、サブクラス化でフェンシングトークンを追加できる。

本記事では、redis-py の Lock を拡張してフェンシングトークンを発行する FencedLock クラスの実装例を紹介する。

前提知識：Redis の Lua スクリプティング

Redis はバージョン 2.6 から Lua スクリプトの実行機能を内蔵している。EVAL コマンドで Lua スクリプトを Redis サーバー上で直接実行でき、複数の Redis コマンドをアトミック（不可分）に実行できる。

なぜ Lua スクリプトが必要か

通常、Redis コマンドは1つずつ実行される。例えば「キーが存在しなければセットし、同時にカウンターをインクリメントする」という処理を2つのコマンドで行うと、その間に他のクライアントが割り込む可能性がある：

クライアント A: SET mykey value NX → 成功
← クライアント B が割り込む余地
クライアント A: INCR counter → インクリメント

Lua スクリプトを使えば、この2つの操作を1回のアトミックな呼び出しにまとめられる：

1
2
3
4
5
6


-- Redis サーバー上で実行される（他のコマンドは割り込めない）
local ok = redis.call('SET', KEYS[1], ARGV[1], 'NX')
if ok then
 return redis.call('INCR', KEYS[2])
end
return nil

Redis CLI での実行例

1
2


# EVAL "スクリプト" キーの数 キー1 キー2 ... 引数1 引数2 ...
redis-cli EVAL "return redis.call('SET', KEYS[1], ARGV[1])" 1 mykey myvalue

redis-py での実行例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import redis
r = redis.Redis()

# 方法1: eval で直接実行
r.eval("return redis.call('SET', KEYS[1], ARGV[1])", 1, "mykey", "myvalue")

# 方法2: register_script で事前登録（推奨）
# サーバー側に SHA1 でキャッシュされ、2回目以降はスクリプト本文の転送が不要
script = r.register_script("return redis.call('GET', KEYS[1])")
result = script(keys=["mykey"])

セキュリティ上の注意

Lua スクリプトのパラメータは KEYS[] と ARGV[] で渡される。SQL のプリペアドステートメントと同様に、パラメータが文字列としてスクリプトに展開されることはないため、パラメータ経由でのインジェクションはできない。ただし、ユーザー入力でスクリプト文字列自体を動的に組み立てると危険なので、スクリプトは固定文字列として定義すること。

Sentry × Claude Code で実現する AI デバッグワークフロー — エラー監視から自動修正まで

Sun, 01 Mar 2026 00:00:00 +0000

Sentry × Claude Code で実現する AI デバッグワークフロー — エラー監視から自動修正まで

「バグが起きたら Sentry が検知し、AI が分析して修正案を出す」— そんなワークフローが現実になっています。

@riku720720（Rikuo）さんのポストは、この流れを端的にまとめています。

「アプリ開発する上でsentryは必須。sentry APIをskillsにすればユーザーのバグとか不具合とか全部分析できる。claudecodeの新機能/batchで一気に改善してもらう」

この記事では、Sentry の全体像から Claude Code との連携、そして実践的なワークフローまでを解説します。

Sentry とは

Sentry は、開発者ファーストのエラートラッキング＆パフォーマンス監視プラットフォームです。100以上のプラットフォーム・フレームワーク、30以上のプログラミング言語に対応しています。

単なるエラーログではない

Sentry が他のログ監視ツールと異なるのは、エラーの文脈（コンテキスト）を自動収集する点です。スタックトレースだけでなく、ユーザーのセッション情報、パフォーマンスデータ、リリースバージョンなど、デバッグに必要な情報を一元化します。

Sentry の主要機能

1. Error Monitoring（エラー監視）

Sentry の中核機能です。

リアルタイム検知：エラー発生を即座にキャッチ
インテリジェントグルーピング：同じ原因のエラーを自動的に1つの Issue にまとめる
アラート通知：Slack、メール、PagerDuty 等と連携

1
2
3
4
5
6
7
8


# Django での導入例
import sentry_sdk

sentry_sdk.init(
 dsn="https://xxx@xxx.ingest.sentry.io/xxx",
 traces_sample_rate=1.0,
 profiles_sample_rate=1.0,
)

2. Performance Monitoring（パフォーマンス監視）

分散トレーシング：リクエストの流れをフロントエンドからバックエンドまで追跡
トランザクション分析：遅いエンドポイントやクエリを特定
Web Vitals：LCP、FID、CLS などフロントエンドのパフォーマンス指標

3. Session Replay（セッションリプレイ）

ユーザーのセッションをビデオのように再生できる機能です。

# CloudFront → ALB → Django 構成で API レスポンスの URL スキームが http:// になる問題と解決策

Tue, 24 Feb 2026 00:00:00 +0000

CloudFront → ALB → Django 構成で API レスポンスの URL スキームが http:// になる問題と解決策

はじめに

AWS の CloudFront + ALB + ECS Fargate で Django REST Framework (DRF) の API サーバーを運用していたところ、API レスポンスに含まれる URL が http:// で返されるという問題に遭遇しました。本記事では原因の調査過程と、最終的な解決策を紹介します。

構成

Client (HTTPS)
↓
CloudFront (SSL終端, us-east-1)
↓ HTTP
ALB (HTTP:80のみ受付, ap-northeast-1)
↓ HTTP
ECS Fargate (Gunicorn + Uvicorn, port 9000)
↓
Django REST Framework

CloudFront がSSLを終端し、ALB へは HTTP で転送する構成です。

問題

DRF の API ルート (/api/rest/) にアクセスすると、レスポンスに含まれる URL がすべて http:// になっていました。

CloudWatch Logs のエラーを自動で GitHub Issues に課題化する

Tue, 24 Feb 2026 00:00:00 +0000

CloudWatch Logs のエラーを自動で GitHub Issues に課題化する

ECS で稼働するWebアプリケーションのエラーログを自動的に GitHub Issues に報告する仕組みを構築しました。手動でログを監視する必要がなくなり、エラー発生時に即座にチームが認識・対応できるようになります。

背景

マルチテナントの業務システムを ECS Fargate 上で運用しています。アプリケーションは2つあり、それぞれ異なるフレームワークで構築されています。

アプリ	フレームワーク	用途
web	Laravel (PHP)	業務管理システム
api	Django (Python)	API サーバー

これまで CloudWatch Logs にログは収集していたものの、エラーの検知は手動確認に頼っていました。500エラーや例外発生を見逃すリスクがあり、自動検知の仕組みが必要でした。

アーキテクチャ

Subscription Filter + Lambda + GitHub Issues API の構成を採用しました。

CloudWatch Logs (/ecs/{prefix}-ecs-{app})
└── Subscription Filter (エラーパターンマッチ)
└── Lambda Function (Docker/arm64, Python 3.12)
├── エラー解析 (HTTP 5xx, 例外, スタックトレース)
├── ±5秒のログコンテキスト取得
├── 既存 Open Issue 検索
└── 新規 Issue 作成 or 既存 Issue にコメント追加

この構成を選んだ理由

方式	リアルタイム性	柔軟性	コスト
Subscription Filter + Lambda (採用)	高	高	中
Metric Filter + Alarm + SNS	中 (1分以上遅延)	低	低
CloudWatch Logs Insights (定期実行)	低	高	低

Subscription Filter はログ出力時にほぼリアルタイムで Lambda を起動するため、エラー発生から数秒で Issue が作成されます。

django-oauth-toolkit 2.0 の client_secret ハッシュ化で外部連携が壊れた話

Fri, 13 Feb 2026 00:00:00 +0000

django-oauth-toolkit 2.0 の client_secret ハッシュ化で外部連携が壊れた話

TL;DR

django-oauth-toolkit を 1.x から 2.0 にアップグレードすると、Application.client_secret が 平文からハッシュ値に自動変換 される。この変更に気づかず、DB 上のハッシュ値を「シークレット」として外部サービスにコピーすると、二重ハッシュ で認証が通らなくなる。さらに、Application を動的に生成するコードがある場合、バージョンアップ後に平文を返すべき箇所でハッシュ値を返してしまう問題も起きる。

背景

2つの Django サービス間で OAuth2 Client Credentials Grant による認証を行っていた。

サービス	役割	django-oauth-toolkit
Service A (リソースサーバー)	ファイル配信 API を提供	2.4.0
Service B (クライアント)	API からファイルを取得	1.7.1

Service B は Service A の OAuth2 トークンエンドポイントに HTTP Basic Auth で client_id:client_secret を送信し、アクセストークンを取得してからファイルをダウンロードする。

Service B Service A
| |
|-- POST /o/token/ --------------->|
| Authorization: Basic base64( |
| client_id:client_secret) |
| |-- client_secret をハッシュ化
| |-- DB のハッシュ値と比較
|<-- access_token -----------------|
| |
|-- GET /api/files/ -------------->|
| Authorization: Bearer token |
|<-- file data --------------------|

このフローは数年間安定稼働していた。

Django Email

Thu, 28 Nov 2024 00:00:00 +0000

メール送信

Djangoでメールを送信する際に、都度サーバーを切り替える方法はいくつかあります。以下の手順で実装できます。

メールサーバーの設定を動的に変更する: DjangoのEmailMessageクラスを使用して、メール送信時にサーバー設定を動的に変更できます。例えば、以下のようにconnectionパラメータを使用して異なるサーバーを指定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


from django.core.mail import EmailMessage, get_connection

def send_email(subject, message, from_email, recipient_list, server_settings):
 connection = get_connection(
 host=server_settings['EMAIL_HOST'],
 port=server_settings['EMAIL_PORT'],
 username=server_settings['EMAIL_HOST_USER'],
 password=server_settings['EMAIL_HOST_PASSWORD'],
 use_tls=server_settings['EMAIL_USE_TLS'],
 use_ssl=server_settings['EMAIL_USE_SSL'],
 )
 email = EmailMessage(subject, message, from_email, recipient_list, connection=connection)
 email.send()

サーバー設定のリストを用意する: 複数のサーバー設定をリストで管理し、メール送信時にランダムまたは順番に選択する方法です。

Strawberry

Thu, 01 Aug 2024 00:00:00 +0000

Strawberry

https://strawberry.rocks/

Djanog Integration

1
2
3


uv add strawberry-graphql[debug-server]
uv add strawberry-graphql-django
uv add django-choices-field\n

strawberry-sqlalchemy

https://github.com/strawberry-graphql/strawberry-sqlalchemy

記事

Django

Developing GraphQL APIs in Django with Strawberry

FastAPI

Mon, 24 Jun 2024 00:00:00 +0000

FastAPI

Hypercorn

1

poetry add fastapi hypercorn quart

filters

fastapi-filters:

その他:

https://pypi.org/project/fastapi-query-tools/

モデルマッパー

SQLModel(https://sqlmodel.tiangolo.com/)

OAuth: PKCE

Wed, 28 Feb 2024 00:00:00 +0000

OAuth PKCE

Django: Push Notification

Tue, 27 Feb 2024 00:00:00 +0000

Django: Push Notification

APNS (Apple)

FCM/GCM(Google)

Firebase でローコードなプッシュ通知を実装してみた

Web Push

Spec:

django-redis: lock

Fri, 05 Jan 2024 00:00:00 +0000

djanog-redis: cache.lock

`lock`

https://github.com/jazzband/django-redis/blob/d94a7f9644b96cc37743914fce899cca942c032a/django_redis/cache.py#L177

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


class RedisCache(BaseCache):

 ...
 @omit_exception
 def lock(self, *args, **kwargs):
 return self.client.lock(*args, **kwargs)

 def __init__(self, server: str, params: Dict[str, Any]) -> None:
 ...
 self._client_cls = options.get(
 "CLIENT_CLASS", "django_redis.client.DefaultClient"
 )
 self._client_cls = import_string(self._client_cls)
 self._client = None
 ...

DefaultClient

https://github.com/jazzband/django-redis/blob/d94a7f9644b96cc37743914fce899cca942c032a/django_redis/client/default.py#L29

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


from redis import Redis

class DefaultClient:
 def __init__(self, server, params: Dict[str, Any], backend: BaseCache) -> None:
 ...
 self._clients: List[Optional[Redis]] = [None] * len(self._server)
 ...

 def lock(
 self,
 key: KeyT,
 version: Optional[int] = None,
 timeout: Optional[float] = None,
 sleep: float = 0.1,
 blocking_timeout: Optional[float] = None,
 client: Optional[Redis] = None,
 thread_local: bool = True,
 ):
 if client is None:
 client = self.get_client(write=True)

 key = self.make_key(key, version=version)
 return client.lock(
 key,
 timeout=timeout,
 sleep=sleep,
 blocking_timeout=blocking_timeout,
 thread_local=thread_local,
 )

 def get_client(
 self,
 write: bool = True,
 tried: Optional[List[int]] = None,
 ) -> Redis:
 """
 Method used for obtain a raw redis client.

 This function is used by almost all cache backend
 operations for obtain a native redis client/connection
 instance.
 """
 index = self.get_next_client_index(write=write, tried=tried)

 if self._clients[index] is None:
 self._clients[index] = self.connect(index)

 return self._clients[index] # type:ignore

Redis

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76



class Redis(RedisModuleCommands, CoreCommands, SentinelCommands):

 def lock(
 self,
 name: str,
 timeout: Optional[float] = None,
 sleep: float = 0.1,
 blocking: bool = True,
 blocking_timeout: Optional[float] = None,
 lock_class: Union[None, Any] = None,
 thread_local: bool = True,
 ):
 """
 Return a new Lock object using key ``name`` that mimics
 the behavior of threading.Lock.

 If specified, ``timeout`` indicates a maximum life for the lock.
 By default, it will remain locked until release() is called.

 ``sleep`` indicates the amount of time to sleep per loop iteration
 when the lock is in blocking mode and another client is currently
 holding the lock.

 ``blocking`` indicates whether calling ``acquire`` should block until
 the lock has been acquired or to fail immediately, causing ``acquire``
 to return False and the lock not being acquired. Defaults to True.
 Note this value can be overridden by passing a ``blocking``
 argument to ``acquire``.

 ``blocking_timeout`` indicates the maximum amount of time in seconds to
 spend trying to acquire the lock. A value of ``None`` indicates
 continue trying forever. ``blocking_timeout`` can be specified as a
 float or integer, both representing the number of seconds to wait.

 ``lock_class`` forces the specified lock implementation. Note that as
 of redis-py 3.0, the only lock class we implement is ``Lock`` (which is
 a Lua-based lock). So, it's unlikely you'll need this parameter, unless
 you have created your own custom lock class.

 ``thread_local`` indicates whether the lock token is placed in
 thread-local storage. By default, the token is placed in thread local
 storage so that a thread only sees its token, not a token set by
 another thread. Consider the following timeline:

 time: 0, thread-1 acquires `my-lock`, with a timeout of 5 seconds.
 thread-1 sets the token to "abc"
 time: 1, thread-2 blocks trying to acquire `my-lock` using the
 Lock instance.
 time: 5, thread-1 has not yet completed. redis expires the lock
 key.
 time: 5, thread-2 acquired `my-lock` now that it's available.
 thread-2 sets the token to "xyz"
 time: 6, thread-1 finishes its work and calls release(). if the
 token is *not* stored in thread local storage, then
 thread-1 would see the token value as "xyz" and would be
 able to successfully release the thread-2's lock.

 In some use cases it's necessary to disable thread local storage. For
 example, if you have code where one thread acquires a lock and passes
 that lock instance to a worker thread to release later. If thread
 local storage isn't disabled in this case, the worker thread won't see
 the token set by the thread that acquired the lock. Our assumption
 is that these cases aren't common and as such default to using
 thread local storage."""
 if lock_class is None:
 lock_class = Lock
 return lock_class(
 self,
 name,
 timeout=timeout,
 sleep=sleep,
 blocking=blocking,
 blocking_timeout=blocking_timeout,
 thread_local=thread_local,
 )

Python with文

Thu, 09 Nov 2023 00:00:00 +0000

With

【Python】with 文の構造を理解する

MPTT tree_id

Mon, 06 Nov 2023 00:00:00 +0000

MPTT Tree ID

分散ロック

Distributed Locking in Django

1
2
3
4


from django.core.cache import cache

with cache.lock("somekey"):
 do_some_thing()

redis-py:

https://github.com/redis/redis-py/blob/d3a3ada03e080f39144807c9fbe44876c40e0548/redis/client.py#L394

デッドロック

Hook available for automatic retry after deadlock in django and mysql setup

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


import django.db.backends.utils
from django.db import OperationalError
import time

original = django.db.backends.utils.CursorWrapper.execute

def execute_wrapper(*args, **kwargs):
 attempts = 0
 while attempts < 3:
 try:
 return original(*args, **kwargs)
 except OperationalError as e:
 code = e.args[0]
 if attempts == 2 or code != 1213:
 raise e
 attempts += 1
 time.sleep(0.2)

django.db.backends.utils.CursorWrapper.execute = execute_wrapper

MySQL: 𠮷（つちよし）

Sun, 01 Oct 2023 00:00:00 +0000

MySQL: 𠮷（つちよし）

データベース/テーブル `utf8mb4`にすること

1

ALTER TABLE customers_customer CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

確認:

$ echo "show variables like 'character%';" | python manage.py dbshell

Variable_name Value
character_set_client utf8mb4
character_set_connection utf8mb4
character_set_database utf8mb4
character_set_filesystem binary
character_set_results utf8mb4
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /rdsdbbin/mysql-8.0.28.R4/share/charsets/

character_set_system utf8mb3 が問題

接続を `utf8mb4` にすること

django: OPTIONS/charset=utf8mb4

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


In [1]: from django.conf import settings

In [2]: settings.DATABASES
Out[2]:
{'default': {'ENGINE': 'django.db.backends.mysql',
 'HOST': 'prod-db-instance.xxxxxxxx.ap-northeast-1.rds.amazonaws.com',
 'NAME': 'coresys_masters',
 'USER': 'coresys_masters',
 'PASSWORD': 'va0Gaighoo3Paez8',
 'OPTIONS': {'charset': 'utf8mb4',
 'init_command': "SET sql_mode='STRICT_TRANS_TABLES'"},
 'ATOMIC_REQUESTS': False,
 'AUTOCOMMIT': True,
 'CONN_MAX_AGE': 0,
 'TIME_ZONE': None,
 'PORT': '',
 'TEST': {'CHARSET': None,
 'COLLATION': None,
 'MIGRATE': True,
 'MIRROR': None,
 'NAME': None}}}

Django 動的モデル生成

Wed, 16 Aug 2023 00:00:00 +0000

Django : 動的モデル生成

定義されたメタ情報で同じテーブルを複数作る

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60


from pathlib import Path

import pandas as pd
from django.conf import settings
from django.db import connection, models


def get_meta(name):
 """ 定義情報(CSV)ファイル """
 path = META_DIR / f"{name}.map.csv"
 return pd.read_csv(path, dtype="str").fillna("").to_dict(orient="records")


def named_model(name, code):
 meta = get_meta(name)

 class_name = f"{name}{code}"
 table_name = f"{name}_{code}"

 unique_fields = list(map(lambda i: i["column"], filter(lambda i: i["unique"] == "1", meta)))

 class Meta:
 db_table = f"oracle_{table_name}"
 constraints = [
 models.UniqueConstraint(
 fields=unique_fields,
 name=f"uniq_{table_name}",
 ),
 ]

 def _field(item):
 params = {"db_index": True} if item["db_index"] else {}
 params["blank"] = True

 return (
 item["column"],
 models.CharField(verbose_name=item["label"], max_length=100, null=True, default=None, **params),
 )

 fields = dict(map(_field, meta))

 attrs = {"__module__": "oracle.models", "Meta": Meta, **fields}
 models_class = type(class_name, (models.Model,), attrs)

 return models_class


def get_named_model(name, code):
 # モデルクラス取得
 model_class = named_model(name, code)

 if model_class._meta.db_table in connection.introspection.table_names():
 # テーブルが存在していたら終了
 return model_class

 # テーブルの作成
 with connection.schema_editor() as schema_editor:
 schema_editor.create_model(model_class)

 return model_class

Django Migration: Uniqu Field

Mon, 24 Jul 2023 00:00:00 +0000

Django : マイグレーション: Unique フィールドの追加

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


# Generated by Django 3.2.20 on 2023-07-24 06:36

from django.db import migrations, models

def advise_fill_advise_code(apps, schema_editor):
 """ instance.id => instance.advise_code と初期値にする"""
 Model = apps.get_model("studies", "Advise")
 for instance in Model.objects.all():
 instance.advise_code = str(instance.id)
 instance.save()

class Migration(migrations.Migration):
 dependencies = [
 ("studies", "0015_auto_20211108_1814"),
 ]

 operations = [
 migrations.AddField(
 model_name="advise",
 name="advise_code",
 field=models.CharField(
 # オリジナル:
 # help_text="(id)", max_length=6, unique=True, verbose_name="Advise Code"
 # 修正: null=True default=None とする
 help_text="(id)", max_length=6, null=True, default=None, unique=True, verbose_name="Advise Code"
 ),
 preserve_default=False,
 ),
 # 追加: advise_code (ユニーク) を設定する
 migrations.RunPython(inspadvise_fill_advise_code, reverse_code=migrations.RunPython.noop),

 # 追加: null=True default=None を抜く
 migrations.AlterField(
 model_name="advise",
 name="advise_code",
 field=models.CharField(help_text="(id)", max_length=6, unique=True, verbose_name="Advise Code"),
 preserve_default=False,
 ),
 ]

redis

Fri, 14 Jul 2023 00:00:00 +0000

Elasic Cache for Redis

バージョン

1
2
3
4
5


$ redis-cli --version
redis-cli 5.0.7

$ redis-server -v
Redis server v=5.0.7 sha=00000000:0 malloc=jemalloc-5.2.1 bits=64 build=66bd629f924ac924

接続:

1

REDIS_URL=redis://mycloud-stage-redis-nc.sigrvp.ng.0001.apne1.cache.amazonaws.com:6379/0

1
2
3


$ export $(cat .env|xargs)
$ redis-cli -u $REDIS_URL PING
PONG

Python

redis-py: https://github.com/redis/redis-py
django-redis: https://github.com/jazzband/django-redis
channels_redis: https://github.com/django/channels_redis

クラスターモードへの接続

Cluster Client

1
2
3
4
5
6
7
8
9


import logging
from redis.cluster import RedisCluster

ENDPOINT = "mycloud-stage-redis-test.sigrvp.clustercfg.apne1.cache.amazonaws.com"
logging.basicConfig(level=logging.INFO)
redis = RedisCluster(host=ENDPOINT, port="6379")

if redis.ping():
 logging.info("Connected to Redis")

django-redis:

Celery AWS ECS

Thu, 13 Jul 2023 00:00:00 +0000

Celery on ECS

Redis

Celery + AWS Redis で使ってみる

クラスターモード

Redis >= 3.2
ElastiCache for Redis のクラスターモードについて調べてみる

SQS

broker としてつかえるが、 backend としては使えない(SQS + RabbitMQ/Redis/SQLAlchemy を考える)
Celery + SQS on Django on Elastic Beanstalk
Deploying Django on AWS: Setting up Celery and SQS
Deploying Django Application on AWS with Terraform. Setting up Celery and SQS

ECS

Celery Logging

標準出力:

django cache decorator

Thu, 22 Jun 2023 00:00:00 +0000

django: cache value decorator

1
2


from functools import wraps
from django.core.cache import c

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


def cached_value(key=None, **kwargs):
 """
 key で指定された値をキャッシュから取得して current に渡す
 reset=True が指定されるとキャッシュデータを使わない
 """

 def _cache_controller(original_func):
 @wraps(original_func)
 def _cache_controlled(*args, **kw):
 current = None if kw.get("reset", False) else cache.get(key)
 lastest = original_func(*args, current=current, **kw)
 cache.set(key, lastest)
 return lastest

 return _cache_controlled

 return _cache_controller

1
2
3
4
5


class PurchaseOrder:

 @cached_value(key="webservice_accesstoken")
 def get_accesstoken(self, current=None, reset=False):
 return Token(self.company.credentials).update_token(current)

django-import-export M2M

Fri, 09 Jun 2023 00:00:00 +0000

django-import-export M2M, FK

GroupWidget

どちらでも使える:

Users.groups
Permission.group_set

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


from import_export import widgets, fields

class GroupWidget(widgets.ManyToManyWidget):
 def clean(self, value, row=None, *args, **kwargs):
 if not value:
 return self.model.objects.none()
 if self.field == "name":
 # 存在しない場合作成する
 ids = value.split(self.separator)
 ids = filter(None, [i.strip() for i in ids])
 return map(lambda i: self.model.objects.get_or_create(name=i)[0], ids)
 return super().clean(self, value, row=row, *args, **kwargs)

ContentTypeWidget

Permission.content_type など ForeingKey 定義されていると使える
データは {app_label}.{model} でレンダリングされるので、取り込む時に split('.') する

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


from import_export import fields, widgets
from django.contrib.contenttypes.models import ContentType


class ContentTypeWidget(widgets.ForeignKeyWidget):
 def clean(self, value, row=None, *args, **kwargs):
 if value is None:
 return None

 app_label, model = value.split(".")
 content_type = ContentType.objects.get_by_natural_key(app_label, model)
 return content_type

 def render(self, value, obj=None):
 return f"{value.app_label}.{value.model}"

User.groups

User の Resource を定義するにあたって、groups を name で import/export するには、以下のように記述することができます。

django グループに権限を付与

Thu, 08 Jun 2023 00:00:00 +0000

Django: 指定したグループに権限を与える

1
2
3
4


from itertools import product
from django.contrib.auth.models import Permission, Group
from django.contrib.contenttypes.models import ContentType
from django.apps import apps

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


@main.command()
@click.argument("group_name")
@click.argument("model_path")
@click.argument("action_suffix", nargs=-1) # view とか view_other とか
@click.pass_context
def group_add_perms(ctx, group_name, model_path, action_suffix):
 """指定したグループに権限を与える"""

 group = Group.objects.get(name=group_name)

 app_label, model_name = model_path.split(".")

 if app_label == "*":
 model_list = apps.get_models()
 else:
 model_list = list(
 filter(
 lambda i: model_name == "*" or i._meta.model_mame == model_name,
 apps.get_app_config(app_label).get_models(),
 )
 )

 actions = map(lambda i: i.split("_"), action_suffix)

 def _perm(item):
 model_class, actions = item
 content_type = ContentType.objects.get_for_model(model_class)
 codename = (
 f"{actions[0]}_{content_type.model}_{actions[1]}"
 if len(actions) > 1
 else f"{actions[0]}_{content_type.model}"
 )
 return Permission.objects.filter(content_type=content_type, codename=codename).first()

 perms = filter(lambda i: i is not None, map(_perm, product(model_list, actions)))
 group.permissions.add(*perms)

銀行マスター

Thu, 08 Jun 2023 00:00:00 +0000

django-import-export で銀行マスターを取り込む

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


from import_export import resources

from .. import models


class BankCodeResource(resources.ModelResource):
 class Meta:
 model = models.BankCode
 import_id_fields = ["code", "branch_code"]
 fields = ["code", "branch_code", "kana", "name", "branch_kana", "branch_name"]

 def before_import_row(self, row, row_number=None, **kwargs):
 for field in self._meta.fields:
 # ヘッダーは verbose_name に合わせている
 value = row.pop(self._meta.model._meta.get_field(field).verbose_name, None)
 if value is None:
 continue

 # コードは0埋めする
 if field == "code":
 value = str(value).zfill(4)
 elif field == "branch_code":
 value = str(value).zfill(3)

 row[field] = value

pandas MySQL

Wed, 07 Jun 2023 00:00:00 +0000

pandas: MySQL

sqlalchemy で mysqlclient を使うには、まず mysqlclient をインストールする必要があります。次に、SQLAlchemy のエンジン構成で mysqlclient を使用するように設定します。以下は、Qiita の記事 ¹ からの例です。

1
2
3


from sqlalchemy import create_engine

engine = create_engine('mysql+mysqldb://user:password@host/dbname', echo=True)

また、CData Python Connector for MySQL³ を使用することもできます。これは、SQLAlchemy ORM を使用して Python で MySQL データに連携するためのドライバです。

1
2


from sqlalchemy import create_engine
engine = create_engine("mysql+mysqlconnector://user:password@host/dbname")

どちらの方法でも、SQLAlchemy で MySQL に接続することができます。

ソース: Bing との会話 2023/6/7

(1) 【Python】SQLAlchemy で MySQL に接続する - Qiita. https://qiita.com/curry__30/items/432a21426c02a68e77e8.
(2) SQLAlchemy ORM を使って、Python で MySQL データに連携 …. https://www.cdata.com/jp/kb/tech/mysql-python-sqlalchemy.rst.
(3) 【Python】SQLAlchemy を試してみる - Qiita. https://qiita.com/ktamido/items/ebdbe5a85dbc3e6004ae.

django

.env に　 django の DATABASE_URL が定義されているとする

django session

Tue, 30 May 2023 00:00:00 +0000

Sessionのユーザーの取得

Djangoでセッションレコードがどのユーザーのものかを判定するには、以下のようにします。

1
2
3
4
5
6
7
8


from django.contrib.sessions.models import Session
from django.contrib.auth.models import User

for session in Session.objects.all():
 uid = session.get_decoded().get('_auth_user_id')
 if uid:
 user = User.objects.get(id=uid)
 print(user.username)

参考文献:

Django ドキュメント | セッションの使いかた

ソース: Bing との会話 2023/5/30

(1) セッションの使いかた | Django ドキュメント | Django. https://docs.djangoproject.com/ja//2.2/topics/http/sessions/.
(2) 【Django】ログイン判定機能の実装方法を実例付きで徹底解説. https://itc.tokyo/django/dynamic-links-by-user-info/.
(3) Djangoで現在ログインしているユーザーのユーザーIDを取得する方法. https://qastack.jp/programming/12615154/how-to-get-the-currently-logged-in-users-user-id-in-django.

SessionStoreをつかう

1
2
3
4
5
6
7


from django.contrib.sessions.backends.db import SessionStore

key = "3gsbhdfm4g2uyyieaaxl1omor2p5f1on"
store = SessionStore(session_key=key)

store["ssout_required"] = True
store.save()

django-import-export

Thu, 18 May 2023 00:00:00 +0000

django-import-export

django-import-export = "^2.4.0"

settings.py

1
2
3
4
5


INSTALLED_APPS += [
 ...
 "import_export",
 ...
]

resources.py

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


from import_export import resources

from .. import models


class DepartmentResource(resources.ModelResource):
 class Meta:
 model = models.Department
 import_id_fields = ["code", "company_code"] # 複合キー
 exclude = ["company", "jobposts", "origin", "status"] # 除外

 def get_instance(self, instance_loader, row):
 instance = super().get_instance(instance_loader, row)
 exclude = []
 if instance:
 exclude += ["is_m03", "is_tmb"] # 更新除外

 list(map(lambda i: row.pop(i, None), exclude))
 return instance

admin.py

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


from import_export.admin import ImportExportActionModelAdmin

from . import inlines, resources


class BaseModelAdmin(ImportExportActionModelAdmin):
 exclude = ["created_at"]
 readonly_fields = ["updated_at"]

@admin.register(models.Department)
class DepartmentAdmin(BaseModelAdmin):
 ...
 resource_class = resources.DepartmentResource

Django Subquery

Wed, 17 May 2023 00:00:00 +0000

Subquery

合計値のアノテート

サブクエリの合計値:

合計対象レコードを OuterRefで条件指定してして絞り込む
values() でユニークフィールドで GROUP BY する
対象フィールドの合計値をanotate する
アノテートしたフィールドを values() で ValueList にしてSubqueryで返す(1件のはず)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


def verify():
 from django.db.models import OuterRef, Subquery, F
 from django.db.models.functions import Coalesce
 from base.models.utils import aggr_sum_decimal as D
 from decimal import Decimal

 ref_query = dict(
 book__company_code=OuterRef("company_code"),
 book__processing_month=OuterRef("processing_month"),
 account_code=OuterRef("account_code"),
 account_item_code=OuterRef("account_item_code"),
 advances_code=OuterRef("outsource_code"),
 advances_branch_code=OuterRef("outsource_branch_code"),
 )

 def bookitem_sum(bookitem):
 qs = (
 bookitem.objects.filter(**ref_query)
 .values(*ref_query.keys())
 .annotate(total=D("amount"))
 .values("total")
 )

 return Subquery(qs)

 qs = models.CostOutsource.objects.annotate(
 sum_debit=Coalesce(bookitem_sum(BookDebit), Decimal("0")),
 sum_credit=Coalesce(bookitem_sum(BookCredit), Decimal("0")),
 ).exclude(debit_amount=F("sum_debit"), credit_amount=F("sum_credit"))

Bing

Djangoのクエリセットで、別のテーブルのフィールドの合計値をSubqueryを使ってannotateすることができます¹。以下は、例です。

DRF: Content Negotiation

Fri, 12 May 2023 00:00:00 +0000

DRF: Content Negotiation

DefaultContentNegotiation

content_negotiation_classをカスタマイズするには、以下のようにします。

1
2
3
4
5
6


from rest_framework.negotiation import DefaultContentNegotiation

class MyContentNegotiation(DefaultContentNegotiation):
 def select_renderer(self, request, renderers, format_suffix=None):
 # ここに処理を書きます。
 pass

上記の例では、DefaultContentNegotiationを継承しています。

select_renderer()メソッドには、レンダラーを選択するための処理を書きます。このメソッドは、リクエストオブジェクト、レンダラーのリスト、およびフォーマットサフィックスを引数として受け取ります。

ソース: Bing との会話 2023/5/12

(1) Content negotiation - Django REST framework. https://www.django-rest-framework.org/api-guide/content-negotiation/.
(2) Django REST Framework - Content negotiation - HTTPは …. https://runebook.dev/ja/docs/django_rest_framework/api-guide/content-negotiation/index.
(3) Django REST framework カスタマイズ方法 - チュートリアルの補足. https://qiita.com/okoppe8/items/c58bb3faaf26c9e2f27f.

ViewSetでの設定

ViewSetごとにcontent_negotiation_classを設定することができます。

jupyter: Django

Fri, 05 May 2023 00:00:00 +0000

Jupyter: Django

準備

django_extensions , notebookを入れておく

settgins.py:

1

INSTALLED_APPS += ['django_extensions']

VSCode

VSCodeでJupyterのPythonランタイムを選んでから以下を実行する
環境変数で、DJANGO_ALLOW_ASYNC_UNSAFE=true をセットしておく(.envとか)

1
2
3
4
5
6


import sys, os, django

BASE_DIR = "path_ot_manage_py"
sys.path.insert(0, BASE_DIR)
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "app.settings")
django.setup()

リモートサーバー

autossh でポートフォワード

PCの 8.8.8.8 -> リモート(EC2とか)の 8.8.8.8 にフォワードする:

1

autossh -M 0 -F .secrets/ssh.ec2.conf server -N -L 8888:localhost:8888 -4

カーネル起動

1

DJANGO_ALLOW_ASYNC_UNSAFE=true python manage.py shell_plus --notebook

URLが表示されるので、ブラウザでアクセスする

redis

Fri, 05 May 2023 00:00:00 +0000

redis

Ubuntu

1

sudo apt update && sudo apt install redis-server -y

1
2


$ ps ax | grep redis
1083463 ? Ssl 0:00 /usr/bin/redis-server 127.0.0.1:6379

redis-cli

redis-cliコマンドでデータベース1に接続するには、次のように入力します。¹²

redis-cli -n 1

このコマンドは、データベース1に接続するためのものです。-nオプションを使用して、データベース番号を指定します。

上記の例では、データベース番号が1であることを示しています。

ソース: Bing との会話 2023/5/5

(1) redis-cliの接続時によく使うコマンド使い方メモ - Qiita. https://qiita.com/a-nishimura/items/54b0d85dbce47685a36f.
(2) 【入門】Redis - Qiita. https://qiita.com/wind-up-bird/items/f2d41d08e86789322c71.
(3) redis-cliの使い方 - Qiita. https://qiita.com/sawada_masahiko/items/1f60936c421ecab8dfbf.
(4) redis-cliでよく使うコマンド20選 - Qiita. https://qiita.com/hatsu/items/a52817364160e0b6bb60.
(5) Redisコマンド一覧 - Qiita. https://qiita.com/taiba/items/18016906d80c13e88853.
(6) リモート環境にあるRedisに接続する - 箱のプログラミング日記。. https://www.y-hakopro.com/entry/2020/10/31/185235.

Django

1

poetry add django-redis

settings.py:

djang-mptt: tree 構造で export する

Thu, 04 May 2023 00:00:00 +0000

django-mptt: Tree モデルをエクスポート

mptt_tags テンプレートライブラリの recursetree / endrecursetree タグを使う

profiles/templates/profile/workgroup/tree.json:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{% load mptt_tags %}
[
{% recursetree nodes %}
{
 "id": "{{ node.id }}",
 "code": "{{ node.code|default:''}}",
 "name": "{{ node.name }}",
 "path": "{{ node.path }}",
 "full_name": "{{ node.full_name }}",
 "data": {},
 "children": [{{ children }}]
}{% if node.get_next_sibling %},{% endif %}
{% endrecursetree %}
]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


from django.template import engines, loader
from django.utils.safestring import mark_safe
from django.db.models import QuerySet


def render(src, request=None, engine_name="django", safe=True, **ctx):
 text = engines[engine_name].from_string(src).render(ctx, request=request)
 return safe and mark_safe(text) or text


def render_by(name, request=None, safe=True, **ctx):
 t = loader.get_template(name)
 text = t.render(ctx, request=request)
 return safe and mark_safe(text) or text


def export_trees(nodes, model_class=None, template_name=None, request=None, safe=True, **ctx):
 if not model_class and isinstance(nodes, QuerySet):
 model_class = nodes.model

 if not template_name and model_class:
 template_name = f"{model_class._meta.app_label}/{model_class._meta.model_name}/tree.json"

 if not template_name:
 return ""

 return render_by(template_name, request=request, safe=safe, nodes=nodes, **ctx)

1
2
3
4
5
6
7
8


@main.command()
@click.argument("path")
@click.pass_context
def workgroup_export(ctx, path):
 """ Workgroup Export """

 nodes = models.Workgroup.objects.all()
 print(export_trees(nodes))

Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async

Thu, 04 May 2023 00:00:00 +0000

Jupyter: `Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async`

このエラーは、asyncコンテキストから同期的なコードを呼び出そうとした場合に発生するエラーです。

async-unsafeなコードを呼び出す場合は、asyncコンテキストからではなく、自分自身の同期関数で書き、それをasgiref.sync.syncを使用して呼び出すように修正する必要があります¹。

¹: Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async. - Stack Overflow

ソース: Bing との会話 2023/5/4

(1) Django: SynchronousOnlyOperation: You cannot call this …. https://stackoverflow.com/questions/61926359/django-synchronousonlyoperation-you-cannot-call-this-from-an-async-context-u.
(2) django.core.exceptions.SynchronousOnlyOperation after …. https://github.com/django/channels/issues/1464.
(3) python - Django channels Async Websocket throwing Error …. https://stackoverflow.com/questions/63892884/django-channels-async-websocket-throwing-error-while-trying-to-use-database-quer.
(4) Django channel occasionally gets error “cannot call this from …. https://stackoverflow.com/questions/69239657/django-channel-occasionally-gets-error-cannot-call-this-from-an-async-context.
(5) python - Getting SynchronousOnlyOperation error Even after …. https://stackoverflow.com/questions/63149616/getting-synchronousonlyoperation-error-even-after-using-sync-to-async-in-django.

DJANGO_ALLOW_ASYNC_UNSAFE 環境変数を使用することで、非同期コンテキストで SynchronousOnlyOperation エラーが発生した場合に警告を無効にすることができます¹。

factory_boy: SubFactory

Sun, 30 Apr 2023 00:00:00 +0000

factory_boy: SubFuctory で　ForeignKeyフィールドを初期化する

factory_boy はテストデータを簡単に作るためのライブラリです²。ForeignKey フィールドのインスタンスのデフォルトを定義するには、SubFactory を使う方法があります¹⁴。例えば、以下のように書けます。

1
2
3
4
5
6
7
8


class PhoneContactFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.PhoneContact

class CoopFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.Coop
 phone = factory.SubFactory(PhoneContactFactory)

この場合、CoopFactory を使って Coop インスタンスを作ると、PhoneContactFactory も使って PhoneContact インスタンスを作り、そのインスタンスを Coop の phone フィールドにセットします。

もしくは、SelfAttribute を使う方法もあります⁴。例えば、以下のように書けます。

1
2
3
4
5
6
7
8


class SubtitlesFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.Subtitles

class RecordingFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.Recording
 subtitles = factory.SubFactory(SubtitlesFactory, language=factory.SelfAttribute('..language'))

この場合、RecordingFactory を使って Recording インスタンスを作るときに language パラメータを指定すると、その値が SubtitlesFactory の language パラメータにも渡されます。

DRF: UnorderedObjectListWarning: Pagination may yield inconsistent results with an unordered object_list

Sat, 29 Apr 2023 00:00:00 +0000

DRF: UnorderedObjectListWarning: Pagination may yield inconsistent results with an unordered object_list

ViewSetの queryset で order_by を明示的に指定すること

I see. Django REST framework also supports pagination for large result sets, but you need to specify a default pagination class and a page size in your settings.py file¹. Alternatively, you can set the pagination_class attribute for each viewset individually⁴. However, you still need to order your queryset by some field, otherwise you will get the same warning as before²³. You can use the order_by method on your queryset or the ordering attribute on your viewset¹. For example:

Django MPTT: values で tree_id が SELECT されてしまう

Fri, 28 Apr 2023 00:00:00 +0000

Django MPTT: values で tree_id が SELECT されてしまう

仕様である

django-mptt の TreeQuerySet で values コールすると SQL に tree_id が追加されているのは、django-mptt がツリー構造を管理するために必要なカラムだからです²。tree_id は、同じツリーに属するノードに同じ値を持ちます²。例えば、以下のようなモデルがあるとします。

1
2
3
4
5
6
7
8
9


from django.db import models
from mptt.models import MPTTModel, TreeForeignKey

class Category(MPTTModel):
 name = models.CharField(max_length=50, unique=True)
 parent = TreeForeignKey('self', on_delete=models.CASCADE, null=True, blank=True, related_name='children')

 class MPTTMeta:
 order_insertion_by = ['name']

このとき、以下のように values をコールすると、SQL に tree_id が追加されます²。

Django: Template: QuerySetの指定したindexのインスタンスの参照

Thu, 27 Apr 2023 00:00:00 +0000

Django: Template: QuerySet の指定した index のインスタンスの参照

配列ではないので、数値でインデクシングできない

{{ e.expenseitem_set.0 }} {# NG #}

１件目, 最後

{{ e.expenseitem_set.first.account_name }}
{{ e.expenseitem_set.last.account_name }}

テンプレートフィルター

1
2
3
4
5
6
7


from django import template

register = template.Library()

@register.filter
def index(queryset, i):
 return queryset[i]

1

{% load expenses %} {{ e.expenseitem_set|index:1 }}

QuerySet のインクシング

list のように -1 などの Python のインデクシングはできない (するには list(queryset) で list に変換する)

django: has_permが常に Falseになる

Wed, 26 Apr 2023 00:00:00 +0000

`has_perm` が常にFalseになる

##　無効ユーザーだから(User.is_active == False)

django.contrib.auth.backends.py:

1
2
3
4


class BaseBackend:
 def has_perm(self, user_obj, perm, obj=None):
 # ユーザーが有効の時だけパーミッション判定する
 return user_obj.is_active and super().has_perm(user_obj, perm, obj=obj)

キャッシュがのこっているため

Userオブジェクトをクエリし直す

django-mptt: tree_idの重複問題

Tue, 25 Apr 2023 00:00:00 +0000

`tree_id` が重複して登録されていまう問題

多重処理を行っている時に発生することがある模様

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


class TreeManager(models.Manager.from_queryset(TreeQuerySet)):
 ...
 @delegate_manager
 def insert_node(self, node, target, position='last-child', save=False,
 allow_existing_pk=False, refresh_target=True):
 if node.pk and not allow_existing_pk and self.filter(pk=node.pk).exists():
 raise ValueError(_('Cannot insert a node which has already been saved.'))

 if target is None:
 tree_id = self._get_next_tree_id()
 setattr(node, self.left_attr, 1)
 setattr(node, self.right_attr, 2)
 setattr(node, self.level_attr, 0)
 setattr(node, self.tree_id_attr, tree_id)
 setattr(node, self.parent_attr, None)
 ...

 def _get_next_tree_id(self):
 max_tree_id = list(self.aggregate(Max(self.tree_id_attr)).values())[0]
 max_tree_id = max_tree_id or 0
 return max_tree_id + 1
 ...

ロックをかける

django-mptt で tree_id の採番に関して、テーブルロックをかけることは可能です。django-mptt は、デフォルトでは、tree_id の採番にテーブルロックをかけていませんが、以下のようにして、テーブルロックをかけることができます³。

Django: User: Permissionコードのどれかを保有しているユーザーを検索

Sun, 23 Apr 2023 00:00:00 +0000

Django: User: Permission コードのどれかを持っているユーザーを検索

1
2
3


from operator import or_
from functools import reduce
from django.db.models import Q

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


class UserQuerySet(models.QuerySet):

 def filter_has_perm(self, perm_codeset: List[str]):
 """ Permission code(List[app_label.codename]) の一覧のどれかを含むユーザーの検索 """

 def _query(item):
 return reduce(or_, [
 Q(user_permissions__content_type__app_label=item[0], user_permissions__codename=item[1]),
 Q(groups__permissions__content_type__app_label=item[0], groups__permissions__codename=item[1]),
 ])

 query = reduce(or_, map(_query, map(lambda i: i.strip().split("."), perm_codeset)))
 return self.filter(query)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


class UserFilter(django_filters.FilterSet)
 def filter_permission_codes__in_csv(self, queryset, name, value):
 if not value:
 return queryset
 values = value.split(",") if isinstance(value, str) else value
 if len(values) < 1:
 return queryset
 return queryset.filter_has_perm(values)

 permission_codes__in_csv = DF.BaseInFilter(
 label="パーミッションコード(CSV)",
 method="filter_permission_codes__in_csv",
 )

Djanog: Permission: app_lablel.codename

Sun, 23 Apr 2023 00:00:00 +0000

Django: Permission: `app_label.codename` をアノテートする

1
2
3


from django.db.models import F, Value
from django.db.models.functions import Concat
from django.contrib.auth import models as auth_models

1
2
3
4
5
6
7



class PermissionDef:
 @classmethod
 def choices(cls):
 return auth_models.Permission.objects.annotate(
 code=Concat("content_type__app_label", Value("."), "codename")
 ).values_list("code", "name")

ただし、件数が大きいので, フィールドのchoices に使うのは現実的ではない

DRF: Userを所属グループで検索

Sun, 23 Apr 2023 00:00:00 +0000

django-filters: Userを所属グループで検索

Django REST Frameworkとdjango-filterを使って、Userが所属しているGroupを複数指定して検索することはできます。

以下のように、django-filter.FilterSetを継承したフィルタセットを定義し、filters.ModelMultipleChoiceFilterを使って、Userが所属しているGroupを複数指定することができます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


from django.contrib.auth.models import User, Group
import django_filters

class UserFilter(django_filters.FilterSet):
 groups = django_filters.ModelMultipleChoiceFilter(
 field_name='groups__name',
 to_field_name='name',
 queryset=Group.objects.all()
 )

 class Meta:
 model = User
 fields = ['username', 'groups']

上記の例では、Userモデルに対するフィルタセットを定義しています。groupsフィールドには、django_filters.ModelMultipleChoiceFilterを使って、Userが所属しているGroupを複数指定することができます。field_nameには、Userモデルのgroups__nameフィールドを指定し、to_field_nameには、Groupモデルのnameフィールドを指定しています。

Python: モジュールの実装パス

Sun, 23 Apr 2023 00:00:00 +0000

モジュール名からファイルを見つける

Pythonのモジュール名が与えられた時、そのモジュールの実装されているファイルのパスを調べるには、以下のようにします。

1
2
3
4
5
6
7


import importlib.util

def get_module_path(module_name):
 spec = importlib.util.find_spec(module_name)
 if spec is None:
 return None
 return spec.origin

上記のように、importlib.util.find_spec()関数を使って、モジュール名からspecオブジェクトを取得し、spec.origin属性を参照することで、モジュールが実装されているファイルのパスを取得することができます。

ソース: Bing との会話 2023/4/23

(1) 6. モジュール — Python 3.11.3 ドキュメント. https://docs.python.org/ja/3/tutorial/modules.html.
(2) Pythonで独自モジュールのディレクトリパスを通す方法 …. https://lightgauge.net/language/python/add-module-path.
(3) 【Python】パッケージ・モジュールの検索と import - Qiita. https://qiita.com/shinsa82/items/5004a3ea63594f20190d.

Djangoのアプリケーションの場合

1
2
3
4
5
6
7
8


from django.apps import apps

class Def:
 @property
 def path(self):
 app_label = self.__module__.split(".")[0]
 conf = apps.get_app_config(app_label)
 return conf.path

Django: User ログインシグナル

Fri, 21 Apr 2023 00:00:00 +0000

Django: User ログイン

ログインシグナル

Djangoでログインした時のイベントをシグナルで受け取る方法については、Djangoの公式ドキュメントに詳しく記載されています¹。以下のように、django.contrib.auth.signals.user_logged_inシグナルを使用して、ログイン時に実行する関数を定義し、receiver()デコレーターでシグナルを受信する関数を登録します。

1
2
3
4
5
6
7


from django.contrib.auth.signals import user_logged_in
from django.dispatch import receiver

@receiver(user_logged_in)
def user_logged_in_callback(sender, request, user, **kwargs):
 # ログイン時に実行する処理
 pass

このように、シグナルを使用することで、ログイン時に任意の処理を実行することができます。

ソース: Bing との会話 2023/4/21

(1) 「超簡単」Djangoでログインページの実装 - Qiita. https://qiita.com/Yuji-Sakata0110/items/3722fa651e02eafc4d01.
(2) 【Django】ログイン・ログアウト機能の実装 - Qiita. https://qiita.com/onishi_820/items/c69ebb6a4e34da0f34d4.
(3) Django パスワード試行回数ロックとランダムかつ有効期限付き …. https://qiita.com/startours777/items/5b1fc415e047a2044129.

Django: Admin: ManyToManyField Inline (raw_id_fields)

Sun, 16 Apr 2023 00:00:00 +0000

Django: Admin: ManyToManyField Inline (raw_id_fields)

raw_id_fields and ManyToMany in Django admin

手順:

ManyToManyField を exclude にいれて表示させないようにする
Inline Admin を定義する. model には through を定義する
対象モデルフィールドを raw_id_fields に入れる

Celery: Singleton Task

Wed, 12 Apr 2023 00:00:00 +0000

Celery: Singleton Tasks

SingletonTask

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43


from celery.app.task import Task
from celery.utils.log import get_task_logger
from django.core.cache import cache

logger = get_task_logger(__name__)


class SingletonTask(Task):
 def __call__(self, *args, **kwargs):
 self.lock_key = self.resolve_lock_key(*args, **kwargs)
 if not self.request.is_eager and self.lock_key:
 # ロックキーが指定されて、 非同期モードであればシングルトンで動作させる
 return self.call_singleton(*args, **kwargs)
 # それ以外はデフォルトの動作
 return super().__call__(*args, **kwargs)

 def resolve_lock_key(self, *args, **kwargs):
 """ taskに `singleton` キーワード変数でキーが指定されていたらシングルトンモード """
 singleton = kwargs.get("singleton", None)
 return singleton and f"{self.name}-{singleton}"

 def prepare_execute(self, *args, **kwargs):
 """ シングルトンタスクの実行の前に何かする"""
 pass

 def call_singleton(self, *args, **kwargs):
 lock = cache.lock(self.lock_key)
 if not lock.acquire(blocking=False):
 # 取得できなかったら何もしない(同じような冪等処理がすでに動いている)
 logger.info("{} failed to lock:".format(self.lock_key))
 return "SKIPPED"

 self.prepare_execute(*args, **kwargs)

 try:
 # 実際のタスクを実行
 return super(SingletonTask, self).__call__(*args, **kwargs)
 except Exception as e:
 logger.error(f"task faiild:{e}")
 lock.release()
 raise e
 finally:
 lock.release()

サンプル

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


class CostSingletonTask(SingletonTask):
 def prepare_execute(self, *args, **kwargs):
 """実行前に設定時間(秒)でsleepする
 この間の重複処理が行われない
 """
 logger.error(f"LOCK ACQUIRE:{self.lock_key}")
 logger.error(f"CALLING:{args} {kwargs}")

 logger.info(f"Sleep for ASYNC_WINDOW({settings.ASYNC_WINDOW})")
 sleep(settings.ASYNC_WINDOW)


@shared_task(base=CostSingletonTask)
def info(message, singleton=None):
 logger.error(f"Executing:{message}")
 return message

リンク

Celery: タスクの結果をMySQLで確認する

Wed, 12 Apr 2023 00:00:00 +0000

Celery: タスクの結果をMySQLで確認する

PYPI:

django-celery-results = "^2.5.0"

settings:

1
2
3


CELERY_RESULT_BACKEND = "django-db"
CELERY_RESULT_EXTENDED = True
INSTALLED_APPS += ["django_celery_results"]

Database Result Backend

It seems that you are using Django and Celery to run asynchronous tasks and store the results in a database. One possible reason why the result data is always null is that you are not returning anything from your task function². For example, if your task function looks like this:

Python: ジョブキューイング

Fri, 07 Apr 2023 00:00:00 +0000

タスクキューシステム

Full Stack Python

Celery

https://docs.celeryq.dev/en/stable/

PYPI:

celery
redis
django-celery-results
django-redis

Redis:

Using Redis
poetry add "celery[redis]"

djang-celery-results:

django-celery-results - Using the Django ORM/Cache as a result backend
poetry add django-celery-results

Periodic Task:

Periodic Tasks

記事:

MySQL:`Database returned an invalid datetime value. Are time zone definitions for your database installed?`

macOS:

Django: model から DRF ModelSerializer を参照する

Wed, 05 Apr 2023 00:00:00 +0000

modelクラスからシリアライザクラスを参照する

models <- api の照合依存のレイアウト

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


partners
├── __init__.py
├── api
│   ├── __init__.py
│   ├── filters.py
│   ├── permissions.py
│   ├── schema.py
│   ├── serializers.py
│   ├── urls.py
│   └── viewsets.py
├── apps.py
├── models
│   ├── __init__.py
│   ├── apimodels.py
│   ├── defs.py
│   ├── managers.py
│   ├── methods.py
│   ├── models.py
│   └── querysets.py
├── tasks.py
└── views.py

Django:OpenAPI(Swagger) Scheme を出力して Pydatic クラスを生成できるようにする

Fri, 24 Mar 2023 00:00:00 +0000

DRF: コマンドでShemaを生成する

1

pip install datamodel-code-generator

ProfileSerializer(ModelSerializer)から　Pydanticモデルを生成する

1

python manage.py generateschema --format openapi-json | jq ".components.schemas.Profile" | datamodel-codegen --output /tmp/model.py

Django: asgiref

Wed, 02 Jun 2021 00:00:00 +0000

asgiref

https://github.com/django/asgiref

ASGI:

ASGI is a standard for Python asynchronous web apps and servers to communicate with each other,
and positioned as an asynchronous successor to WSGI.
You can read more at https://asgi.readthedocs.io/en/latest/

This package includes ASGI base libraries, such as:

Sync-to-async and async-to-sync function wrappers, asgiref.sync
Server base classes, asgiref.server
A WSGI-to-ASGI adapter, in asgiref.wsgi

Function wrappers

These allow you to wrap or decorate async or sync functions to call them from the other style (so you can call async functions from a synchronous thread, or vice-versa).

Django: Request.encodingについて

Sat, 24 Apr 2021 00:00:00 +0000

HttpRequest.encoding

django.http.request.HttpRequest

cgi.parse_header で、Content-Typeヘッダーから content_type と content_params(dict) を取得。
conent_paramsに charset が入っている可能性がある
codecs.lookup を使って、charset の存在を確認。
存在したらHttpRequest.encodingプロパティに設定する
実態は, HttpRequest._encoding

Django Simple Docker File

Fri, 19 Feb 2021 00:00:00 +0000

% tree . -I '__*|db*'
.
├── Dockerfile
├── poetry.lock
├── pyproject.toml
└── web
├── blogsite
│ ├── asgi.py
│ ├── settings.py
│ ├── urls.py
│ └── wsgi.py
├── manage.py
└── pages
├── admin.py
├── apps.py
├── migrations
├── models.py
├── tests.py
├── urls.py
└── views.py
4 directories, 14 files

Test

Mon, 03 Aug 2015 00:00:00 +0000

Nose

BDD

Scripting

Selenium

Django: ファイルフィールドのコピー

Tue, 16 Jun 2015 00:00:00 +0000

>>> from campaign.models import *
>>> Application.objects.all()
[<Application: Application object>]
>>> a = _[0]
>>> a.receipt_photo.path
u'/home/vagrant/projects/our-site/web/protected/campaign_application/receipt_photo/01.jpg'

$ tree protected/
protected/
└── campaign_application
└── receipt_photo
└── 01.jpg
2 directories, 1 file

>>> n = Application()
>>> n.receipt_photo.save('copy.jpg', a.receipt_photo.file)
>>> n.save()

>>> Application.objects.all()
[<Application: Application object>, <Application: Application object>]
>>> Application.objects.all()[1].receipt_photo.path
u'/home/vagrant/projects/our-site/web/protected/campaign_application/receipt_photo/copy.jpg'

$ tree protected/
protected/
└── campaign_application
└── receipt_photo
├── 01.jpg
└── copy.jpg
2 directories, 2 files

$ sha1sum protected/campaign_application/receipt_photo/*
a97c2b07232242e96506914cadfbc08ea7efb712 protected/campaign_application/receipt_photo/01.jpg
a97c2b07232242e96506914cadfbc08ea7efb712 protected/campaign_application/receipt_photo/copy.jpg

Django Jade

Tue, 03 Mar 2015 00:00:00 +0000

jQueryUI

Thu, 26 Feb 2015 00:00:00 +0000

source

source#1. 配列

文字列配列

[ "Choice1", "Choice2" ]

オブジェクト配列( obj.label, obj.value )

value = value or label

 [ { label: "Choice1", value: "value1" }, ... ]

source#2. URI

GET source_uri?term=入力文字列

source#3. 関数

source : function(request, response){
var iput = response.term;
response([ var1, var2, ...] );
}

Sample with a Django Model

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


 var entities = {% to_json entities %}; // serializers.serialize('json', entities)

 $( "input.entity-title" ).autocomplete({
 delay: 0,
 source: $.map(entities, function(val, index){
 return {
 label: val['fields']['name'],
 value: val['fields']['id'],
 model: val};
 }),
 select: function(e, ui) {
 alert(ui.item.model['fields']['created_at']);
 }
 });

Bootstrap Dropdown with Icons

Tue, 24 Feb 2015 00:00:00 +0000

Django: Manager With QuerySet

Tue, 24 Feb 2015 00:00:00 +0000

from_queryset

Wagtail

Mon, 23 Feb 2015 00:00:00 +0000

wagtail

modelcluster

django-modelcluster

taggit

django-taggit (doc)

サバクラ両方で動く JavaScript の大規模開発を行うために

Sun, 25 Dec 2011 00:00:00 +0000

サバクラ両方で動く JavaScript の大規模開発を行うために

原文：Scaling Isomorphic Javascript Code (This is just for study, please contact me at tily05 atmark gmail.com if any problem.)

考えてみれば Model-View-Controller とか MVC ってよく聞くよね。実際どんなものか知ってる？抽象的に言うなら「オブジェクト情報の保持されるグラフィック・システム (つまり、ラスターではないグラフィック。ゲームとか) 上に構築された、表示系を中心としたアプリケーションにおいて、主要な機能どうしの関わりをうまく分離すること」とでも言おうか。もう少し深く考えを押し進めてみれば、これは当然、他のさまざまなアプリケーションにもあてはまる言葉 (bucket term ?) だ。

過去に多くの開発コミュニティが MVC による解決案を提供し、それによってよくあるユースケースにうまく対処し、地位を築くことができた。例をあげるなら、Ruby や Python コミュニティは Rails や Django を作り、MVC アーキテクチャを実現した。

こうした手法は Java, Ruby, Python といった他の言語では容易に受け入れらてきたが、Node.js について十分ではない。理由は単純で、それはただ、JavaScript が今や isomorphic な言語であるからだ。isomorphic というのは「ソースコードのどの行 (もちろん注目すべき例外もあるが) をとってみても、クライアント・サーバーの両方で実行できる」ということを意味している。表面的には無害に見えるが、この特徴のせいで現状の MVC ベースのパターンでは解決できない課題がたくさんある。

この記事では、まず現存するパターンをいくつか取り上げ、いかにそのようなパターンに関する実装や心配事が言語や環境に関わらず普遍的なものとなり得たか、そのようなパターンがどうして真に “isomorphic” な Javascript のソースコードにはあまり適していないのかを述べる。そして結論として、新しいパターン “Resource-View-Presenter” について述べる。

デザインパターンは、アプリケーションの開発にとってなくてはならないオマンマのような存在である。アプリケーションやその環境についてのさまざまの心配事をカプセル化し、うまくまとめてくれる。ブラウザとサーバの間でこんなにもさまざまの心配事があるからね：

View を作るとして、(たとえばサーバ側で) 一時的にしか存在しないのか、(たとえばブラウザ側で) 永続するべきものなのか？
View を作るとして、複数のユースケースやシナリオの間で再利用可能なものか？
View を作るとして、アプリケーション特有のタグやマークアップが使われているか？
ビジネスロジックをどこに記述すべきか？ (Model なのか Controller なのか)
アプリケーションの持つ状態はどのように保持されアクセスされるのか？

現存するパターンを取り上げ、上記の問題がどのように解決されているのか見てみよう：

Django on hdknr blog

Celery

CloudFront → ALB → Django の HTTPS 判定

Django REST Framework (DRF)

Redis

分散ロック

Claude Code で Laravel→Django 全自動移行をやってみた（1/3）計画編

Claude Code で Laravel→Django 全自動移行をやってみた（2/3）自動化基盤編

Claude Code で Laravel→Django 全自動移行をやってみた（3/3）実行結果・教訓編

redis-py の Lock をサブクラス化してフェンシングトークンを実装する

前提知識：Redis の Lua スクリプティング

なぜ Lua スクリプトが必要か

Redis CLI での実行例

redis-py での実行例

セキュリティ上の注意

Sentry × Claude Code で実現する AI デバッグワークフロー — エラー監視から自動修正まで

Sentry × Claude Code で実現する AI デバッグワークフロー — エラー監視から自動修正まで

Sentry とは

単なるエラーログではない

Sentry の主要機能

1. Error Monitoring（エラー監視）

2. Performance Monitoring（パフォーマンス監視）

3. Session Replay（セッションリプレイ）

# CloudFront → ALB → Django 構成で API レスポンスの URL スキームが http:// になる問題と解決策

CloudFront → ALB → Django 構成で API レスポンスの URL スキームが http:// になる問題と解決策

はじめに

構成

問題

CloudWatch Logs のエラーを自動で GitHub Issues に課題化する

CloudWatch Logs のエラーを自動で GitHub Issues に課題化する

背景

アーキテクチャ

この構成を選んだ理由

django-oauth-toolkit 2.0 の client_secret ハッシュ化で外部連携が壊れた話

django-oauth-toolkit 2.0 の client_secret ハッシュ化で外部連携が壊れた話

TL;DR

背景

Django Email

メール送信

Strawberry

Strawberry

Djanog Integration

strawberry-sqlalchemy

記事

Django

FastAPI

FastAPI

Hypercorn

filters

モデルマッパー

SQLModel(https://sqlmodel.tiangolo.com/)

OAuth: PKCE

OAuth PKCE

Django: Push Notification

Django: Push Notification

APNS (Apple)

FCM/GCM(Google)

Web Push

django-redis: lock

djanog-redis: cache.lock

lock

DefaultClient

Redis

Python with文

With

MPTT tree_id

MPTT Tree ID

分散ロック

デッドロック

MySQL: 𠮷（つちよし）

MySQL: 𠮷（つちよし）

データベース/テーブル utf8mb4にすること

接続 を utf8mb4 にすること

Django 動的モデル生成

Django : 動的モデル生成

Django Migration: Uniqu Field

Django : マイグレーション: Unique フィールドの追加

redis

Elasic Cache for Redis

バージョン

`lock`

データベース/テーブル `utf8mb4`にすること

接続を `utf8mb4` にすること

django-import-export で銀行マスターを取り込む

django-mptt: Tree モデルをエクスポート

Jupyter: `Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async`

factory_boy: SubFuctory で　ForeignKeyフィールドを初期化する

django: has_permが常に Falseになる

`has_perm` が常にFalseになる