MySQL on hdknr blog

mysqldump エラー 1449: DEFINER が存在しないユーザーを参照している場合の対処法

Thu, 26 Mar 2026 00:00:00 +0000

mysqldump でデータベースをダンプしようとしたら、こんなエラーが出て止まった経験はないでしょうか。

mysqldump: Got error: 1449: The user specified as a definer ('root'@'%') does not exist when using LOCK TABLES

これは MySQL の DEFINER という仕組みに起因するエラーです。ビューやストアドプロシージャの作成時に記録された「定義者（DEFINER）」ユーザーが、現在のサーバー上に存在しない場合に発生します。

なぜ起きるのか

MySQL のビュー、ストアドプロシージャ、トリガー、イベントには DEFINER 属性があります。これはそのオブジェクトを作成した MySQL ユーザーを記録したもので、SQL SECURITY DEFINER（デフォルト）の場合、オブジェクトの実行は DEFINER ユーザーの権限 で行われます。

mysqldump は LOCK TABLES を実行する際、ダンプ対象のビューなどの DEFINER ユーザーを参照します。このとき、DEFINER に設定されたユーザー（例: 'root'@'%'）がサーバー上に存在しなければ、エラー 1449 で処理が中断されます。

よくあるシナリオ:

本番環境から別環境にデータベースをコピーした際、元の環境にいた root@'%' が移行先に存在しない
MySQL のユーザーを整理した際、ビューの DEFINER を更新し忘れた
root@'localhost' しか存在しないのに、ビューが root@'%' で作成されていた

DEFINER が問題のオブジェクトを特定する

まず、どのオブジェクトが問題の原因かを information_schema で確認します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


-- ビュー
SELECT DEFINER, TABLE_SCHEMA, TABLE_NAME
FROM information_schema.VIEWS
WHERE DEFINER LIKE '%root@%';

-- ストアドプロシージャ / ファンクション
SELECT DEFINER, ROUTINE_SCHEMA, ROUTINE_NAME, ROUTINE_TYPE
FROM information_schema.ROUTINES
WHERE DEFINER LIKE '%root@%';

-- イベント
SELECT EVENT_CATALOG, EVENT_SCHEMA, EVENT_NAME, DEFINER
FROM information_schema.EVENTS
WHERE DEFINER LIKE '%root@%';

-- トリガー
SELECT TRIGGER_SCHEMA, TRIGGER_NAME, DEFINER
FROM information_schema.TRIGGERS
WHERE DEFINER LIKE '%root@%';

多くの場合、ビューが原因です。該当するオブジェクトが見つかったら、その定義を確認しましょう。

急成長でぶつかったMySQLの罠とその向き合い方 - 7つの実践的な教訓

Fri, 20 Mar 2026 00:00:00 +0000

Timee のプラットフォームエンジニアリングチームの徳富博氏による発表「急成長でぶつかったMySQLの罠とその向き合い方」から、Aurora MySQL 運用で遭遇した 7 つの重要な課題とその対策をまとめます。

サービスの急成長に伴い、小規模では問題にならなかった MySQL の挙動が本番環境で深刻な障害を引き起こすことがあります。この発表では、実際の運用経験に基づいた具体的な対策が共有されています。

1. DDL 実行の落とし穴

DDL（Data Definition Language: テーブル定義の変更操作）には「Online DDL」という仕組みがありますが、DDL 実行中もテーブルへのアクセスがブロックされないわけではありません。実際にはメタデータロック（MDL）が必ず発生します。

Aurora のレプリカでは DDL 実行時にコネクションが切断されるため、リトライロジックが必須
外部キー制約を追加する際は foreign_key_checks = 0 を設定すると、COPY アルゴリズムではなく INPLACE アルゴリズム（テーブルの再構築を伴わない方式）が使われ、影響を最小化できる

2. MDL ベースのデッドロック

MDL デッドロックは SHOW ENGINE INNODB STATUS に表示されないため、標準的な監視では検知できません。

外部キーが存在すると、DROP/ALTER 操作時に親テーブルに対して広範な MDL が取得される
対策: DDL 操作の前に外部キー制約を削除する

3. レプリカがライターに影響を与える問題

Aurora ではレプリカとライターがストレージボリュームを共有しています。レプリカ上の長時間クエリが undo ログのクリーンアップを妨げ、ライターのパフォーマンスに影響します。

MySQL のデフォルトの分離レベルは REPEATABLE READ だが、分析用クエリには READ COMMITTED を使用することで、リードビューの保持期間を短縮し undo ログの蓄積を抑えられる

4. 同時リクエストによるデッドロック

高トラフィック環境では、確率的に発生する競合が確実に障害を引き起こすようになります。

ギャップロックパターン

ギャップロック（インデックスレコード間の隙間に対するロック）同士は競合しませんが、複数のトランザクションが同時に INSERT を実行すると循環待ちが発生します。

生成AIで情報漏えいが増える本当の理由 — 「検索者がAIになった」時代の脅威モデルと3層防御

Mon, 02 Mar 2026 00:00:00 +0000

name: security-check description: Claude Code 利用における情報漏えいリスクをチェックする。 Auto Memory や CLAUDE.md への機密混入、.env の gitignore 漏れ、機密ファイルの存在などを検査する。

Claude Code の利用に関する情報漏えいリスクをチェックしてください。

チェック対象

以下の 4 カテゴリを順番に検査する。

1. Auto Memory の機密スキャン

~/.claude/ 配下の memory ファイルを検査する:

以下のパスを Glob で列挙する:
- ~/.claude/projects/*/memory/*.md
- ~/.claude/projects/*/memory/**/*.md
各ファイルを Read で読み込み、以下のパターンを Grep で検出する:
- API キー・トークン: (?i)(api[_-]?key|secret[_-]?key|access[_-]?token|bearer)\s*[:=]\s*\S+
- パスワード: (?i)(password|passwd|pwd)\s*[:=]\s*\S+
- AWS 認証情報: (?i)(AKIA[0-9A-Z]{16}|aws[_-]?secret)
- 接続文字列: (?i)(mysql|postgres|redis|mongodb):\/\/\S+
- 個人情報パターン: メールアドレス、電話番号、マイナンバーらしき数字列
- 金額・契約情報: (?i)(契約金額|単価|請求|売上)\s*[:：]\s*[\d,￥¥$]+
- 顧客 ID の具体値: (?i)(顧客id|customer[_-]?id|ユーザーid|user[_-]?id)\s*[:=：]\s*\d+
検出があれば、ファイルパス・行番号・該当箇所を報告する

2. CLAUDE.md の機密スキャン

プロジェクトの CLAUDE.md およびグローバルの ~/.claude/CLAUDE.md を検査する:

両ファイルを Read で読み込む
チェック 1 と同じパターンで Grep 検査する
加えて、以下も確認する:
- URL にトークンやキーが含まれていないか（?token=, ?key=, ?secret=）
- 内部 IP アドレスやホスト名が含まれていないか
CLAUDE.md はリポジトリにコミットされるため、検出時は即時対応を推奨として強調する

3. 機密ファイルの gitignore チェック

プロジェクトルートで以下を確認する:

AWS RedShift

Tue, 28 Jan 2025 00:00:00 +0000

CDC

AWS環境で実現するには、主に以下の2つの方法が主流です。

AWS DMS (Database Migration Service) の利用 (実績が豊富で柔軟性が高い)
Amazon RDS ゼロ ETL 統合 (最もシンプルで最新の選択肢)

それぞれの構成と特徴を詳しく解説します。

1. AWS DMS (Database Migration Service) を利用した構成

AWS DMSは、データベース間のデータ移行や継続的なレプリケーション（CDC）を行うための専用サービスです。

構成の概要

RDS for MySQLの設定:
- MySQLの**バイナリログ（Binlog）**を有効にし、フォーマットをROWに設定します。DMSはこれを読み取って変更を追跡します。（CDCの必須設定）
AWS DMS コンポーネント:
- レプリケーションインスタンス: データ移行（レプリケーション）を実行する専用のEC2インスタンスです。ソースとターゲットの間でデータを読み書きし、マッピングや変換を行います。
- ソースエンドポイント: RDS for MySQLへの接続情報を定義します。
- ターゲットエンドポイント: Amazon Redshiftへの接続情報を定義します。
- 移行タスク: CDC（継続的レプリケーション）を定義するコア設定です。どのテーブルを移行するか、フルロード後にCDCを継続するかなどを指定します。
データフロー:
- RDS for MySQLで変更（UPDATE/INSERT/DELETE）が発生すると、その変更がBinlogに記録されます。
- DMSのレプリケーションインスタンスがBinlogを継続的に読み取ります。
- DMSは変更データをRedshiftに適した形式に変換し、Redshiftクラスターに書き込みます（通常はS3経由でCOPYコマンドを使用）。

メリット・デメリット

項目	メリット	デメリット
柔軟性	非常に高く、多種多様なデータベースに対応。テーブルやスキーマのフィルタリング、データ変換（トランスフォーメーション）も可能。
コスト		レプリケーションインスタンスの料金が継続的に発生する。
運用		インスタンスの管理（サイズ選定、冗長性など）や、Binlogの保持期間の管理が必要。
安定性	実績が豊富で安定しているが、タスク設定やインスタンスサイズによってはチューニングが必要になる場合がある。

2. Amazon RDS ゼロ ETL 統合 (推奨)

これは、2023年以降に登場した新しい機能で、最もシンプルかつ管理負担の少ないCDCの方法です。現時点ではAurora MySQLからRedshiftへの統合が中心ですが、RDS for MySQLへの対応も進んでいます。

AWS:RDS:モニタリング

Fri, 16 Feb 2024 00:00:00 +0000

RDS モニタリング

拡張モニタリング

拡張モニタリングの設定と有効化

起動時刻関連

HowTo: Check how long a MySQL server has been running
SHOW GLOBAL STATUS LIKE 'Uptime';

1
2
3


SELECT FROM_UNIXTIME(UNIX_TIMESTAMP() - variable_value) AS last_started
 FROM performance_schema.global_status
 WHERE variable_name='Uptime'

MySQL: CDC

Thu, 28 Dec 2023 00:00:00 +0000

MySQL: CDC(Change Data Capture)

RDS MySQL

AWS DMS のソースとして AWS が管理する MySQL 互換データベースの使用
- バイナリログ(binlog_format == ROW)
- binlog_row_image == Full
- binlog_checksum == NONE

DMS

サーバーレス:

MPTT tree_id

Mon, 06 Nov 2023 00:00:00 +0000

MPTT Tree ID

分散ロック

Distributed Locking in Django

1
2
3
4


from django.core.cache import cache

with cache.lock("somekey"):
 do_some_thing()

redis-py:

https://github.com/redis/redis-py/blob/d3a3ada03e080f39144807c9fbe44876c40e0548/redis/client.py#L394

デッドロック

Hook available for automatic retry after deadlock in django and mysql setup

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


import django.db.backends.utils
from django.db import OperationalError
import time

original = django.db.backends.utils.CursorWrapper.execute

def execute_wrapper(*args, **kwargs):
 attempts = 0
 while attempts < 3:
 try:
 return original(*args, **kwargs)
 except OperationalError as e:
 code = e.args[0]
 if attempts == 2 or code != 1213:
 raise e
 attempts += 1
 time.sleep(0.2)

django.db.backends.utils.CursorWrapper.execute = execute_wrapper

MySQL: 𠮷（つちよし）

Sun, 01 Oct 2023 00:00:00 +0000

MySQL: 𠮷（つちよし）

データベース/テーブル `utf8mb4`にすること

1

ALTER TABLE customers_customer CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

確認:

$ echo "show variables like 'character%';" | python manage.py dbshell

Variable_name Value
character_set_client utf8mb4
character_set_connection utf8mb4
character_set_database utf8mb4
character_set_filesystem binary
character_set_results utf8mb4
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /rdsdbbin/mysql-8.0.28.R4/share/charsets/

character_set_system utf8mb3 が問題

接続を `utf8mb4` にすること

django: OPTIONS/charset=utf8mb4

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


In [1]: from django.conf import settings

In [2]: settings.DATABASES
Out[2]:
{'default': {'ENGINE': 'django.db.backends.mysql',
 'HOST': 'prod-db-instance.xxxxxxxx.ap-northeast-1.rds.amazonaws.com',
 'NAME': 'coresys_masters',
 'USER': 'coresys_masters',
 'PASSWORD': 'va0Gaighoo3Paez8',
 'OPTIONS': {'charset': 'utf8mb4',
 'init_command': "SET sql_mode='STRICT_TRANS_TABLES'"},
 'ATOMIC_REQUESTS': False,
 'AUTOCOMMIT': True,
 'CONN_MAX_AGE': 0,
 'TIME_ZONE': None,
 'PORT': '',
 'TEST': {'CHARSET': None,
 'COLLATION': None,
 'MIGRATE': True,
 'MIRROR': None,
 'NAME': None}}}

RDS MySQL 接続確認

Sun, 03 Sep 2023 00:00:00 +0000

1
2
3
4
5
6
7
8
9



mysql> show variables like "hostname";

+---------------+---------------+
| Variable_name | Value |
+---------------+---------------+
| hostname | ip-172-23-1-5 |
+---------------+---------------+
1 row in set (0.00 sec)

MySQL BULK INSERT

Tue, 15 Aug 2023 00:00:00 +0000

MySQL バルクインサート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


@main.command()
@click.argument("source_file")
@click.option("--encoding", "-e", default="cp932")
@click.pass_context
def data_import(ctx, source_file, encoding):
 """ import TSV file """

 opt = get_model()._meta
 fields = ",".join([f.name for f in opt.fields if f.name not in ["id"]])
 SQL = f"""
 LOAD DATA LOCAL INFILE '{source_file}' INTO TABLE {opt.db_table}
 CHARACTER SET {encoding}
 FIELDS TERMINATED BY '\t' ({fields}) ;
 """

 with connection.cursor() as cursor:
 cursor.execute(SQL)
 print(cursor.fetchall())

重複時に UPDATE する(REPLACE):

MySQL only_full_group_by

Fri, 30 Jun 2023 00:00:00 +0000

`only_full_group_by`

エラー:

1
2
3
4
5
6


OperationalError: (
 1055,
 "Expression #1 of SELECT list is not in GROUP BY clause
 and contains nonaggregated column 'server.sales_sales.sales_status'
 which is not functionally dependent on columns in GROUP BY clause;
 this is incompatible with sql_mode=only_full_group_by")

対処: sql_mod に traditional を指定する

pandas MySQL

Wed, 07 Jun 2023 00:00:00 +0000

pandas: MySQL

sqlalchemy で mysqlclient を使うには、まず mysqlclient をインストールする必要があります。次に、SQLAlchemy のエンジン構成で mysqlclient を使用するように設定します。以下は、Qiita の記事 ¹ からの例です。

1
2
3


from sqlalchemy import create_engine

engine = create_engine('mysql+mysqldb://user:password@host/dbname', echo=True)

また、CData Python Connector for MySQL³ を使用することもできます。これは、SQLAlchemy ORM を使用して Python で MySQL データに連携するためのドライバです。

1
2


from sqlalchemy import create_engine
engine = create_engine("mysql+mysqlconnector://user:password@host/dbname")

どちらの方法でも、SQLAlchemy で MySQL に接続することができます。

ソース: Bing との会話 2023/6/7

(1) 【Python】SQLAlchemy で MySQL に接続する - Qiita. https://qiita.com/curry__30/items/432a21426c02a68e77e8.
(2) SQLAlchemy ORM を使って、Python で MySQL データに連携 …. https://www.cdata.com/jp/kb/tech/mysql-python-sqlalchemy.rst.
(3) 【Python】SQLAlchemy を試してみる - Qiita. https://qiita.com/ktamido/items/ebdbe5a85dbc3e6004ae.

django

.env に　 django の DATABASE_URL が定義されているとする

MySQL 半角カナ検索

Wed, 31 May 2023 00:00:00 +0000

utf8mb4_0900_ai_ci

「utf8mb4_0900_ai_ci」という照合順序は、MySQL 8.0 から標準になった照合順序で、Unicode 9.0 の文字セットをサポートしています。¹

この照合順序は、文字列の比較において、アクセントや大小文字を区別せずに比較することができます。¹

また、日本語のようなマルチバイト文字を含む文字列を扱う場合にも適しています。¹¹: MySQL 8.0 の照合順序で標準になった「utf8mb4_0900_ai_ci」とは - Qiita

ソース: Bing との会話 2023/5/31

(1) MySQL 8.0 の照合順序で標準になった「utf8mb4_0900_ai_ci …. https://qiita.com/seltzer/items/8b5d8a61591e72715d5b.
(2) MySQL :: MySQL 8.0 リファレンスマニュアル :: 10.5 …. https://dev.mysql.com/doc/refman/8.0/ja/charset-applications.html.
(3) MySQL :: MySQL 8.0 リファレンスマニュアル :: 10.4 接続文字 …. https://dev.mysql.com/doc/refman/8.0/ja/charset-connection.html.

半角カナの濁点ありは照合順序の設定では解決できない

utf8mb4_0900_ai_ci での検索:

where	結果
`ベル`	`ヘル`, `ベル`, `ﾍﾙ` (つまり、 `ﾍﾞﾙ` は一致しない)
`ヘル`	`ヘル`, `ベル`, `ﾍﾙ` (つまり、 `ﾍﾞﾙ` は一致しない)
`ﾍﾙ`	`ヘル`, `ベル`, `ﾍﾙ` (つまり、 `ﾍﾞﾙ` は一致しない)
`ﾍﾞﾙ`	`ﾍﾞﾙ` (のみ)

django-filter: method フィルターで対応

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


from functools import reduce
from operator import or_
import django_filters as DF
import jaconv


def filter_icontains_mix(queryset, name, value):
 """全角半角を区別しないで検索(濁点対応)"""

 if not value:
 return queryset

 values = set([jaconv.h2z(value), jaconv.z2h(value)])

 def _query(v):
 return Q(**{f"{name}__icontains": v})

 query = reduce(or_, map(_query, values))
 return queryset.filter(query)


class OrderFilter(DF.FilterSet):
 ...
 customer_name__contains = DF.CharFilter(
 field_name="customer_name", lookup_expr="icontains", method=filter_icontains_mix
 )
 ...

MySQL: ERROR 1553 (HY000): Cannot drop index 'uniq_profit': needed in a foreign key constraint

Wed, 26 Apr 2023 00:00:00 +0000

MySQL: ERROR 1553 (HY000): Cannot drop index ‘uniq_profit’: needed in a foreign key constraint

MySQL で一意制約が削除できない

1
2
3


 UNIQUE KEY `uniq_profit` (`sales_id`,`accounting_status`),
 CONSTRAINT `costs_profit_sales_id_d56dec15_fk_sales_sales_id` FOREIGN KEY (`sales_id`) REFERENCES `sales_sales` (`id`),
 CONSTRAINT `costs_profit_chk_1` CHECK ((`fiscal_year` >= 0))

1
2


ALTER TABLE `costs_profit` DROP FOREIGN KEY `costs_profit_sales_id_d56dec15_fk_sales_sales_id`, DROP INDEX `uniq_profit`;
ALTER TABLE `costs_profit` ADD CONSTRAINT `costs_profit_sales_id_d56dec15_fk_sales_sales_id` FOREIGN KEY (`sales_id`) REFERENCES `sales_sales` (`id`);

実行:

1
2
3
4
5
6
7


mysql> ALTER TABLE `costs_profit` DROP FOREIGN KEY `costs_profit_sales_id_d56dec15_fk_sales_sales_id`, DROP INDEX `uniq_profit`;
Query OK, 0 rows affected (0.20 sec)
Records: 0 Duplicates: 0 Warnings: 0

mysql> ALTER TABLE `costs_profit` ADD CONSTRAINT `costs_profit_sales_id_d56dec15_fk_sales_sales_id` FOREIGN KEY (`sales_id`) REFERENCES `sales_sales` (`id`);
Query OK, 16 rows affected (0.17 sec)
Records: 16 Duplicates: 0 Warnings: 0

Django Migration の失敗

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


from django.db import migrations, models


class Migration(migrations.Migration):

 dependencies = [
 ('partners', '0003_auto_20230426_0908'),
 ]

 operations = [
 migrations.RemoveConstraint(
 model_name='partneruserrole',
 name='uniq_partneruserrole',
 ),
 migrations.AddConstraint(
 model_name='partneruserrole',
 constraint=models.UniqueConstraint(fields=('partner', 'partneruser', 'permission'), name='uniq_partneruserrole'),
 ),
 ]

制約検索

1
2
3
4
5
6
7
8
9


SELECT DISTINCT A.CONSTRAINT_NAME, A.TABLE_NAME, A.COLUMN_NAME, B.CONSTRAINT_NAME
FROM INFORMATION_SCHEMA.KEY_COLUMN_USAGE as A
JOIN INFORMATION_SCHEMA.KEY_COLUMN_USAGE as B
ON A.TABLE_NAME = B.TABLE_NAME
WHERE
 A.TABLE_NAME = 'partners_partneruserrole'
 AND B.CONSTRAINT_NAME like 'uniq_%'
 AND A.CONSTRAINT_NAME not like 'uniq_%'
 AND A.CONSTRAINT_NAME != 'PRIMARY';

+-----------------------------------------------------------+--------------------------+----------------+----------------------+
| CONSTRAINT_NAME | TABLE_NAME | COLUMN_NAME | CONSTRAINT_NAME |
+-----------------------------------------------------------+--------------------------+----------------+----------------------+
| partners_partneruser_partneruser_id_d59f67cc_fk_partners_ | partners_partneruserrole | partneruser_id | uniq_partneruserrole |
| partners_partneruser_partner_id_852ab185_fk_partners_ | partners_partneruserrole | partner_id | uniq_partneruserrole |
| partners_partneruser_permission_id_031e3996_fk_auth_perm | partners_partneruserrole | permission_id | uniq_partneruserrole |
+-----------------------------------------------------------+--------------------------+----------------+----------------------+

再設定

1
2
3
4
5
6
7


ALTER TABLE `partners_partneruserrole` DROP FOREIGN KEY `partners_partneruser_partneruser_id_d59f67cc_fk_partners_`;
ALTER TABLE `partners_partneruserrole` DROP FOREIGN KEY `partners_partneruser_partner_id_852ab185_fk_partners_`;
ALTER TABLE `partners_partneruserrole` DROP FOREIGN KEY `partners_partneruser_partner_id_852ab185_fk_partners_`, DROP INDEX `uniq_profit`;

ALTER TABLE `partners_partneruserrole` ADD CONSTRAINT `partners_partneruser_partneruser_id_d59f67cc_fk_partners_` FOREIGN KEY (`partneruser_id`) REFERENCES `partners_partneruser` (`id`);
ALTER TABLE `partners_partneruserrole` ADD CONSTRAINT `partners_partneruser_partner_id_852ab185_fk_partners_` FOREIGN KEY (`partner_id`) REFERENCES `partners_partner` (`id`);
ALTER TABLE `partners_partneruserrole` ADD CONSTRAINT `partners_partneruser_permission_id_031e3996_fk_auth_perm` FOREIGN KEY (`permission_id`) REFERENCES `auth_permission` (`user_ptr_id`);

最終スキーマ

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


DROP TABLE IF EXISTS `partners_partneruserrole`;
CREATE TABLE `partners_partneruserrole` (
 `id` bigint NOT NULL AUTO_INCREMENT,
 ....
 PRIMARY KEY (`id`),
 UNIQUE KEY `uniq_partneruserrole` (`partner_id`,`partneruser_id`,`permission_id`),
 KEY `partners_partneruser_partneruser_id_d59f67cc_fk_partners_` (`partneruser_id`),
 KEY `partners_partneruser_permission_id_031e3996_fk_auth_perm` (`permission_id`),
 CONSTRAINT `partners_partneruser_partner_id_852ab185_fk_partners_` FOREIGN KEY (`partner_id`) REFERENCES `partners_partner` (`id`),
 CONSTRAINT `partners_partneruser_partneruser_id_d59f67cc_fk_partners_` FOREIGN KEY (`partneruser_id`) REFERENCES `partners_partneruser` (`user_ptr_id`),
 CONSTRAINT `partners_partneruser_permission_id_031e3996_fk_auth_perm` FOREIGN KEY (`permission_id`) REFERENCES `auth_permission` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

Celery: タスクの結果をMySQLで確認する

Wed, 12 Apr 2023 00:00:00 +0000

Celery: タスクの結果をMySQLで確認する

PYPI:

django-celery-results = "^2.5.0"

settings:

1
2
3


CELERY_RESULT_BACKEND = "django-db"
CELERY_RESULT_EXTENDED = True
INSTALLED_APPS += ["django_celery_results"]

Database Result Backend

It seems that you are using Django and Celery to run asynchronous tasks and store the results in a database. One possible reason why the result data is always null is that you are not returning anything from your task function². For example, if your task function looks like this:

MySQL: ERROR 3780 (HY000) at line 1406622: Referencing column 'os_branch_id' and referenced column 'id' in foreign key constraint '***' are incompatible.

Thu, 06 Apr 2023 00:00:00 +0000

`ERROR 3780 (HY000) at line 1406622: Referencing column 'os_branch_id' and referenced column 'id' in foreign key constraint '***' are incompatible.`

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


CREATE TABLE `gas_bombehouse` (
 `id` int NOT NULL AUTO_INCREMENT,
 `code` varchar(50) NOT NULL,
 ....
 `os_branch_id` bigint DEFAULT NULL,
 PRIMARY KEY (`id`),
 UNIQUE KEY `code` (`code`),
 KEY `gas_bombehouse_os_branch_id_d35d17d3_fk_outsource` (`os_branch_id`),
 CONSTRAINT `gas_bombehouse_os_branch_id_d35d17d3_fk` FOREIGN KEY (`os_branch_id`) REFERENCES `outsources_outsourcebranch` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8mb3;
/*!40101 SET character_set_client = @saved_cs_client */;

1
2
3
4
5
6
7



CREATE TABLE `outsources_outsourcebranch` (
 `id` bigint NOT NULL AUTO_INCREMENT,
 ...
 PRIMARY KEY (`id`),
) ENGINE=InnoDB AUTO_INCREMENT=9751 DEFAULT CHARSET=utf8mb3;
/*!40101 SET character_set_client = @saved_cs_client */;

原因

リモートの mysqldump をローカルにそのまま取り込もうとしていた
古いスキーマが残っていて、そのidがint であったため。
DROP TABLE IF EXISTS table CREATE TABLE table が実行されるまで、古いスキーマが残っている、ということ。

1
2
3
4
5


DROP TABLE IF EXISTS `outsources_outsourcebranch`;
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `outsources_outsourcebranch`
....

解決

DROP DATABASE & CREATE DATABASE して、更地にmysqldumpをロードする

資料

How to fix MySQL error 1215 Cannot add foreign key constraint

MySQL: JSON_OBJECT: JSON文字列フィールドを含む時のバックスラッシュ問題

Tue, 28 Mar 2023 00:00:00 +0000

`how to replace double back slash character to single one from MySQL JSON_OBJECT function results for column including JSON string`

You can use the MySQL function REPLACE() to replace double backslashes with single backslashes in a JSON object. Here’s an example:

1

SELECT REPLACE(JSON_OBJECT(column_name), '\\\\\\\\', '\\\\') FROM table_name;

This will return the column values with double backslashes replaced with single backslashes.

If you want to insert a JSON object literal with single backslashes instead of double backslashes, you can set the NO_BACKSLASH_ESCAPES SQL mode⁴. When this mode is set, a single backslash instead of double backslashes can be used to insert the JSON object literal, and the backslashes are preserved⁴. If you use the JSON_OBJECT() function when performing the insert and this mode is set, you must alternate single and double quotes⁴.

Snowfale : MySQL 移行データ比較

Fri, 17 Mar 2023 00:00:00 +0000

MySQL -> Snowflake データ移行後の比較

対象フィールド型(Python)	集計	MySQL	Snowflake	補足
Decimal	単純合計	SUM(field)	SUM(field)
float	単純合計	SUM(field)	SUM(field)
int	単純合計	SUM(field)	SUM(field)
str	MD5の合計	SUM(CONV(SUBSTRING(MD5(field)), 1, 8), 16, 10)	SUM(TO_NUMBER(SUBSTR(MD5(field), 1, 8), ‘XXXXXXXX’))	MySQLの整数が小さいので先頭8バイトだけ
datetime	Unixエポック合計	SUM(UNIX_TIMESTAMP(field))	SUM(ZEROIFNULL(DATE_PART(EPOCH_SECOND, field)) - 32400)	Snowflakeはローカルタイムゾーン
date	Unixエポック合計	SUM(UNIX_TIMESTAMP(field))	SUM(ZEROIFNULL(DATE_PART(EPOCH_SECOND, field)) - 32400)	Snowflakeはローカルタイムゾーン
time	秒数の合計	SUM(TIME_TO_SEC(field))	SUM(TIMEDIFF(SECOND, ‘00:00:00’::TIME, field::TIME))

Laravel: マイグレーション

Mon, 17 May 2021 00:00:00 +0000

Laravel マイグレーション

Laravel マイグレーションを1つずつ戻す

1

$ php artisan migrate:rollback --step=1

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


MySQL [mysite]> select * from migrations;
+----+--------------------------------------------------------------+-------+
| id | migration | batch |
+----+--------------------------------------------------------------+-------+
| 1 | 2014_10_12_000000_create_users_table | 1 |
| 2 | 2014_10_12_100000_create_password_resets_table | 1 |
| 3 | 2019_08_19_000000_create_failed_jobs_table | 1 |
| 4 | 2019_12_14_000001_create_personal_access_tokens_table | 1 |
| 5 | 2021_01_27_074301_create_sessions_table | 1 |
| 6 | 2021_02_03_055949_create_products_table | 1 |
| 7 | 2021_02_03_060047_create_news_table | 1 |
| 8 | 2021_02_08_024947_create_credit_cards_table | 1 |
| 9 | 2021_02_08_025236_create_licenses_table | 1 |
| 10 | 2021_02_08_060434_create_orders_table | 1 |
| 11 | 2021_02_18_124506_create_options_table | 1 |
| 12 | 2021_03_10_093455_update_string_fields_to_text | 2 |
| 13 | 2021_04_09_123358_add_users_deleted_at_field | 3 |
| 14 | 2021_04_09_123459_add_licenses_subscription_cancelled_fields | 3 |
+----+--------------------------------------------------------------+-------+
14 rows in set (0.002 sec)

1

% php artisan migrate:rollback --step=1

**************************************
* Application In Production! *
**************************************
Do you really wish to run this command? (yes/no) [no]:
> yes
Rolling back: 2021_04_09_123459_add_licenses_subscription_cancelled_fields
Rolled back: 2021_04_09_123459_add_licenses_subscription_cancelled_fields (165.69ms)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


MySQL [mysite]> select * from migrations;
+----+-------------------------------------------------------+-------+
| id | migration | batch |
+----+-------------------------------------------------------+-------+
| 1 | 2014_10_12_000000_create_users_table | 1 |
| 2 | 2014_10_12_100000_create_password_resets_table | 1 |
| 3 | 2019_08_19_000000_create_failed_jobs_table | 1 |
| 4 | 2019_12_14_000001_create_personal_access_tokens_table | 1 |
| 5 | 2021_01_27_074301_create_sessions_table | 1 |
| 6 | 2021_02_03_055949_create_products_table | 1 |
| 7 | 2021_02_03_060047_create_news_table | 1 |
| 8 | 2021_02_08_024947_create_credit_cards_table | 1 |
| 9 | 2021_02_08_025236_create_licenses_table | 1 |
| 10 | 2021_02_08_060434_create_orders_table | 1 |
| 11 | 2021_02_18_124506_create_options_table | 1 |
| 12 | 2021_03_10_093455_update_string_fields_to_text | 2 |
| 13 | 2021_04_09_123358_add_users_deleted_at_field | 3 |
+----+-------------------------------------------------------+-------+
13 rows in set (0.002 sec)

MySQL

Wed, 05 Aug 2015 00:00:00 +0000

[intrinsic column flags]
- PK: primary key (column is part of a pk)
- NN: not null (column is nullable)
- UQ: unique (column is part of a unique key)
- AI: auto increment (the column is auto incremented when rows are inserted)
[additional data type flags, depend on used data type]
- BIN: binary (if dt is a blob or similar, this indicates that is binary data, rather than text)
- UN: unsigned (for integer types, see docs: "10.2. Numeric Types")
- ZF: zero fill (rather a display related flag, see docs: "10.2. Numeric Types")

MySQLでログを出力してみる

ERROR 2049 (HY000): Connection using old (pre-4.1.1) authentication protocol refused (client option ‘secure_auth’ enabled)

MySQLのバージョンがちがうとパスワードハッシュが違うのでログインできなくなる

MySQL on hdknr blog

mysqldump エラー 1449: DEFINER が存在しないユーザーを参照している場合の対処法

なぜ起きるのか

DEFINER が問題のオブジェクトを特定する

急成長でぶつかったMySQLの罠とその向き合い方 - 7つの実践的な教訓

1. DDL 実行の落とし穴

2. MDL ベースのデッドロック

3. レプリカがライターに影響を与える問題

4. 同時リクエストによるデッドロック

ギャップロックパターン

生成AIで情報漏えいが増える本当の理由 — 「検索者がAIになった」時代の脅威モデルと3層防御

name: security-check description: Claude Code 利用における情報漏えいリスクをチェックする。 Auto Memory や CLAUDE.md への機密混入、.env の gitignore 漏れ、機密ファイルの存在などを検査する。

チェック対象

1. Auto Memory の機密スキャン

2. CLAUDE.md の機密スキャン

3. 機密ファイルの gitignore チェック

AWS RedShift

CDC

1. AWS DMS (Database Migration Service) を利用した構成

構成の概要

メリット・デメリット

2. Amazon RDS ゼロ ETL 統合 (推奨)

AWS:RDS:モニタリング

RDS モニタリング

拡張モニタリング

起動時刻関連

MySQL: CDC

MySQL: CDC(Change Data Capture)

RDS MySQL

DMS

MPTT tree_id

MPTT Tree ID

分散ロック

デッドロック

MySQL: 𠮷（つちよし）

MySQL: 𠮷（つちよし）

データベース/テーブル utf8mb4にすること

接続 を utf8mb4 にすること

RDS MySQL 接続確認

MySQL BULK INSERT

MySQL バルクインサート

MySQL only_full_group_by

only_full_group_by

pandas MySQL

pandas: MySQL

django

MySQL 半角カナ検索

utf8mb4_0900_ai_ci

半角カナの濁点ありは照合順序の設定では解決できない

django-filter: method フィルターで対応

MySQL: ERROR 1553 (HY000): Cannot drop index 'uniq_profit': needed in a foreign key constraint

MySQL: ERROR 1553 (HY000): Cannot drop index ‘uniq_profit’: needed in a foreign key constraint

Django Migration の失敗

制約 検索

再設定

最終スキーマ

Celery: タスクの結果をMySQLで確認する

Celery: タスクの結果をMySQLで確認する

Database Result Backend

MySQL: ERROR 3780 (HY000) at line 1406622: Referencing column 'os_branch_id' and referenced column 'id' in foreign key constraint '***' are incompatible.

ERROR 3780 (HY000) at line 1406622: Referencing column 'os_branch_id' and referenced column 'id' in foreign key constraint '***' are incompatible.

原因

解決

資料

MySQL: JSON_OBJECT: JSON文字列フィールドを含む時のバックスラッシュ問題

how to replace double back slash character to single one from MySQL JSON_OBJECT function results for column including JSON string

Snowfale : MySQL 移行データ比較

MySQL -> Snowflake データ移行後の比較

Laravel: マイグレーション

Laravel マイグレーション

MySQL

ERROR 2049 (HY000): Connection using old (pre-4.1.1) authentication protocol refused (client option ‘secure_auth’ enabled)

データベース/テーブル `utf8mb4`にすること

接続を `utf8mb4` にすること

`only_full_group_by`

制約検索

`ERROR 3780 (HY000) at line 1406622: Referencing column 'os_branch_id' and referenced column 'id' in foreign key constraint '***' are incompatible.`

`how to replace double back slash character to single one from MySQL JSON_OBJECT function results for column including JSON string`