Python on hdknr blog

バフェット・コード徹底分析 — EDINET XBRLを活用した企業分析SaaSの全貌

Tue, 07 Apr 2026 00:00:00 +0000

EDINETのXBRLデータを基盤にした企業分析SaaS「バフェット・コード」を徹底分析。Web API、スプレッドシート連携、MCP Server、OSSライブラリなど、無料プランの範囲からPython実装例まで解説

AutoAgent

Mon, 06 Apr 2026 00:00:00 +0000

AI エージェントのハーネスを AI 自身が自律的に改善する Python 製 OSS ライブラリ

Celery

Mon, 06 Apr 2026 00:00:00 +0000

分散タスクキュー。非同期処理と定期タスク実行を実現

Django REST Framework (DRF)

Mon, 06 Apr 2026 00:00:00 +0000

Django で RESTful API を構築するフレームワーク

DuckDB

Mon, 06 Apr 2026 00:00:00 +0000

インプロセス OLAP データベース。列指向アーキテクチャで分析クエリを高速実行

EDINET XBRLをPythonで扱う — edinet-xbrlライブラリの使い方

Mon, 06 Apr 2026 00:00:00 +0000

EDINETのXBRLファイルをPythonで解析する方法を解説。edinet-xbrlライブラリのインストールからXBRLパース、EDINET APIでの書類取得まで、サンプルコード付きで紹介

FastAPI

Mon, 06 Apr 2026 00:00:00 +0000

高速でモダンな Python Web フレームワーク。自動 API ドキュメント生成対応

AutoAgent — AIがAIを育てる自己改善エージェントOSSライブラリ

Sun, 05 Apr 2026 00:00:00 +0000

AutoAgent は AI エージェントのハーネス（プロンプト・ツール・オーケストレーション）を AI 自身が自律的に改善する Python 製 OSS ライブラリ。24時間の最適化で SpreadsheetBench・TerminalBench 世界1位を達成。

Claude Code + Celery: LLMが決定論的処理を動的に委譲するオーケストレーション

Mon, 30 Mar 2026 00:00:00 +0000

Claude Code を Celery タスクキューと組み合わせ、LLM が判断・計画を行い、決定論的処理をワーカーに委譲するオーケストレーションアーキテクチャを解説。

「値は計算されていた。ただ届いていなかっただけ」— LLMエージェントプロンプトのハードコード問題

Fri, 27 Mar 2026 00:00:00 +0000

LLMエージェントのプロンプトにリスクパラメータがハードコードされていたため、動的調整が反映されなかったバグの原因と修正。テンプレート変数化、結合テスト、CLAUDE.mdルール追加による再発防止策を解説。

PyPI公式パッケージ telnyx がサプライチェーン攻撃で汚染 — TeamPCPによるWAVステガノグラフィ攻撃の全容

Fri, 27 Mar 2026 00:00:00 +0000

PyPI公式パッケージ telnyx がTeamPCPのサプライチェーン攻撃で汚染。WAVステガノグラフィ手法の詳細と、Python開発者が今すぐ取るべき対策を解説。

Claude Code で Laravel→Django 全自動移行をやってみた（1/3）計画編

Thu, 26 Mar 2026 00:00:00 +0000

Laravel 6 から Django 4.2 への全自動移行プロジェクトの計画編。inspectdb 方式によるモデル生成、8フェーズの段階設計、CLAUDE.md を活用した Claude Code への設計書作成手法を解説。

Claude Code で Laravel→Django 全自動移行をやってみた（2/3）自動化基盤編

Thu, 26 Mar 2026 00:00:00 +0000

Claude Code を自律実行させるための Bash フレームワーク run-issue.sh の設計を解説。Issue 駆動の実行フロー、サブエージェント活用、Pre-commit Hook と CI による品質保証の実装。

Claude Code で Laravel→Django 全自動移行をやってみた（3/3）実行結果・教訓編

Thu, 26 Mar 2026 00:00:00 +0000

15 Issue を Claude Code で自律実行した結果と教訓。5.5時間で84コミット・199テスト全パスを達成したが、ブランチ分岐問題が発生。次回に活かすべき8つの改善策を共有。

insanely-fast-whisper: 150分の音声を98秒で文字起こしする CLI ツール

Wed, 25 Mar 2026 00:00:00 +0000

OpenAI Whisper をベースに Flash Attention 2 とバッチ処理で高速化した文字起こし CLI ツール insanely-fast-whisper の紹介。150分の音声を98秒で処理できる。

autoresearch：Karpathyが公開した「寝ている間にAIが100実験を自律実行する」630行のスクリプト

Mon, 23 Mar 2026 00:00:00 +0000

OpenAI初期メンバーであるAndrej Karpathyが、autoresearchというオープンソースツールを公開しました。わずか630行のPythonスクリプトで、寝ている間にAIエージェントが約100の機械学習実験を自律的に実行してくれるというものです。

Karpathy「12月からコードを1行も書いていない」

Karpathyは「12月から自分でコードを1行も書いていない」と告白しています。代わりに公開したのがこのautoresearchで、プログラマーの仕事が「コードを書く」から「設計する」へとシフトしていることを象徴しています。

autoresearchの仕組み

autoresearchはシンプルな仕組みで動作します:

AIエージェントにトレーニングスクリプトと固定の計算バジェット（通常5分間のGPU時間）を渡す
エージェントが自分のソースコードを読み、改善の仮説を立てる
コードを修正し、実験を実行する
結果が改善されたかを評価し、改善なら保持・悪化なら破棄する
このサイクルを繰り返す

トレーニングは常に5分間で実行されるため、1時間あたり約12実験、一晩で約100実験が自動的に回ります。

実績と反響

Shopify CEO Tobias Lütke: 一晩で37実験を実行し、性能19%向上を達成
Karpathy自身: 700以上の実験を2日間で実行（Fortune誌報道）
GitHub: 公開1週間で数万スターを獲得（現在54,000以上）

技術的特徴

シングルGPU対応: 高価なクラスタは不要
630行のスクリプト: コードベースが小さく、理解・カスタマイズが容易
MITライセンス: 誰でも自由に利用可能
Python製: train.py を中心としたシンプルな構成

リポジトリ

GitHub: karpathy/autoresearch

「書く」から「設計する」への転換

autoresearchが示唆しているのは、世界最高峰のプログラマーの仕事が「AIにコードを書かせる」段階をすでに超え、AIエージェントに実験を設計・実行させるフェーズに入っているということです。Karpathyは将来的に、エージェント群が協調して小さなモデルをチューニングし、有望なアイデアを段階的にスケールアップさせる「研究コミュニティのエミュレーション」を構想しています。

Browser Use CLI 2.0 — Playwrightを超える次世代ブラウザ自動化ツール

Sat, 21 Mar 2026 00:00:00 +0000

Browser Use CLI 2.0 は Playwright より2倍速く、コスト半減のブラウザ自動化ツール。CDP直接接続、既存Chromeセッションの再利用、AIエージェント連携に対応。セットアップ方法とPlaywrightとの使い分けを解説。

DuckDB・Apache Arrow・Parquetの関係を整理する：列指向エコシステムの全体像

Thu, 19 Mar 2026 00:00:00 +0000

DuckDB は「SQLite の分析版」とも呼ばれるインプロセス OLAP データベースです。Apache Arrow、Apache Parquet と同じ列指向の思想を持ちますが、三者の役割はそれぞれ異なります。この記事では DuckDB のアーキテクチャ、Arrow・Parquet との関係、そして従来の行指向 DB との違いを整理します。

Parquet・Arrow・DuckDB の位置付け

	Parquet	Arrow	DuckDB
何か	ディスク上の列指向ファイル形式	インメモリ列指向データフォーマット（仕様+ライブラリ）	SQL データベースエンジン
レイヤー	ストレージ（ディスク）	データ交換（メモリ）	クエリ実行（エンジン）
目的	効率的な永続化・圧縮	アプリケーション間のゼロコピーデータ交換	SQL クエリの実行・最適化

三者は列指向エコシステムの異なるレイヤーを担っており、補完関係にあります。

[ディスク] Parquet ファイル（列指向・圧縮済み）
↓ 読み込み（必要な列だけ）
[メモリ] Arrow フォーマット（列指向・ゼロコピー）
↓ クエリ実行
[エンジン] DuckDB（ベクトル化 SQL 実行）

Parquet は「データの保存形式」、Arrow は「メモリ上のデータの並べ方の規格」、DuckDB は「SQL を実行するエンジン」です。三者とも列指向という共通思想を持つため、組み合わせるとデータ変換のオーバーヘッドがほぼ発生しません。

DuckDB の高速性を支える3つの柱

1. 列指向ストレージ

行単位ではなく列単位でデータを格納します。分析クエリ（SUM, AVG, GROUP BY など）で必要な列だけを読み込むため、I/O が効率的です。

2. ベクトル化実行エンジン

1行ずつではなく、列のチャンク（ベクトル）単位で処理します。これにより CPU キャッシュのヒット率が上がり、SIMD 命令も活用できます。

3. 自動並列化

マルチコアを自動的に活用し、クエリを並列実行します。ユーザー側で並列化の設定を意識する必要はありません。

ForceMemo: GitHub アカウントを乗っ取り Python リポジトリにバックドアを仕込む新型攻撃

Thu, 19 Mar 2026 00:00:00 +0000

2026年3月上旬から、GitHub アカウントを侵害して Python リポジトリに悪意あるコードを注入する「ForceMemo」と呼ばれる大規模攻撃キャンペーンが確認されています。force-push によるコミット履歴の書き換えと、Solana ブロックチェーンを利用した C2（Command and Control: 攻撃者がマルウェアに指令を送る仕組み）通信という巧妙な手法が特徴です。

攻撃の概要

ForceMemo は、以下の流れで Python プロジェクトを侵害します:

GitHub アカウントの侵害 — GlassWorm と呼ばれる情報窃取マルウェアが VS Code / Cursor 拡張機能から GitHub トークンを抽出
コードの改ざん — 侵害したアカウントで setup.py、main.py、app.py、manage.py 等に難読化されたマルウェアを注入
痕跡の隠蔽 — force-push でコミット履歴を書き換え、タイムスタンプを維持することで改ざんを検知困難に
C2 通信 — Solana ブロックチェーンのメモ機能を使ったコマンド＆コントロール通信

GlassWorm による初期侵入

攻撃の起点となる GlassWorm は情報窃取型マルウェアで、VS Code および Cursor の拡張機能を経由して感染します。窃取対象となる GitHub トークンの格納先は多岐にわたります:

VS Code / Cursor 拡張機能のストレージ
git credential fill の出力
~/.git-credentials ファイル
GITHUB_TOKEN 環境変数

窃取されたトークンを使って正規のアカウントとしてリポジトリにアクセスし、コードを改ざんします。

force-push による履歴改ざん

通常のコミットであれば git log で変更履歴を追跡できますが、ForceMemo は force-push を使ってコミット履歴自体を書き換えます。さらにタイムスタンプも維持するため、リポジトリのメンテナーやユーザーが改ざんに気づきにくい構造になっています。

6ヶ月でAIエンジニアになるロードマップ — 無料リソースだけで学ぶ完全ガイド

Wed, 18 Mar 2026 00:00:00 +0000

Python基礎から機械学習、ディープラーニング、LLM/RAG開発、MLOpsまで。6ヶ月でAIエンジニアになるための学習ロードマップを、MIT・Stanford・Harvardの無料コースで構成。

moomoo証券が米国株API取引に対応 — moomoo OpenAPIで個人投資家も自動売買が可能に

Wed, 18 Mar 2026 00:00:00 +0000

moomoo証券が提供する米国株API取引サービス「moomoo OpenAPI」を解説。Python SDKでの自動売買、リアルタイムデータ取得、バックテスト機能、国内他社APIとの比較まで網羅。

OpenDataLoader PDF — CPUだけで毎秒100ページ、PDFをMarkdownに超高速変換するOSSツール

Wed, 18 Mar 2026 00:00:00 +0000

GPUなしで毎秒100ページ以上のPDF→Markdown変換を実現するオープンソースツール「OpenDataLoader PDF」が話題になっている。Apache 2.0ライセンスで完全無料、CPUのみで動作するため、高価なGPUハードウェアは不要だ。

OpenDataLoader PDF とは

OpenDataLoader PDF は、PDFドキュメントをAI活用に適した構造化データ（Markdown、JSON、HTML等）に変換するオープンソースのパーサーだ。Java で実装されており、Python・Node.js・Java から利用できる。

主な特徴:

超高速処理: ローカルモードで 0.05秒/ページ（CPUのみ）、8コア以上のマシンでマルチプロセスバッチ処理すると毎秒100ページ以上
GPU不要: CPUだけで高速に動作するため、導入コストが低い
高精度: ベンチマークで総合精度0.90を達成し、読み順・テーブル・見出し抽出で1位
Apache 2.0ライセンス: 商用利用可能な完全オープンソース

インストール

Python パッケージは Java CLI のラッパーのため、Java 11以上とPython 3.10以上が必要だ。

1
2
3
4
5


# Python
pip install -U opendataloader-pdf

# Node.js
npm install @opendataloader/pdf

Java の場合は Maven で opendataloader-pdf-core を依存関係に追加する。

基本的な使い方

Python でのシンプルな変換

1
2
3
4
5
6
7


import opendataloader_pdf

opendataloader_pdf.convert(
 input_path=["file1.pdf", "file2.pdf", "folder/"],
 output_dir="output/",
 format="markdown,json"
)

フォルダを指定すれば一括変換も可能だ。出力形式は Markdown、JSON、HTML、プレーンテキスト、注釈付きPDFから選べる。

redis-py の Lock をサブクラス化してフェンシングトークンを実装する

Tue, 17 Mar 2026 00:00:00 +0000

redis-py の Lock クラスは UUID ベースのトークンでロックの所有権を管理するが、フェンシングトークン（単調増加する数値）は提供しない。しかし、Lock クラスは do_acquire や Lua スクリプトをオーバーライドできる設計になっており、サブクラス化でフェンシングトークンを追加できる。

本記事では、redis-py の Lock を拡張してフェンシングトークンを発行する FencedLock クラスの実装例を紹介する。

前提知識：Redis の Lua スクリプティング

Redis はバージョン 2.6 から Lua スクリプトの実行機能を内蔵している。EVAL コマンドで Lua スクリプトを Redis サーバー上で直接実行でき、複数の Redis コマンドをアトミック（不可分）に実行できる。

なぜ Lua スクリプトが必要か

通常、Redis コマンドは1つずつ実行される。例えば「キーが存在しなければセットし、同時にカウンターをインクリメントする」という処理を2つのコマンドで行うと、その間に他のクライアントが割り込む可能性がある：

クライアント A: SET mykey value NX → 成功
← クライアント B が割り込む余地
クライアント A: INCR counter → インクリメント

Lua スクリプトを使えば、この2つの操作を1回のアトミックな呼び出しにまとめられる：

1
2
3
4
5
6


-- Redis サーバー上で実行される（他のコマンドは割り込めない）
local ok = redis.call('SET', KEYS[1], ARGV[1], 'NX')
if ok then
 return redis.call('INCR', KEYS[2])
end
return nil

Redis CLI での実行例

1
2


# EVAL "スクリプト" キーの数 キー1 キー2 ... 引数1 引数2 ...
redis-cli EVAL "return redis.call('SET', KEYS[1], ARGV[1])" 1 mykey myvalue

redis-py での実行例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import redis
r = redis.Redis()

# 方法1: eval で直接実行
r.eval("return redis.call('SET', KEYS[1], ARGV[1])", 1, "mykey", "myvalue")

# 方法2: register_script で事前登録（推奨）
# サーバー側に SHA1 でキャッシュされ、2回目以降はスクリプト本文の転送が不要
script = r.register_script("return redis.call('GET', KEYS[1])")
result = script(keys=["mykey"])

セキュリティ上の注意

Lua スクリプトのパラメータは KEYS[] と ARGV[] で渡される。SQL のプリペアドステートメントと同様に、パラメータが文字列としてスクリプトに展開されることはないため、パラメータ経由でのインジェクションはできない。ただし、ユーザー入力でスクリプト文字列自体を動的に組み立てると危険なので、スクリプトは固定文字列として定義すること。

Karpathy の autoresearch — LLMに「このLLMを訓練して」と丸投げしたら一晩で公式チームを超えた話

Fri, 13 Mar 2026 00:00:00 +0000

Andrej Karpathy が2026年3月に公開した autoresearch は、AIエージェントにLLMのトレーニングを丸投げするツールだ。GPU1台・一晩放置するだけで、エージェントが自律的にコード修正→実験→評価を繰り返し、人間の研究者なしで性能を改善していく。

実際に Karpathy 自身が約700回の実験を実行したところ、GPT-2の学習時間が2.02時間→1.80時間へ11%短縮された。さらに別の開発者は、8時間・37実験で0.8Bモデルが従来の1.6Bモデルを19%上回るスコアを叩き出している。

autoresearch の仕組み

autoresearch はわずか630行のPythonで構成されており、3つのコアファイルで動作する。

3つのコンポーネント

ファイル	役割	編集者
`program.md`	エージェントへの指示書（戦略・ルール・評価基準）	人間
`prepare.py`	データ準備・トークナイザー・評価関数（固定）	変更禁止
`train.py`	モデル・オプティマイザ・学習ループ	AIエージェント

エージェントループ

エージェントは以下のサイクルを自動で繰り返す:

program.md を読んで戦略を把握
train.py を修正（アーキテクチャ変更、ハイパーパラメータ調整など）
5分間の固定時間でトレーニングを実行
val_bpb（検証ビット/バイト）が改善したか確認
改善 → 変更を保持、悪化 → 変更を破棄
1に戻る

5分の固定時間予算により、1時間あたり約12実験、一晩（8時間）で約100実験が可能になる。

実験結果

Karpathy 自身の実験

Karpathy は自身の nanochat（GPT-2トレーニング環境）に autoresearch を適用:

約700回の実験を2日間で実行
約20個の実質的な改善を発見
GPT-2到達時間: 2.02時間 → 1.80時間（11%短縮）

発見された改善の例:

バッチサイズの半減（5分以内のステップ数増加）
モデル深度の調整（depth 9への最適化）
スライディングウィンドウ比率のチューニング

コミュニティの成果

GitHub Discussions で報告された改善:

Discussion #32: val_bpb を 0.9979 → 0.9773 に改善（89実験、H100 80GB）
Discussion #43: val_bpb を 0.9979 → 0.9697 に改善（126実験、H100 80GB）
Tobi のケース: 0.8Bモデルが従来の1.6Bモデルを 19%上回るスコア（37実験、8時間）

使用されるLLM

autoresearch のエージェントとして動作するLLM自体は外部モデルを使用する。Karpathy のテストでは Claude や GPT 系モデルが使われている。

OpenClaw で保有銘柄の情報収集を完全自動化する — 決算通知・株価アラート・ニュース収集の実装例

Thu, 12 Mar 2026 00:00:00 +0000

オープンソースの AI エージェント基盤 OpenClaw を使って、保有銘柄の株価アラート・決算通知・ニュース収集を自動化した実装事例を紹介します。Zenn の実践記事を元に、設計思想と実装パターンを整理しました。

個人投資家が抱える情報収集の課題

趣味で株式投資をしていると、以下の問題に直面します。

受動的な情報取得 — 自分で証券アプリを開いて確認する必要があり、変動への気付きが遅れる
情報の分散 — 株価、ニュース、決算情報が異なるサービスに散在
文脈の欠如 — 「株価が3%下がった」という事実だけでは理由がわからない
手動メンテナンス — 新規銘柄追加時に各サービスへの個別登録が必要

なぜ OpenClaw が向いているか

OpenClaw は Peter Steinberger 氏が開発したオープンソースの AI エージェント基盤です。以下の特徴が情報収集の自動化に適しています。

常時起動・定期実行 — クラウド上で 24 時間稼働し、cron スケジューラーで定期タスクを実行できる
LLM による文脈理解 — 単純なアラートと異なり、「何が起きたか」だけでなく「なぜ起きたか」まで Web 検索で調べて報告できる
柔軟な報告内容 — 自然言語でプロンプトに指示を書くだけで報告フォーマットをカスタマイズできる

アーキテクチャ全体像

設計の核は Single Source of Truth（信頼できる唯一の情報源） です。

Google スプレッドシート（マスターデータ）
↓ portfolio-sync（毎日 6:20）
portfolio.json ─→ interests.json
↓ ↓
株価アラート ニュース収集
決算通知 週次レポート

銘柄追加・削除時はスプレッドシートを更新するだけで、下流の全システム（ニュース収集、アラート、レポート）に自動反映されます。

cron ジョブ一覧

時刻	ジョブ	内容
6:20	portfolio-sync	スプレッドシート → portfolio.json 同期
毎時:30	news-auto-collect	保有銘柄関連ニュースを自動収集
7:00	morning-start	翌日決算があれば通知
10:00	portfolio-alert-am	3%以上変動でアラート
14:30	portfolio-alert-pm	3%以上変動でアラート
17:00	earnings-report	当日決算発表の結果報告
土曜 10:00	weekly-portfolio-image	週次損益レポート画像

実装パターン

1. マスターデータ管理

Google スプレッドシートに以下のカラムを用意します。

ByteDance DeerFlow — オープンソースの SuperAgent 基盤でAIエージェントを自律運用する

Wed, 11 Mar 2026 00:00:00 +0000

ByteDance がオープンソースで公開した AI エージェント基盤「DeerFlow」（Deep Exploration and Efficient Research Flow）が注目を集めている。サブエージェントの自動振り分け、サンドボックスでのコード実行、長期メモリ、Claude Code 連携など、プロダクション運用を見据えた機能が揃っている。

DeerFlow とは

DeerFlow は、LangGraph / LangChain をベースに構築されたオープンソースの「SuperAgent ハーネス」。複雑なタスクをサブエージェントに分解し、メモリとサンドボックスを活用しながら自律的に処理する。

2026年2月27日に v2.0 がリリースされ、GitHub Trending で #1 を獲得。v2.0 は v1 とコードを共有しない完全な書き直しで、プロダクション環境でのデプロイに焦点を当てている。

主な機能

サブエージェントの自動振り分け

複雑なタスクを並列のサブエージェントワークフローに分解する。各サブエージェントは隔離されたコンテキストで動作し、スコープされたツールと終了条件を持つ。

サンドボックス実行

タスクはコンテナ化された Docker 環境で実行される。専用のファイルシステムが用意され、入力・作業・出力のディレクトリが分離されている。

/mnt/user-data/uploads/ ← 入力ファイル
/mnt/user-data/workspace/ ← 作業ディレクトリ
/mnt/user-data/outputs/ ← 最終成果物

3つの実行モードをサポート:

ローカル実行 — 開発用
Docker 実行 — 単一サーバーでのプロダクション
Kubernetes 実行 — マルチサーバー環境

スキルシステム

機能モジュールは Markdown ファイルとして提供される。リサーチ、レポート生成、スライド作成、Web ページ、画像/動画生成のスキルが組み込まれており、タスクの必要に応じてプログレッシブにロードされる。

長期メモリ

セッションをまたいだ永続的なプロファイルを構築できる。ユーザーの好み、ライティングスタイル、蓄積された知識をローカルに保存する。

コンテキスト管理

タスクの要約、中間結果のファイルシステムへのオフロード、長時間セッションでの圧縮された状態管理によって、コンテキストウィンドウを効率的に利用する。

セットアップ

Docker での起動（推奨）

1
2
3
4
5


git clone https://github.com/bytedance/deer-flow.git
cd deer-flow
make config # config.yaml を設定
make docker-init
make docker-start

http://localhost:2026 でアクセスできる。

Google Gemini Embedding 2：テキスト・画像・動画・音声を統一ベクトル空間に埋め込むマルチモーダル埋め込みモデル

Wed, 11 Mar 2026 00:00:00 +0000

Google が 2026年3月に公開した Gemini Embedding 2 は、テキスト・画像・動画・音声・ドキュメントを同一のベクトル空間に埋め込める、初のネイティブマルチモーダル埋め込みモデルだ。RAG パイプラインやマルチモーダル検索を構築する開発者にとって注目すべきモデルとなっている。

主な特徴

ネイティブマルチモーダル対応

従来の埋め込みモデルはテキスト専用か、別モデルで画像を処理する必要があった。Gemini Embedding 2 は全モダリティを 3072次元の統一ベクトル空間 に直接埋め込む。これにより、テキストで検索して関連する画像や動画を取得するといったクロスモーダル検索が自然に実現できる。

対応モダリティと制限:

モダリティ	制限
テキスト	最大 8,192 トークン
画像	1リクエストあたり最大 6枚（PNG, JPEG）
動画	最大 120秒（MP4, MOV）
音声	ネイティブ対応（テキスト変換不要）

インターリーブ入力にも対応しており、1つのリクエストに画像とテキストを混在させて渡すことができる。

Matryoshka 表現学習（MRL）

Matryoshka Representation Learning（マトリョーシカ表現学習）により、重要な意味情報がベクトルの先頭次元に集約される設計になっている。デフォルトの 3,072次元から 1,536 や 768次元に切り詰めても、検索品質の大部分を維持できる。

Google の推奨次元数:

3,072次元：最高品質
1,536次元：高品質（コスト削減向け）
768次元：バランスの良い推奨値

768次元に切り詰めた場合でも、同サイズの固定次元モデルを上回る性能を発揮するとされている。

多言語対応と性能

100以上の言語をサポート
MTEB 多言語リーダーボードで 69.9 を記録しトップランク
MTEB コード検索でも 84.0 と高スコア

料金

プラン	料金
リアルタイム API	$0.20 / 100万トークン
バッチ API	$0.10 / 100万トークン（50% OFF）

OpenAI の text-embedding-3-small（$0.02/100万トークン）と比較すると高価だが、マルチモーダル対応を単一モデルで実現している点が差別化要因となる。

OpenClaw エージェントでトレーディング戦略を自動バックテスト

Wed, 11 Mar 2026 00:00:00 +0000

OpenClaw エージェントを使って、TradingView の指標を自動スクレイピングし、Pine Script から Python に変換してバックテストまで全自動で実行する手法が話題になっています。

OpenClaw とは

OpenClaw は、オーストリアの開発者 Peter Steinberger 氏が 2025 年 11 月に Claude を使って構築したオープンソースの AI エージェントです。ローカルマシン上で動作し、自然言語の指示を受けてタスクを自律的に実行します。GitHub で 32 万以上のスターを獲得しており、2026 年初頭にはユーザー数が 200 万人を超えるなど急成長しています。

主な特徴:

マルチプラットフォーム対応: Mac / Windows / Linux で動作
メッセージ連携: WhatsApp、Telegram、Slack、Discord など複数チャネルに対応
スキルシステム: モジュラーなプラグイン（スキル）で機能を拡張可能
永続メモリ: コンテキストを記憶して継続的に動作

トレーディング戦略の自動バックテスト

今回話題になっているのは、OpenClaw エージェントを使ったトレーディング戦略の自動バックテストです。

処理の流れ

TradingView 指標の自動スクレイピング: TradingView から 50 以上のテクニカル指標を自動収集
Pine Script → Python 変換: TradingView 独自の Pine Script で書かれた指標を Python コードに自動変換
バックテスト実行: 変換した戦略を過去データで自動検証
結果のフィルタリング: 失敗した戦略を自動除外し、勝ちパターンを抽出
GitHub へのログ: テスト結果を自動で GitHub リポジトリに記録

設定を済ませれば、コードを一切書かずにこの一連のプロセスが自動で回り続けます。

Karpathy の autoresearch — 寝ている間にAIが100回実験して朝にはモデルが賢くなっている世界

Tue, 10 Mar 2026 00:00:00 +0000

Andrej Karpathy が公開した autoresearch は、AI エージェントが自律的に ML 実験を繰り返すツールだ。寝ている間に AI が 100 回実験し、朝起きたらモデルが賢くなっている——そんな研究スタイルを 630 行の Python コードで実現する。

autoresearch とは

nanochat（軽量 LLM 学習コア）をシングル GPU・1 ファイルに凝縮し、AI エージェントが自律ループで学習コードを改善していく仕組み。

基本構造はシンプル:

人間が .md ファイル（プロンプト）を設計する
AI エージェントが .py（学習コード）を自律的に改善する

各実験は ちょうど 5 分間 のトレーニングで構成され、1 時間あたり約 12 回、一晩で約 100 回の実験が自動で回る。

人間: program.md を設計（研究の方針・制約を定義）
↓
AI エージェント: 学習コードを修正
↓
5分間のトレーニング実行
↓
結果を評価（validation loss）
↓
改善されていれば git commit → 次のイテレーションへ

技術的な特徴

630 行のミニマル設計

autoresearch の核心は「小さく始めて、エージェントに任せる」という哲学にある。

シングル GPU で完結（マルチ GPU 不要）
ニューラルネットワークのアーキテクチャ、オプティマイザ、ハイパーパラメータすべてを AI が調整
git feature ブランチ上で動作し、改善があれば自動コミット
MIT ライセンスで公開

「コードを書く」のではなく「プログラムをプログラムする」

Karpathy が強調するのは、研究者が Python ファイルを直接触るのではなく、Markdown でエージェントへの指示を設計するというパラダイムシフトだ。

「研究コミュニティをまるごとエミュレートせよ」— Karpathy が示す AI エージェント協調の未来

Mon, 09 Mar 2026 00:00:00 +0000

Andrej Karpathy が autoresearch を公開した直後、さらに踏み込んだビジョンを示した。「次のステップは、エージェント同士が非同期かつ大規模に協調する仕組みだ」— 単一エージェントの能力向上ではなく、エージェント群の協調システム設計こそが本質だという主張だ。

「一人の博士課程ではなく、研究コミュニティを」

The goal is not to emulate a single PhD student, it’s to emulate a research community of them. （目標は一人の博士課程の学生をエミュレートすることではない。研究コミュニティをまるごとエミュレートすることだ。）

現在の autoresearch はコミットを同期的に一本のスレッドで積み上げていく設計だ。だが Karpathy が構想するのは、リポジトリを「種」として無数のエージェントがそこから枝分かれし、異なる研究方向に並列で進んでいく世界だ。SETI@home のような分散コンピューティングモデルを研究に適用するイメージだと言える。

技術的な課題

この構想が実現するには、いくつかのハードルがある:

分散タスクシャーディング — 実験をどう分割して割り当てるか
結果の重複排除 — 同じ仮説を複数エージェントが試す無駄をどう防ぐか
クロスエージェントメモリ — あるエージェントの発見を他のエージェントが活用できる仕組み
Git の限界 — 「一本の master ブランチ + 一時的な PR」という既存の Git モデルでは、エージェントが数千のコミットを並列に管理する構造に対応しきれない

Karpathy 自身も、Discussions や PR を使ったエージェント間の知見共有を軽量にプロトタイピングしたと述べている。

「一つを賢くする」から「場の設計」へ

IT navi 氏（@itnavi2022）は、この動きを端的にこう要約している:

AI が一人の研究者を代替するのではなく、無数のエージェントが並列に仮説を試し、成果や失敗を持ち寄りながら、ひとつの研究コミュニティのように知を前進させる未来だ。問題は、一つのエージェントを賢くすることではなく、無数のエージェントが枝分かれしながら知見を蓄積する場をどう設計するかに移りつつある。

これは AI エージェント開発における重要なパラダイムシフトだ。これまでの議論は「いかにモデルを賢くするか」「いかにプロンプトを最適化するか」に集中していた。だが autoresearch が示す方向は、個のエージェントの能力向上よりも、エージェント群の協調システム設計に重心が移りつつあるということだ。

Karpathy の言葉を借りれば、エージェントの「知性、注意力、粘り強さがボトルネックでなくなった」とき、既存の開発抽象（Git、CI/CD、コードレビュー）にますます圧力がかかる。

「研究コミュニティをまるごとエミュレートせよ」— Karpathy が示す AI エージェント協調の未来

Mon, 09 Mar 2026 00:00:00 +0000

「一人の博士課程ではなく、研究コミュニティを」

The goal is not to emulate a single PhD student, it’s to emulate a research community of them. （目標は一人の博士課程の学生をエミュレートすることではない。研究コミュニティをまるごとエミュレートすることだ。）

技術的な課題

この構想が実現するには、いくつかのハードルがある:

分散タスクシャーディング — 実験をどう分割して割り当てるか
結果の重複排除 — 同じ仮説を複数エージェントが試す無駄をどう防ぐか
クロスエージェントメモリ — あるエージェントの発見を他のエージェントが活用できる仕組み
Git の限界 — 「一本の master ブランチ + 一時的な PR」という既存の Git モデルでは、エージェントが数千のコミットを並列に管理する構造に対応しきれない

Karpathy 自身も、Discussions や PR を使ったエージェント間の知見共有を軽量にプロトタイピングしたと述べている。

「一つを賢くする」から「場の設計」へ

IT navi 氏（@itnavi2022）は、この動きを端的にこう要約している:

AI が一人の研究者を代替するのではなく、無数のエージェントが並列に仮説を試し、成果や失敗を持ち寄りながら、ひとつの研究コミュニティのように知を前進させる未来だ。問題は、一つのエージェントを賢くすることではなく、無数のエージェントが枝分かれしながら知見を蓄積する場をどう設計するかに移りつつある。

Harness Engineering ベストプラクティス 2026 — AI コーディングエージェントを安定稼働させる設計術

Mon, 09 Mar 2026 00:00:00 +0000

Claude Code や Codex といった AI コーディングエージェントを現場に投入する開発者が増えるなか、「ハーネスエンジニアリング」という新しい実践領域が注目を集めている。逆瀬川氏（@gyakuse）が公開したまとめ記事から、要点を紹介する。

そもそも「ハーネス」とは何か

「ハーネス（harness）」とは、もともと馬具の意味だ。馬の力を人間が制御して活かすための装具一式 — 手綱、鞍、轡（くつわ）などを指す。馬がどれだけ優秀でも、ハーネスなしでは暴走するだけで仕事にならない。

ソフトウェアの世界では「テストハーネス」という用語がすでにある。テスト対象のコードを「つなぎ止めて」、入力を与え、出力を検証する枠組みのことだ。テスト対象そのものではなく、テスト対象を正しく動かすための外側の仕組みを指す。

AI コーディングエージェントにおける「ハーネス」もこれと同じ発想だ。AI エージェント（= 馬）は強力だが、そのままでは暴走する。古いドキュメントを信じてしまう、リンターのルールを勝手に緩和する、前のセッションで何をしたか忘れる。エージェントを制御し、安定した成果を引き出すための外側の仕組み全体がハーネスであり、それを設計・構築する技術がハーネスエンジニアリングだ。

具体的にハーネスを構成する要素は、大きく 3 つの層に分けられる:

入力層 — エージェントに何を読ませ、何を読ませないかを制御する（AGENTS.md の設計、リポジトリの衛生管理、セッション間の状態引き継ぎ）
実行制御層 — エージェントの作業中にリアルタイムで品質を強制する（リンター・フォーマッターの自動実行、計画と実行の分離）
検証層 — エージェントの出力が正しいことを確認する（E2E テスト、プリコミットチェック）

核心的な洞察は「ハーネスがモデルより重要」という点だ。同じモデルでもハーネスを改善すれば出力品質が劇的に向上する。開発者の責任は「正しいコードを書く」から「エージェントが確実に正しいコードを生産する環境を設計する」へとシフトしている。

7 つの主要トピック

1. リポジトリ衛生〈入力層〉

「衛生（hygiene）」は、ソフトウェア開発で「不要物や汚染を取り除き、健全な状態を保つ」という意味で使われる慣用表現だ（「コードハイジーン」「ブランチハイジーン」なども同様）。ここでは、リポジトリ内に古くなったドキュメントや不正確な情報が溜まらないよう清潔に保つことを指す。人間なら「このメモ、古そうだな」と判断できるが、エージェントは 3 ヶ月前のメモも最新のコードも同じ「事実」として読んでしまう。だから情報の鮮度管理が重要になる。

実行可能なアーティファクト（コード、テスト、設定）を優先する
説明的ドキュメントは腐敗しやすいため最小化する
ADR（Architecture Decision Records）で決定履歴を保全する
テストはドキュメントより腐敗に強い

最大の敵は「説明的ドキュメントの腐敗」だ。エージェントは「3 ヶ月前のメモ」と「現在の真実」を区別できないため、古い情報が存在するだけで性能が低下する。ハーネスの入力層として、エージェントが読む情報の鮮度と正確性を保つことが最初のステップになる。

2. 決定論的ツールで品質を強制する〈実行制御層〉

「決定論的（deterministic）」とは、同じ入力に対して毎回必ず同じ結果を返すという意味だ。リンターやフォーマッターがその典型で、たとえば「未使用の変数がある」というコードを渡せば、何度実行しても必ず同じ警告を返す。気分や文脈によって判断が揺れることがない。

対照的に、LLM は非決定論的だ。同じコードを渡しても、実行するたびにチェックの粒度や指摘内容がブレる。「インデントを揃えて」と指示しても、ある時はスペース 2 つ、別の時はタブで揃えるかもしれない。

だからこそ、機械的に判定できるルール（構文エラー、未使用変数、フォーマット）は LLM に任せず、決定論的ツールに委ねるのが原則だ。PostToolUse Hook でファイル編集のたびにリンターを自動実行し、エラーをエージェントに即時フィードバックする。

言語別の推奨スタック:

言語	PostToolUse	プリコミット	カスタムルール
TypeScript	Biome + Oxlint	tsc + ESLint	eslint-plugin-local-rules
Python	Ruff check/format	Ruff + mypy	ast-grep
Go	gofumpt + golangci-lint	同左	ast-grep

リンター設定の保護も重要だ。エージェントがルールを勝手に緩和・改ざんするのを防ぐ仕組みが必要になる。これはまさに「手綱」の役割 — エージェントが暴走しないよう、作業のたびに自動で引き戻す仕組みだ。

Karpathy の autoresearch — AIが寝ている間に100回実験を回す仕組み

Mon, 09 Mar 2026 00:00:00 +0000

Andrej Karpathy が公開した autoresearch は、AI エージェントが単一 GPU 上で自律的に ML 実験を繰り返すツールです。わずか約630行の Python コードで「コード修正 → 学習 → 評価 → 改善」のループを自動化し、研究の競争軸を「コード品質」から「改善ループの速度」へと変えようとしています。

autoresearch とは

autoresearch のコンセプトはシンプルです:

AIエージェントに小さいが本物の LLM トレーニング環境を渡し、一晩中自律的に実験させる

エージェントはトレーニングコード（train.py）を自動修正し、5分間のトレーニングを実行、検証損失（val_bpb）が改善したかを確認し、結果に基づいて次の実験に進みます。

プロジェクト構成

autoresearch はたった3つのファイルで構成されています:

ファイル	役割	編集者
`prepare.py`	データ準備・ランタイムユーティリティ	変更不可
`train.py`	モデル・オプティマイザ・学習ループ	AIエージェント
`program.md`	エージェントへの指示書	人間

従来のML研究では Python ファイルを直接編集しますが、autoresearch では Markdown ファイル（program.md）でエージェントに指示を与える という設計になっています。人間が行うのは「プログラムのプログラミング」です。

固定時間予算という設計判断

autoresearch の重要な設計判断は、全てのトレーニングを ちょうど5分間 に固定していることです:

1時間あたり約12回の実験が可能
一晩（8時間）で約100回の実験を自動実行
プラットフォームに依存せず公平な比較が可能

1
2
3
4
5
6


# セットアップ
uv sync
uv run prepare.py # データ準備（初回のみ、約2分）

# 単一実験の実行
uv run train.py # 約5分で完了

エージェントの起動は、Claude などの AI に対して以下のように指示するだけです:

RuView × Wi-Fi電波で壁越し人体検知 — $48で心拍・姿勢を丸裸にする技術の実態

Fri, 06 Mar 2026 00:00:00 +0000

RuView × Wi-Fi電波で壁越し人体検知 — $48で心拍・姿勢を丸裸にする技術の実態

TL;DR: カメラなし・$48のESP32だけで壁の向こうの人間の心拍・呼吸・骨格17点を検知できるとするオープンソースプロジェクト「RuView」がSNSで話題に。原理はCMU発の査読済み研究に基づく実在技術だが、「28.5kスター」の裏には再現性への疑義とCSIハードウェアの壁がある。煽りと科学を分離して整理する。

話題の発端

@kosuke_agos氏のポスト（2026年3月5日、閲覧6.4万・ブックマーク456）が日本語圏で拡散。「市販Wi-Fiルーターだけで壁の向こう側の人間の心拍数や姿勢を完全に特定」「わずか48ドルで構築」という衝撃的な内容が注目を集めた。

https://x.com/kosuke_agos/status/2029392193325285521

RuView とは何か

RuView（旧wifi-densepose）は、Wi-Fi信号のCSI（Channel State Information）を解析して、カメラなしで人体の姿勢推定・バイタルサイン検知を行うオープンソースプロジェクト。

GitHub: https://github.com/ruvnet/RuView
スター: 28.5k / フォーク: 3.7k
ライセンス: MIT
実装言語: Rust（Python比810倍の処理速度を主張）

主張されている性能

機能	スペック
骨格トラッキング	17箇所のキーポイント
呼吸検知	6-30 BPM
心拍検知	40-120 BPM
処理速度	54,000 fps（Rust実装）
壁越し検知距離	最大5m
AIモデルサイズ	55KB（エッジ実行可能）
ハードウェアコスト	〜$48（ESP32-S3 × 4-6台）

科学的な背景 — CMU「DensePose From WiFi」

RuView の理論的基盤は、カーネギーメロン大学（CMU）ロボティクス研究所が2022年に発表した査読済み論文「DensePose From WiFi」（arXiv: 2301.00250）。

論文の核心

Wi-Fiの**CSI（チャネル状態情報）**は、空間内の物体・人体による電波の反射・回折・散乱を数値化したもの
CSI信号を画像的な2D特徴マップに変換するエンコーダ・デコーダネットワークを構築
修正版DensePose-RCNNで、2D特徴から人体表面のUV座標を推定
複数人の同時検知が可能で、カメラベースのアプローチに匹敵する性能を達成

この研究は実在し、査読を通過しており、Wi-Fi CSI による人体検知という原理自体は「嘘」ではない。

CSI の仕組み（簡略版）

Wi-Fi ルーター → 電波送信（OFDM: 52サブキャリア）
↓
人体が電波を反射・吸収・散乱
↓
ESP32 受信 → 各サブキャリアの振幅・位相変化を記録（= CSI）
↓
AI が CSI パターンから人体の姿勢・バイタルを推定

呼吸は胸部の周期的な膨張・収縮（6-30回/分）、心拍は胸壁の微小振動（40-120回/分）として、CSIのFFT（高速フーリエ変換）解析で分離・抽出される。

Agentic AI の仕組み — 4層アーキテクチャで理解する「考えて動く AI」の全体像

Thu, 05 Mar 2026 00:00:00 +0000

Agentic AI の仕組み — 4層アーキテクチャで理解する「考えて動く AI」の全体像

Ronald van Loon さん（@Ronald_vanLoon）が、@Python_Dv 作成の Agentic AI アーキテクチャ図を共有し、注目を集めています。

How #AgenticAI works

https://x.com/Ronald_vanLoon/status/2029305639546060814

このインフォグラフィックは、Agentic AI の動作原理を Input Sources → AI Processing → Action Layer → Output の4層で整理しています。「生成 AI と何が違うのか」「なぜ自律的に動けるのか」を、この4層構造を軸に解説します。

生成 AI と Agentic AI の根本的な違い

まず前提を整理します。生成 AI（Generative AI）と Agentic AI は、AI の進化の段階が異なります。

観点	生成 AI	Agentic AI
基本動作	プロンプトに対してコンテンツを生成	目標に向かって自律的に行動
姿勢	受動的（聞かれたら答える）	能動的（自分で判断して動く）
タスク範囲	1回のやり取りで完結	複数ステップを跨いで継続
外部連携	なし（テキスト入出力のみ）	API・ツール・データベースと連携
記憶	セッション内のみ	セッション間で永続化可能
自己修正	なし	エラーを検知して自動リカバリー

IBM は両者の関係を端的にまとめています。「生成 AI は考えて話す。Agentic AI は計画して実行する」。

Agentic AI 学習ロードマップ — 「フルスタックインテリジェンス」を9ヶ月で習得する体系的な道筋

Thu, 05 Mar 2026 00:00:00 +0000

Agentic AI 学習ロードマップ — 「フルスタックインテリジェンス」を9ヶ月で習得する体系的な道筋

@ingliguori 氏（Giuliano Liguori）のポストが、Agentic AI を学ぶためのロードマップを共有しています。

Roadmap to learn Agentic AI: AI fundamentals → Python + frameworks → LLMs → Agents architecture → Memory + RAG → Planning & decision-making → RL & self-improvement → Deployment → Real-world automation Agentic AI = full-stack intelligence.

「Agentic AI = フルスタックインテリジェンス」というフレーズが示すように、AI エージェントの開発には基礎数学からデプロイまで、フルスタックの知識が求められます。本記事では、このロードマップを複数の学習リソースと照合しながら、各段階で何を学び、どのツールを使い、どこまでを目指すのかを体系的に解説します。

ロードマップの全体像

Liguori 氏が示した9ステップを、Scaler の9ヶ月ロードマップと roadmap.sh の AI Agents ロードマップを参考に、時系列で整理します。

月0-1 AI Fundamentals ← 数学 + ML 基礎
月1-2 Python + Frameworks ← API + ライブラリ
月2-3 LLMs ← Transformer + プロンプト
月3-4 Agents Architecture ← ReAct + ツール使用
月4-5 Memory + RAG ← ベクトル DB + 検索拡張
月5-6 Planning & Decision ← 計画 + マルチエージェント
月6-7 RL & Self-improvement ← フィードバック + 自律性
月7-8 Deployment ← MLOps + 監視
月8-9 Real-world Automation ← ポートフォリオ + 実案件

Step 1: AI Fundamentals（月0-1）

学ぶこと

分野	具体的な内容
線形代数	ベクトル、行列演算、固有値分解、SVD
微積分	勾配、偏微分、最適化
確率・統計	ベイズの定理、分布、仮説検定
ML 基礎	教師あり/なし学習、評価指標

推奨リソース

Khan Academy — 数学基礎
“Mathematics for Machine Learning”（書籍）
StatQuest — 統計の直感的理解

この段階のゴール

「なぜニューラルネットワークが動くのか」を数学的に説明できること。数式を書ける必要はないが、勾配降下法やベイズ推論の直感を持つことが重要です。

awesome-claws × OpenClawエコシステム28エージェント完全マップと設計思想5分類

Thu, 05 Mar 2026 00:00:00 +0000

awesome-claws — OpenClaw エコシステム 28 エージェント完全マップ

@tom_doerr 氏が X で紹介した、OpenClaw インスパイアのエージェントキュレーションリストが注目されています。

List of agents for OpenClaw

machinae/awesome-claws は、OpenClaw にインスパイアされた 28 の AI エージェントプロジェクトをキュレーションしたリストです。Rust、TypeScript、Python、Go、C、Zig まで、8 言語にまたがるエコシステムが形成されています。

本記事では、GitHub 史上最速で最多スターを獲得した OpenClaw の背景と、そこから派生した 28 エージェントを設計思想別に分類して解説します。

OpenClaw とは何か

GitHub 史上最速の成長

OpenClaw は、オーストリアの開発者 Peter Steinberger 氏が開発したオープンソースの自律型 AI エージェントです。

指標	数値
GitHub スター	247,000+（2026 年 3 月時点）
14 日間での獲得スター	190,000（GitHub 史上最速）
フォーク数	47,700+
対応チャネル	20+（WhatsApp、Telegram、Slack 等）
AgentSkills	5,700+

比較として、Kubernetes は約 10 年で 120,000 スター、Linux カーネルは 30 年以上で 195,000 スターです。OpenClaw は 14 日で 190,000 スターを達成し、React を抜いて GitHub 最多スターのソフトウェアプロジェクトになりました。

OpenClaw × Scrapling — AIエージェントが「検出不能なスクレイピング」を手にした日

Thu, 05 Mar 2026 00:00:00 +0000

OpenClaw × Scrapling — AIエージェントが「検出不能なスクレイピング」を手にした日

RoundtableSpace（@roundtablespace）が、OpenClaw の新しいスクレイピング能力を紹介するポストを投稿し、大きな反響を集めています。

OpenClaw can now scrape any website without getting blocked - zero bot detection, bypasses Cloudflare natively, 774x faster than BeautifulSoup. No selector maintenance. No workarounds. Just data. THIS IS AN UNFAIR ADVANTAGE AND IT’S FULLY OPEN SOURCE.

https://x.com/RoundtableSpace/status/2029191380212257159

5,059 いいね・424 RT・8,120 ブックマークを集めたこのポストが紹介しているのは、OpenClaw と Scrapling というオープンソース Python ライブラリの組み合わせです。AIエージェントが Cloudflare の防御を突破し、検出されずにあらゆるウェブサイトからデータを取得できるという主張は、技術コミュニティで論争を引き起こしています。

Scrapling とは何か

Scrapling は、GitHub で 22,400 スターを獲得しているオープンソースの Python スクレイピングフレームワークです。開発者は Karim Shoair（D4Vinci）で、「適応型ウェブスクレイピング」を謳っています。

3つの Fetcher

Scrapling の中核は、用途別に設計された3つの Fetcher です。

OpenFang × Rust製シングルバイナリ「エージェントOS」のHandsアーキテクチャと自律型AI設計

Thu, 05 Mar 2026 00:00:00 +0000

OpenFang — Rust 製シングルバイナリの「エージェント OS」が再定義する自律型 AI の設計

@mikefutia 氏が X で紹介した OpenFang v0.3.7 のリリースが注目を集めています。

OpenFang v0.3.7 is out! here’s everything since v0.3.3

OpenFang は RightNow AI の創設者 Jaber 氏が開発する、Rust で一から構築されたオープンソースのエージェントオペレーティングシステムです。チャットボットフレームワークではなく、自律的にタスクを実行する「エージェント OS」を標榜しています。2026 年 2 月 24 日の公開から 4 日で GitHub スター 4,037 を獲得し、パーソナル AI エージェント領域で最速級の立ち上がりを見せました。

本記事では、OpenFang のアーキテクチャ、独自の「Hands」機構、Python 製フレームワークとの構造的な違いを技術的に解説します。

なぜ「エージェント OS」なのか

チャットボットフレームワークとの違い

LangChain や CrewAI のような既存のエージェントフレームワークは、基本的にユーザーのプロンプトを起点に動作します。ユーザーが指示を出し、エージェントが実行し、結果を返す。この対話ループが基本構造です。

OpenFang が「OS」と名乗る理由は、プロンプトなしで自律的に動作する設計にあります。

既存フレームワーク:
ユーザー → プロンプト → エージェント → 結果 → ユーザー
（対話ループ）
OpenFang:
スケジュール → エージェント → タスク実行 → 知識グラフ更新
↓
ダッシュボードに報告
（自律ループ、ユーザーの介入は承認ゲートのみ）

24 時間 365 日、バックグラウンドでエージェントが動き続ける。リード獲得、競合監視、SNS 投稿、コンテンツ生成を自動で行い、ユーザーはダッシュボードで結果を確認する。これが OpenFang の設計思想です。

AnimaWorks 脳科学5層記憶 × マルチエージェント「文脈崩壊」問題への解答

Wed, 04 Mar 2026 00:00:00 +0000

AnimaWorks 脳科学5層記憶 × マルチエージェント「文脈崩壊」問題への解答

まさお@AI駆動開発さんが、マルチエージェントの最大の課題である「長期タスクで文脈が壊れる」問題に対して、脳科学ベースの記憶システムで挑むOSS「AnimaWorks」を紹介しています。

マルチエージェントの最大の課題「長期タスクで文脈が壊れる」に、脳科学ベースの記憶システムで挑んでいるOSSがある。それが『AnimaWorks』。エージェントを「ステートレスな関数」ではなく「組織の中の人」として設計するフレームワーク。

https://x.com/AI_masaou/status/2029134762447667373

21 いいね・2 RT を集めたこのポストが注目するのは、従来のマルチエージェントが抱えるコンテキストウィンドウの限界を、「記憶の蓄積・整理・忘却」というサイクルで乗り越えようとする設計思想です。

マルチエージェントの「文脈崩壊」問題

LLM の「記憶」の仕組み

まず前提として、LLM（ChatGPT や Claude など）には人間のような記憶がありません。LLM が「覚えている」ように見えるのは、会話の全履歴を毎回テキストとして入力に含めているからです。この入力テキスト全体をコンテキストウィンドウと呼びます。

┌─────────────────────────────────────┐
│ コンテキストウィンドウ（例: 200K トークン） │
│ │
│ システム指示 │
│ ユーザー: こんにちは │
│ AI: こんにちは！ │
│ ユーザー: Pythonで関数を書いて │
│ AI: def hello(): ... │
│ ...（数百ターンの会話履歴） │ ← 会話が長くなるほど膨らむ
└─────────────────────────────────────┘

ウィンドウの物理的限界

コンテキストウィンドウには上限があります（Claude で約 200K トークン、日本語で約 10〜15 万文字）。長期タスクでは会話履歴がこの上限に達し、古い情報から順に切り捨てられます。

タスク開始時:
「このプロジェクトでは認証にJWTを使う方針です」 ← 重要な初期方針
... 200ターン後 ...
「ログイン機能を実装して」
→ エージェントは JWT の方針を忘れており、
セッション認証で実装してしまう

注意力の希釈（Lost in the Middle）

ウィンドウ内に収まっていても、情報量が多すぎると LLM の「注意力」が分散します。研究では、コンテキストの先頭と末尾の情報は活用されやすいが、中間部分は見落とされやすいことが分かっています。

QwenVoice --- Mac でボイスクローニング・感情表現・音声デザインを完全オフラインで実現する Qwen3-TTS アプリ

Wed, 04 Mar 2026 00:00:00 +0000

QwenVoice — Mac でボイスクローニング・感情表現・音声デザインを完全オフラインで実現する Qwen3-TTS アプリ

@ai_hakase_ 氏が X で紹介した、Mac 向け音声生成アプリ「QwenVoice」が注目を集めています。

【Mac で革命】Qwen3-TTS 搭載の最強音声生成アプリ「QwenVoice」。ボイスクローニングや感情表現が Mac で爆速！Apple Silicon 最適化でオフライン動作も完璧です。面倒な設定なしでプロ級のナレーションを生成可能。

QwenVoice は、Alibaba Cloud の Qwen チームが開発したオープンソース TTS モデル「Qwen3-TTS」を Apple Silicon Mac でネイティブに動かす GUI アプリです。Python のインストールもターミナル操作も不要で、ドラッグ & ドロップだけで使い始められます。本記事では、QwenVoice の機能と Qwen3-TTS の技術的な仕組みを解説します。

QwenVoice の概要

何ができるのか

QwenVoice は 3 つの音声生成モードを提供します。

モード	機能	使い方
Custom Voice	プリセット音声で読み上げ	4 種類の英語話者（Ryan, Aiden, Serena, Vivian）から選択
Voice Design	自然言語で新しい声を作る	「落ち着いた男性の低い声」のようにテキストで指示
Voice Cloning	既存の声を複製	5〜10 秒の音声サンプルから声を再現

3 つのモードすべてが 100% オフラインで動作します。音声データがクラウドに送信されることはありません。

システム要件

要件	スペック
OS	macOS 14.0（Sonoma）以上
プロセッサ	Apple Silicon（M1 / M2 / M3 / M4）
メモリ	8 GB 以上推奨

インストール手順

1
2
3
4
5


# 1. GitHub Releases から QwenVoice.dmg をダウンロード
# 2. /Applications にドラッグ
# 3. 検疫属性を解除（署名なしのため）
xattr -cr "/Applications/QwenVoice.app"
# 4. アプリを起動 → Models タブ → モデルをダウンロード → 生成開始

Python 環境の構築やライブラリのインストールはアプリが自動で行います。ユーザーが触るのは GUI だけです。

Rust の仕事が増えていく理由 — インフラコスト削減の圧力と LLM が学習コストを消し去る構造変化

Wed, 04 Mar 2026 00:00:00 +0000

Rust の仕事が増えていく理由 — インフラコスト削減の圧力と LLM が学習コストを消し去る構造変化

@helloyuki_ 氏のポストが、Zenn の記事を紹介し反響を呼んでいます（いいね 177、ブックマーク 124）。

前職の同僚がなんか書いてた。広告配信でRustを採用した際のインフラ費の話を聞いた気がするんだけど、たしかにRustにするとこんなに削減できるのかと思った記憶がある🤔

引用元は yukinarit 氏による Zenn 記事「Rustの仕事が増えていく理由」。地図・ゲーム・証券・広告・メッセージングと多様な業界で Rust を使ってきたエンジニアが、なぜ Rust の仕事が増えていくのかを構造的に分析した記事です。

本記事では、元記事の論点を整理し、企業の実績データとLLM時代の変化を加えて解説します。

Rust 採用の構造的理由 — 2軸モデル

性能要求 × 開発コストの2軸

元記事が提示するフレームワークは、言語選定を性能要求と開発コスト許容度の2軸で整理するものです。

 高性能要求
↑
領域D | 領域C
Rust / C++ | ML研究等
|
───────────────┼───────────────→ 高コスト許容
|
領域B | 領域A
Go / Java | Ruby / Python
| TypeScript
低性能要求

領域	言語	典型的なプロダクト
A（低性能・低コスト）	Ruby, Python, TypeScript	Web アプリ、管理画面、MVP
B（中性能・中コスト）	Go, Java, C#	マイクロサービス、API サーバー
C（低性能・高コスト）	Python + CUDA	機械学習研究
D（高性能・高コスト）	Rust, C++	HFT、ゲームエンジン、広告配信

領域 B → D への圧力

重要なのは、クラウドの普及が領域 B のプロダクトを領域 D に押し上げていることです。オンプレミス時代はサーバーを買い切りだったため、CPU やメモリの使用効率が直接コストに響きにくかった。しかしクラウドでは CPU 時間・メモリ量が従量課金されるため、「Go/Java で十分」だったサービスがコスト削減のために Rust を検討するフェーズに入っています。

AnimaWorks — 「AIだけの会社組織」を作る日本発フレームワークの設計思想

Tue, 03 Mar 2026 00:00:00 +0000

AnimaWorks — 「AIだけの会社組織」を作る日本発フレームワークの設計思想

りょうま(@ryoma_nakajima)氏のポストで紹介された「AnimaWorks」が注目を集めています。

日本人が開発している「AIだけで作る会社組織」フレームワークを試してみる。AIに性格を指定するところから始まるのが近未来感すごすぎて好き — りょうま(@ryoma_nakajima)

72,000超の表示、447ブックマークという反響は、「AIエージェントに組織を作らせる」というアイデアへの強い関心を示しています。元になったげれげれ(@medmuspg)氏のポストでは、OpenClawとの違いを「1人の優秀なAI秘書」と「AIだけの会社組織」という対比で説明しています。

本記事では AnimaWorks の設計思想を掘り下げ、マルチエージェントフレームワークの現在地を整理します。

AnimaWorks とは何か

AnimaWorks は「Organization-as-Code」を標榜する、自律型AIエージェントチームのためのオープンソースフレームワークです。Apache License 2.0で公開されており、10,600行以上のPythonコードで構成されています。

コアの思想は明快です。

“Imperfect individuals collaborating through structure outperform any single omniscient actor."（不完全な個体が構造を通じて協力すれば、単一の全知の存在を凌駕する）

項目	内容
開発者	xuiltul（日本人開発者）
言語	Python（10,600行以上）
ライセンス	Apache License 2.0
対応モデル	Claude, GPT-4o, Gemini, Mistral, Ollama 等
実行モード	4種（Claude Agent SDK / Codex SDK / LiteLLM / Basic）
UI	Webダッシュボード + 3Dワークスペース + 音声チャット

OpenClaw との決定的な違い

OpenClaw と AnimaWorks は同じ「AIエージェント」カテゴリに分類されますが、設計思想が根本的に異なります。

観点	OpenClaw	AnimaWorks
設計思想	1人の優秀なAI秘書	AIだけの会社組織
エージェント数	基本は1体（拡張でマルチ可）	最初からマルチエージェント前提
関係性	ユーザーとエージェントの1対1	上司・部下の階層構造
記憶	コンテキストウィンドウ依存	神経科学に着想を得た永続記憶
通信	ユーザーへの応答	エージェント間の非同期メッセージング
カプセル化	なし（透過的）	各エージェントの内部は他から不可視
開発元	Peter Steinberger（オーストリア、現OpenAI）	xuiltul（日本）

この違いは単なる機能差ではなく、組織論に基づく設計かどうかの差です。AnimaWorks は「不完全な個体の協力」を前提に設計されており、現実の企業組織と同じく、情報の非対称性やコミュニケーションコストを意図的に組み込んでいます。

dotenvx・lkr・aws-vault・1Password CLI — .env 代替ツール4種の選び方とベストプラクティス

Tue, 03 Mar 2026 00:00:00 +0000

dotenvx・lkr・aws-vault・1Password CLI — .env 代替ツール4種の選び方とベストプラクティス

AI エージェントが .env ファイルを読み取るリスクが現実のものとなり、平文の .env を代替するツールが続々と登場しています。本シリーズでは aws-vault、lkr、dotenvx + 1Password CLI をそれぞれ解説してきました。

しかし「結局どれを使えばいいのか」という疑問が残ります。本記事では、4つのツールの守備範囲・強み・限界を比較し、チーム構成や開発環境に応じた選択指針を提示します。

4ツールの守備範囲

最も重要な違いは管理対象の範囲です。

ツール	管理対象	DB接続	SaaS キー	LLM API キー	AWS 認証
aws-vault	AWS 認証情報のみ	-	-	-	対応
lkr	LLM API キー（8社）	-	-	対応	-
dotenvx	.env に書ける全て	対応	対応	対応	対応
1Password CLI	全種類	対応	対応	対応	対応

aws-vault と lkr は特定領域に特化したツールです。.env に含まれる全てのシークレットをカバーするには、dotenvx か 1Password CLI が必要になります。

各ツールの強みと弱み

aws-vault

1

$ aws-vault exec dev -- python manage.py runserver

強み	弱み
STS 一時認証（15分〜で自動失効）	AWS 認証情報しか管理できない
AssumeRole による権限分離	macOS 限定（Keychain 依存）
MFA 統合	チーム共有不可
漏洩しても短時間で無効化される

最大の強みは STS による一時認証です。他のどのツールも「漏洩しても自動で失効する」認証情報は提供できません。aws-vault が発行する一時認証情報は、仮に AI エージェントに読まれても最短15分で失効します。

Sentry × Claude Code で実現する AI デバッグワークフロー — エラー監視から自動修正まで

Sun, 01 Mar 2026 00:00:00 +0000

Sentry × Claude Code で実現する AI デバッグワークフロー — エラー監視から自動修正まで

「バグが起きたら Sentry が検知し、AI が分析して修正案を出す」— そんなワークフローが現実になっています。

@riku720720（Rikuo）さんのポストは、この流れを端的にまとめています。

「アプリ開発する上でsentryは必須。sentry APIをskillsにすればユーザーのバグとか不具合とか全部分析できる。claudecodeの新機能/batchで一気に改善してもらう」

この記事では、Sentry の全体像から Claude Code との連携、そして実践的なワークフローまでを解説します。

Sentry とは

Sentry は、開発者ファーストのエラートラッキング＆パフォーマンス監視プラットフォームです。100以上のプラットフォーム・フレームワーク、30以上のプログラミング言語に対応しています。

単なるエラーログではない

Sentry が他のログ監視ツールと異なるのは、エラーの文脈（コンテキスト）を自動収集する点です。スタックトレースだけでなく、ユーザーのセッション情報、パフォーマンスデータ、リリースバージョンなど、デバッグに必要な情報を一元化します。

Sentry の主要機能

1. Error Monitoring（エラー監視）

Sentry の中核機能です。

リアルタイム検知：エラー発生を即座にキャッチ
インテリジェントグルーピング：同じ原因のエラーを自動的に1つの Issue にまとめる
アラート通知：Slack、メール、PagerDuty 等と連携

1
2
3
4
5
6
7
8


# Django での導入例
import sentry_sdk

sentry_sdk.init(
 dsn="https://xxx@xxx.ingest.sentry.io/xxx",
 traces_sample_rate=1.0,
 profiles_sample_rate=1.0,
)

2. Performance Monitoring（パフォーマンス監視）

分散トレーシング：リクエストの流れをフロントエンドからバックエンドまで追跡
トランザクション分析：遅いエンドポイントやクエリを特定
Web Vitals：LCP、FID、CLS などフロントエンドのパフォーマンス指標

3. Session Replay（セッションリプレイ）

ユーザーのセッションをビデオのように再生できる機能です。

# CloudFront → ALB → Django 構成で API レスポンスの URL スキームが http:// になる問題と解決策

Tue, 24 Feb 2026 00:00:00 +0000

CloudFront → ALB → Django 構成で API レスポンスの URL スキームが http:// になる問題と解決策

はじめに

AWS の CloudFront + ALB + ECS Fargate で Django REST Framework (DRF) の API サーバーを運用していたところ、API レスポンスに含まれる URL が http:// で返されるという問題に遭遇しました。本記事では原因の調査過程と、最終的な解決策を紹介します。

構成

Client (HTTPS)
↓
CloudFront (SSL終端, us-east-1)
↓ HTTP
ALB (HTTP:80のみ受付, ap-northeast-1)
↓ HTTP
ECS Fargate (Gunicorn + Uvicorn, port 9000)
↓
Django REST Framework

CloudFront がSSLを終端し、ALB へは HTTP で転送する構成です。

問題

DRF の API ルート (/api/rest/) にアクセスすると、レスポンスに含まれる URL がすべて http:// になっていました。

CloudWatch Logs のエラーを自動で GitHub Issues に課題化する

Tue, 24 Feb 2026 00:00:00 +0000

CloudWatch Logs のエラーを自動で GitHub Issues に課題化する

ECS で稼働するWebアプリケーションのエラーログを自動的に GitHub Issues に報告する仕組みを構築しました。手動でログを監視する必要がなくなり、エラー発生時に即座にチームが認識・対応できるようになります。

背景

マルチテナントの業務システムを ECS Fargate 上で運用しています。アプリケーションは2つあり、それぞれ異なるフレームワークで構築されています。

アプリ	フレームワーク	用途
web	Laravel (PHP)	業務管理システム
api	Django (Python)	API サーバー

これまで CloudWatch Logs にログは収集していたものの、エラーの検知は手動確認に頼っていました。500エラーや例外発生を見逃すリスクがあり、自動検知の仕組みが必要でした。

アーキテクチャ

Subscription Filter + Lambda + GitHub Issues API の構成を採用しました。

CloudWatch Logs (/ecs/{prefix}-ecs-{app})
└── Subscription Filter (エラーパターンマッチ)
└── Lambda Function (Docker/arm64, Python 3.12)
├── エラー解析 (HTTP 5xx, 例外, スタックトレース)
├── ±5秒のログコンテキスト取得
├── 既存 Open Issue 検索
└── 新規 Issue 作成 or 既存 Issue にコメント追加

この構成を選んだ理由

方式	リアルタイム性	柔軟性	コスト
Subscription Filter + Lambda (採用)	高	高	中
Metric Filter + Alarm + SNS	中 (1分以上遅延)	低	低
CloudWatch Logs Insights (定期実行)	低	高	低

Subscription Filter はログ出力時にほぼリアルタイムで Lambda を起動するため、エラー発生から数秒で Issue が作成されます。

請求入金

Thu, 13 Feb 2025 00:00:00 +0000

請求入金

マッチング

文字列の揺らぎがある場合、ベクトルデータを使ったマッチングは非常に有効です。具体的には、文字列の類似度を計算するために、自然言語処理（NLP）の技術を利用することができます。以下は、fuzzywuzzyライブラリを使用して文字列の類似度を計算し、マッチングを行うサンプルコードです：

まず、必要なライブラリをインストールします：

1

pip install pandas openpyxl fuzzywuzzy

次に、サンプルコードです：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42


import pandas as pd
from fuzzywuzzy import fuzz

# 入金リストと請求明細のファイルパス
payments_file = 'payments.xlsx'
invoices_file = 'invoices.xlsx'

# Excelファイルからデータを読み込む
payments_df = pd.read_excel(payments_file)
invoices_df = pd.read_excel(invoices_file)

# 類似度の閾値を設定
similarity_threshold = 80

# マッチング結果を格納するリスト
matched_records = []

# 入金リストと請求明細をマッチングさせる
for _, payment in payments_df.iterrows():
 for _, invoice in invoices_df.iterrows():
 # 金額が一致するか確認
 if payment['金額'] == invoice['請求金額']:
 # 振り込み依頼人と顧客名の類似度を計算
 similarity = fuzz.token_sort_ratio(payment['振り込み依頼人'], invoice['顧客名'])
 if similarity >= similarity_threshold:
 matched_records.append({
 '入金ID': payment['入金ID'],
 '請求ID': invoice['請求ID'],
 '金額': payment['金額'],
 '振り込み依頼人': payment['振り込み依頼人'],
 '顧客名': invoice['顧客名'],
 '類似度': similarity
 })

# マッチング結果をデータフレームに変換
matched_df = pd.DataFrame(matched_records)

# マッチング結果を表示
print(matched_df)

# マッチング結果を新しいExcelファイルに保存
matched_df.to_excel('matched_results.xlsx', index=False)

このコードでは、以下の手順を実行しています：

hatch

Sun, 26 Jan 2025 00:00:00 +0000

hatch

nix

Sun, 05 Jan 2025 00:00:00 +0000

nix

NIXで管理するpython環境

uv

Sun, 05 Jan 2025 00:00:00 +0000

uv

インストール

1

% curl -LsSf https://astral.sh/uv/install.sh | sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


downloading uv 0.5.14 aarch64-apple-darwin
no checksums to verify
installing to /Users/hdknr/.local/bin
 uv
 uvx
everything's installed!

To add $HOME/.local/bin to your PATH, either restart your shell or run:

 source $HOME/.local/bin/env (sh, bash, zsh)
 source $HOME/.local/bin/env.fish (fish)

1
2
3


% source .local/bin/env
% which uv
/Users/hdknr/.local/bin/uv

1
2


% uv --version
uv 0.5.14 (9f1ba2b96 2025-01-02)

uvx (`uv tool run`)

uvではdevelop環境で利用するtoolをuv tool(uvx)というコマンド別管理することが可能

Gradio

Mon, 30 Dec 2024 00:00:00 +0000

Gradio

Python: HTTP

Sun, 15 Dec 2024 00:00:00 +0000

Python: HTTP

簡単なHTMLサーバー(http.server + SimpleHTTPRequestHandler)

ディレクトリ一覧を返す

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import http.server
import socketserver

PORT = 8000

Handler = http.server.SimpleHTTPRequestHandler

with socketserver.TCPServer(("", PORT), Handler) as httpd:
 print("serving at port", PORT)
 httpd.serve_forever()

scikit-learn: 異常検知

Thu, 12 Dec 2024 00:00:00 +0000

異常検知

sklearnを用いた異常検知のサンプルコード

sklearn（サイキットラーン）は、Pythonで機械学習を行うための強力なライブラリです。異常検知も、sklearnの様々なアルゴリズムを用いて行うことができます。

異常検知の手法選択

異常検知の手法は、データの種類や異常パターンによって異なります。代表的な手法としては、以下のものが挙げられます。

One-Class SVM: データの境界線を学習し、その境界から離れた点を異常と判定します。
Isolation Forest: データ点を孤立させるような決定木を複数作成し、異常度をスコア化します。
Local Outlier Factor (LOF): データ点の近傍の密度に基づいて異常度を計算します。

サンプルコード（Isolation Forest）

ここでは、Isolation Forestを用いた異常検知のサンプルコードをPythonで記述します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


from sklearn.ensemble import IsolationForest
import numpy as np

# サンプルデータ生成
np.random.seed(42)
X = np.random.randn(100, 2) # 正常データ
X = np.r_[X, np.random.randn(20, 2) + [3, 3]] # 異常データ

# Isolation Forestモデルの作成
clf = IsolationForest(contamination=0.2) # 異常データの割合を指定
clf.fit(X)

# 異常度の予測
y_pred = clf.predict(X)

# 異常データの抽出
anomalies = X[y_pred == -1]

# 結果の表示
print("異常データ:")
print(anomalies)

コード解説

データの生成: 正常なデータと異常なデータを生成します。
モデルの作成: IsolationForestのインスタンスを作成し、contaminationパラメータで異常データの割合を指定します。
モデルの学習: fitメソッドでモデルを学習させます。
異常度の予測: predictメソッドで各データの異常度を予測します。
異常データの抽出: 予測結果が-1のデータを異常データとして抽出します。

その他の注意点

contaminationパラメータ: 異常データの割合を事前にある程度把握している場合に、このパラメータを指定することで、より正確な異常検知が可能になります。
特徴量のスケーリング: 特徴量のスケールが異なる場合、標準化や正規化を行うことで、モデルの性能が向上する場合があります。
ハイパーパラメータのチューニング: Isolation Forestには、他にも様々なハイパーパラメータが存在します。GridSearchCVなどを用いて、最適なパラメータを探索することができます。

より詳細な情報

sklearnの公式ドキュメント: IsolationForestの詳しい説明や他の異常検知アルゴリズムについては、sklearnの公式ドキュメントを参照してください。
Qiitaなどの技術ブログ: 多くの技術ブログで、sklearnを用いた異常検知の具体的な事例や解説が紹介されています。

応用

異常検知は、不正検出、故障検知、品質管理など、様々な分野で活用されています。

Django Email

Thu, 28 Nov 2024 00:00:00 +0000

メール送信

Djangoでメールを送信する際に、都度サーバーを切り替える方法はいくつかあります。以下の手順で実装できます。

メールサーバーの設定を動的に変更する: DjangoのEmailMessageクラスを使用して、メール送信時にサーバー設定を動的に変更できます。例えば、以下のようにconnectionパラメータを使用して異なるサーバーを指定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


from django.core.mail import EmailMessage, get_connection

def send_email(subject, message, from_email, recipient_list, server_settings):
 connection = get_connection(
 host=server_settings['EMAIL_HOST'],
 port=server_settings['EMAIL_PORT'],
 username=server_settings['EMAIL_HOST_USER'],
 password=server_settings['EMAIL_HOST_PASSWORD'],
 use_tls=server_settings['EMAIL_USE_TLS'],
 use_ssl=server_settings['EMAIL_USE_SSL'],
 )
 email = EmailMessage(subject, message, from_email, recipient_list, connection=connection)
 email.send()

サーバー設定のリストを用意する: 複数のサーバー設定をリストで管理し、メール送信時にランダムまたは順番に選択する方法です。

クラスタリング

Sun, 17 Nov 2024 00:00:00 +0000

クラスタリング

手法

ユーザーを属性に基づいてクラスタリングするためには、いくつかの手法があります。以下に代表的なものを紹介します：

K-meansクラスタリング:
- ユーザーを事前に決めた数のクラスタに分ける手法です。各クラスタの中心（セントロイド）を計算し、ユーザーを最も近いクラスタに割り当てます。
階層的クラスタリング:
- ユーザーを階層的にクラスタリングする手法です。デンドログラムと呼ばれる木構造を作成し、ユーザーを段階的にクラスタに分けます。
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）:
- 密度に基づくクラスタリング手法で、データの密度が高い部分をクラスタとして識別します。ノイズや外れ値を扱うのに適しています。
Gaussian Mixture Models（GMM）:
- データが複数のガウス分布から生成されていると仮定し、各クラスタをガウス分布としてモデル化します。クラスタの形状が楕円形の場合に有効です。
主成分分析（PCA）:
- 次元削減の手法ですが、クラスタリングの前処理として使用されることが多いです。データの重要な特徴を抽出し、クラスタリングの精度を向上させます。

これらの手法を使うことで、ユーザーを効果的にクラスタリングし、属性に基づいた分析やマーケティング戦略の立案が可能になります。どの手法が最適かは、データの特性や目的によって異なるため、いくつかの手法を試してみると良いでしょう。

どの手法について詳しく知りたいですか？または、具体的なデータの例があれば教えてください。

DBSCAN

以下に、Pythonを使ってDBSCANでデータをクラスタリングするサンプルコードを示します。この例では、scikit-learnライブラリを使用しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


import numpy as np
from sklearn.cluster import DBSCAN
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# サンプルデータの生成
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

# DBSCANの実行
dbscan = DBSCAN(eps=0.3, min_samples=5)
clusters = dbscan.fit_predict(X)

# クラスタリング結果のプロット
plt.scatter(X[:, 0], X[:, 1], c=clusters, cmap='viridis')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('DBSCAN Clustering')
plt.show()

このコードでは、以下の手順を踏んでいます：

SQLModel

Thu, 17 Oct 2024 00:00:00 +0000

SQLModel

テーブル定義

SQLModel で簡単なテーブルを作成する

Alembic マイグレーション

gunicorn

Fri, 11 Oct 2024 00:00:00 +0000

Gunicorn

`max_requests` / `max_requests_jitter`

Gunicornでメモリリークを避けるために子プロセスを定期的に再起動するには、max_requestsとmax_requests_jitterの設定を利用するのが効果的です。これにより、一定のリクエスト数を処理した後にワーカープロセスが自動的に再起動されます。

以下はその設定方法です：

max_requests: 各ワーカープロセスが再起動される前に処理するリクエストの最大数を指定します。
max_requests_jitter: 再起動のタイミングをランダム化するためのオプションです。これにより、全てのワーカープロセスが同時に再起動されるのを防ぎます。

Gunicornの設定ファイル（例：gunicorn.conf.py）に以下のように追加します：

1
2
3
4


# gunicorn.conf.py

max_requests = 1000 # 1000リクエストごとに再起動
max_requests_jitter = 50 # 再起動タイミングをランダム化

または、コマンドラインで起動する際にオプションとして指定することもできます：

1

gunicorn --max-requests 1000 --max-requests-jitter 50 myapp:app

これにより、各ワーカープロセスは1000回のリクエストを処理した後、ランダムに最大50回のリクエストを追加で処理してから再起動されます¹(https://qiita.com/ryu22e/items/2668a2243a5191bcdc78)²(https://zenn.dev/xknzw/articles/d2d337ae2f8966)³(https://qiita.com/_konishi_/items/1dc2bbfc386f57d06934)。

この設定により、メモリリークの影響を最小限に抑えつつ、サービスの安定性を保つことができます。

¹(https://qiita.com/ryu22e/items/2668a2243a5191bcdc78): gunicorn(>=19.2)ではmax_requestsと一緒にmax_requests_jitterも使おう - Qiita ²(https://zenn.dev/xknzw/articles/d2d337ae2f8966): gunicorn syncワーカーの全体像メモ - Zenn ³(https://qiita.com/_konishi_/items/1dc2bbfc386f57d06934): gunicornでディスク使用量が増え続ける現象への対処 - Qiita

(1) gunicorn(>=19.2)ではmax_requestsと一緒にmax_requests_jitterも使おう. https://qiita.com/ryu22e/items/2668a2243a5191bcdc78. (2) gunicorn syncワーカーの全体像メモ - Zenn. https://zenn.dev/xknzw/articles/d2d337ae2f8966. (3) gunicornでディスク使用量が増え続ける現象への対処 - Qiita. https://qiita.com/_konishi_/items/1dc2bbfc386f57d06934.

ltsv

Fri, 11 Oct 2024 00:00:00 +0000

ltsv

ltsv から　 csvに変換

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


#!/usr/bin/env python
import click

import pandas as pd

import csv
import re


@click.group()
@click.option("--tf_output", "-to", default=None)
@click.pass_context
def group(ctx, tf_output):
 pass


@group.command()
@click.argument("src")
@click.pass_context
def ltsv2csv(ctx, src):
 """LTSV to CSV"""

 output = f"{src}.csv"

 def get_line_dict(line):
 return dict(re.search(r"^([^\:]+)\:(.*)$", i).groups() for i in line)

 with open(src) as f:
 data = pd.DataFrame(map(get_line_dict, csv.reader(f, delimiter="\t")))
 data.to_csv(output, index=False)


if __name__ == "__main__":
 group()

DSpy

Fri, 04 Oct 2024 00:00:00 +0000

DSPy (Declarative Sequencing for Python)

https://dspy-docs.vercel.app/ (Programming—not prompting—Language Models)

DSPyについて

DSPyは、LMプロンプトとウェイトをアルゴリズム的に最適化するためのフレームワークです、特にLMがパイプライン内で1回以上使用される場合。 LMを使用して複雑なシステムを構築するなし DSPy、あなたは一般的に次のことを行う必要があります:

(1)問題をステップに分解する、 (2)各ステップが個別にうまく機能するまでLMをうまく促す、 (3)ステップを微調整してうまく連携する、 (4)合成例を生成する各ステップを調整し、 (5)これらの例を使用して、より小さなLMを調整してコストを削減します。

現在、これは困難で厄介です。パイプライン、LM、またはデータを変更するたびに、すべてのプロンプト（または微調整手順）を変更する必要がある場合があります。

これをより体系的ではるかに強力にするために、 DSPy 2つのことを行います。まず、プログラムの流れを分離します(modules)各ステップのパラメーター（LMプロンプトとウェイト）から。第二に、 DSPy 新しい optimizers、これは、LMコールのプロンプトやウェイトを調整できるLM駆動アルゴリズムです。metric 最大化したい。

DSPy のような強力なモデルを日常的に教えることができます GPT-3.5 または GPT-4 と地元のモデル T5-base または Llama2-13b タスクではるかに信頼性が高くなること、つまり、より高い品質を持つこと、および/または特定の障害パターンを回避すること。 DSPy オプティマイザーは同じプログラム異なる各LMの指示、ショットの少ないプロンプト、および/またはウェイトの更新（finetunes）。これは、LMとそのプロンプトが、データから学習できるより大きなシステムの最適化可能な部分としてバックグラウンドにフェードインする新しいパラダイムです。 tldr; LMでハードタスクを解決するためのプロンプトが少なく、スコアが高く、より体系的なアプローチ。

ニューラルネットワークへのアナロジー

ニューラルネットワークを構築するときは、マニュアルを書きません for-loops 以上のリスト手調整フロート。代わりに、次のようなフレームワークを使用できます PyTorch レイヤーを作成する(例: Convolution または Dropout)0次に、オプティマイザー（SGDやAdamなど）を使用して、ネットワークのパラメーターを学習します。

同上！DSPy 適切な汎用モジュールを提供します（例: ChainOfThought、 ReAct等）、文字列ベースのプロンプトトリックを置き換えます。迅速なハッキングと1回限りの合成データジェネレーターを置き換えるには、 DSPy 一般的なオプティマイザーも提供します(BootstrapFewShotWithRandomSearch または MIPRO)、これはプログラムのパラメーターを更新するアルゴリズムです。コード、データ、アサーション、またはメトリックを変更するときはいつでも、コンパイルあなたのプログラムをもう一度 DSPy 変更に適合する新しい効果的なプロンプトを作成します。

Python: DOM

Tue, 10 Sep 2024 00:00:00 +0000

Python: DOM

lxml

Recommended way to generate XHTML documents with lxml

etree

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


from lxml import etree

# ルート要素を作成
html = etree.Element("html")
body = etree.SubElement(html, "body")
h1 = etree.SubElement(body, "h1")
h1.text = "タイトル"
p = etree.SubElement(body, "p")
p.text = "これは段落です。"

# HTMLを文字列として取得
html_string = etree.tostring(html, pretty_print=True, encoding='unicode')

print(html_string)

cssutils

cssutilsを使ってゼロからCSSを構成するのは比較的簡単です。以下の手順でCSSスタイルシートを作成し、ルールを追加することができます。

Python: 文字烈ケース変換

Fri, 06 Sep 2024 00:00:00 +0000

Python 文字列ケース変換

Camel

Elegant Python function to convert CamelCase to snake_case?

1
2
3
4
5


import re

name = 'CamelCaseName'
name = re.sub(r'(?<!^)(?=[A-Z])', '_', name).lower()
print(name) # camel_case_name

メモ

Thu, 01 Aug 2024 00:00:00 +0000

メモ

Rye

Contentful : Organization は削除できない

管理者の最後のアカウントが削除されたら削除できる

AWS Secret Manager: 再作成

このエラーは、Secrets Manager がシークレットを直ちに削除せず、復旧期間（通常 7 日間）を設けているために発生します。この期間中は同じ名前のシークレットを再作成することができません ¹。

ただし、AWS CLI を使用して、復旧期間を設けずにシークレットを完全に削除することが可能です。以下の手順を試してみてください：

削除予定のシークレット ID を取得:
- AWS Secrets Manager コンソールを開きます。
- ナビゲーションペインで「Secrets」を選択します。
- 「設定」アイコンを選択し、「詳細設定」で「削除予定のシークレットを表示」を選択します。
- 「Secrets」ペインで、削除予定のシークレットの ID を確認します。
AWS CLI を使用してシークレットを完全に削除:
- 以下のコマンドを実行します（your-secret-nameをシークレット ID または ARN に、your-regionを AWS リージョンに置き換えてください）:
  1
  
  aws secretsmanager delete-secret --secret-id your-secret-name --force-delete-without-recovery --region your-region
削除が完了したことを確認:
- 以下のコマンドを実行して、シークレットが完全に削除されたことを確認します:
  1
  
  aws secretsmanager describe-secret --secret-id your-secret-name --region your-region
- 「Secrets Manager can’t find the specified secret」というエラーが表示されれば、シークレットは正常に削除されています。

これで、同じ名前のシークレットを再作成できるようになります ¹。

PGVector

Wed, 31 Jul 2024 00:00:00 +0000

PGVector

ニューラルネットワークの知識の蒸留 distilling the knowledge in a neural networkPGVector (Postgres)
Rails/PostgreSQL/pgvector を組み合わせてベクトル検索をする。
https://github.com/yassun/sample-pgvector
https://hub.docker.com/r/pgvector/pgvector
https://github.com/pgvector/pgvector-python
LangChain と pgvector(Postgres)を用いて関連性の高いドキュメントを手軽に検索する
生成 AI でテキスト分類やってみた

SentenceTransformer

知識蒸留

MUSE

Muse: Text-To-Image Generation via Masked Generative Transformers を読んだメモ

Python asyncio

Wed, 31 Jul 2024 00:00:00 +0000

asyncio

async/await 構文を利用して並行処理を行う
シングルスレッドで動作する並行処理のためのライブラリ

コルーチン定義関数(Coroutine function definition)

8.9.1. コルーチン関数定義
コルーチン定義関数はコルーチンオブジェクトを返す。

(ジェネレータベースの)コルーチン(`yield`)

単純な関数呼び出しによるサブルーチンとは異なり、呼び出し元と呼び出し先を行ったり来たりするような関係性のルーチン
ジェネレータを利用してコルーチンを実装する(yield)
『コルーチンは処理を中断した後、続きから処理を再開できる』= ジェネレータは処理を中断・再開できるので、コルーチンであると言える
send 呼び出しもとからデータ可能

native coroutine(`async`)

async の付いている関数定義は、generator と同じように、呼び出しをしても直ちに実行はされない関数
await で実行終了を待つ

非同期ジェネレータ(AsyncGenerator)

async generator
通常のジェネレータと違って非同期ジェネレータはジェネレータ関数自体の戻り値を返すことはできません
asend : 非同期ジェネレータでも呼び出し元から、ジェネレータ関数に値を通知することができます

資料

Server Sent Events

Wed, 24 Jul 2024 00:00:00 +0000

SSE

FastAPI

Mon, 24 Jun 2024 00:00:00 +0000

FastAPI

Hypercorn

1

poetry add fastapi hypercorn quart

filters

fastapi-filters:

その他:

https://pypi.org/project/fastapi-query-tools/

モデルマッパー

SQLModel(https://sqlmodel.tiangolo.com/)

JWT in AWS Lambda

Tue, 18 Jun 2024 00:00:00 +0000

JWT in AWS Lambda

API Gateway-

Lambda コンテナ

Ruff[object Object]

Thu, 06 Jun 2024 00:00:00 +0000

Ruff

Snowflake: Snowpark

Sun, 14 Apr 2024 00:00:00 +0000

Snowflake: Snowpark

Apache Spark

今さら聞けない Python - Spark のご紹介

LangChain

Fri, 15 Mar 2024 00:00:00 +0000

LangChain

生成 AI アプリ開発フレームワーク LangChain 入門

独自データの活用:

ファインチューニング (LLM + 独自データ -(再レーニング)-> 独自 LLM)
プロンプトエンジニアリング(独自データをコンテキストとして与えて LLM から生成)
ベクトル検索(ベクトル化された独自データから最適解をコンテキストとして与えて LLM から生成)

LangChain とは

大規模言語モデル（LLM）を使用したアプリケーション開発のためのオープンソース・オーケストレーション・フレームワーク
チャットボットや仮想エージェントなどの LLM 駆動型アプリケーションの構築プロセスを簡素化

LangChain の仕組みとは

抽象化によって LLM アプリケーションのプログラミングを効率化する開発環境
1 つ以上の複雑なプロセスの構成ステップをすべてカプセル化した名前付きコンポーネントとみなすことでコードを簡素化

言語モデルのインポート:

ほぼすべての LLM を使用できます

プロンプトテンプレート:

プロンプト: LLM に与えられる指示
プロンプトエンジニアリング:LLM が入力を解釈し、最も役立つ方法で出力を構成するために必要なコンテキストを効果的に提供するプロンプトを作成する作業

チェーン:

LLM を他のコンポーネントと組み合わせ、一連の関数を実行することでアプリケーションを作成
LLMChain: 基本チェーン: 単にモデルを呼び出し、そのモデルのプロンプトテンプレートを呼び出す

インデックス:

トレーニングデータセットに含まれていない特定の外部データソース

StreamIt

Fri, 15 Mar 2024 00:00:00 +0000

StreamIt

AWS: Glue: ETL

Mon, 05 Feb 2024 00:00:00 +0000

Glue

AWS Glue の概要
ETL(抽出、変換、ロード) パイプラインを視覚的に作成/実行

AWS データサービス連携:

Athena: S3 上のデータに対して、クエリ（SQL）を利用してデータの分析を行うことができるサービス
EMR:(Elastic MapReduce): Hadoop, Spart の実行
Redshift Spectrum(スペクトル): ReadShift から S3 をクエリ

主要機能

データの検出と整理
- 複数のデータストアを統合して検索
- データを自動的に検出
- スキーマとアクセス許可を管理
- さまざまなデータソースに接続
分析用データの変換、準備、クリーニング
- データを視覚的に変換
- シンプルなジョブスケジューリングで複雑な ETL パイプラインを構築
- 転送中のストリーミングデータのクリーニングと変換
- 組み込みの機械学習によるデータの重複排除とクリーニング(FindMatch)
- 組み込みのジョブノートブック
- ETL コードの編集、デバッグ、テスト
- 機密データの定義、検出、修正
データパイプラインの構築とモニタリング
- 自動スケーリング(ワークロードに基づく)
- ジョブ自動化(イベントトリガー)
- ジョブの実行とモニタリング(Spark, Ray, CloudTail)
- ETL と統合アクティビティのワークフローを定義

コンポーネント

コンソール
Data Catalog
クローラおよび分類子
ETL オペレーション
ストリーミング ETL
ジョブシステム
ビジュアル ETL コンポーネント

ジョブ実行エンジン

Spark (AWS Glue ETL)

PySpark Overview

Ray (AWS Glue for Ray)

PyCaret

Mon, 25 Dec 2023 00:00:00 +0000

PyCaret: AutoML

Python プロファイリング

Sun, 24 Dec 2023 00:00:00 +0000

cProfile

Python プログラムが遅い原因を調べる方法

1
2


python -m cProfile -o /tmp/epm.prof manage.py reports build 7646
snakeviz /tmp/epm.prof

名前	意味
ncalls	呼び出し回数
tottime	関数の処理時間の合計 (呼び出した関数の処理時間は除外)
percall ( tottime の隣)	tottime を ncalls で割った値。一回の実行にかかる平均時間
cumtime	関数の処理時間の合計 (呼び出した関数の処理時間も含める)
percall (sumtime の隣)	cumtime を ncalls で割った値。一回の実行にかかる平均時間
filename:lineno(function)	ファイル名、行番号、関数名

Python with文

Thu, 09 Nov 2023 00:00:00 +0000

With

【Python】with 文の構造を理解する

utf8 -> cp932

Wed, 11 Oct 2023 00:00:00 +0000

UTF8 -> CP932

MySQL: 𠮷（つちよし）

Sun, 01 Oct 2023 00:00:00 +0000

MySQL: 𠮷（つちよし）

データベース/テーブル `utf8mb4`にすること

1

ALTER TABLE customers_customer CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

確認:

$ echo "show variables like 'character%';" | python manage.py dbshell

Variable_name Value
character_set_client utf8mb4
character_set_connection utf8mb4
character_set_database utf8mb4
character_set_filesystem binary
character_set_results utf8mb4
character_set_server utf8mb4
character_set_system utf8mb3
character_sets_dir /rdsdbbin/mysql-8.0.28.R4/share/charsets/

character_set_system utf8mb3 が問題

接続を `utf8mb4` にすること

django: OPTIONS/charset=utf8mb4

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


In [1]: from django.conf import settings

In [2]: settings.DATABASES
Out[2]:
{'default': {'ENGINE': 'django.db.backends.mysql',
 'HOST': 'prod-db-instance.xxxxxxxx.ap-northeast-1.rds.amazonaws.com',
 'NAME': 'coresys_masters',
 'USER': 'coresys_masters',
 'PASSWORD': 'va0Gaighoo3Paez8',
 'OPTIONS': {'charset': 'utf8mb4',
 'init_command': "SET sql_mode='STRICT_TRANS_TABLES'"},
 'ATOMIC_REQUESTS': False,
 'AUTOCOMMIT': True,
 'CONN_MAX_AGE': 0,
 'TIME_ZONE': None,
 'PORT': '',
 'TEST': {'CHARSET': None,
 'COLLATION': None,
 'MIGRATE': True,
 'MIRROR': None,
 'NAME': None}}}

pandas memo

Wed, 02 Aug 2023 00:00:00 +0000

pandas: Dataframe

pandas で特定の文字列を含む行を抽出（完全一致、部分一致）

複数条件:

&, |

否定:

~ (NOT)

型変換

Python: pandas でカラムの型を変換する

検索

選択肢: .isin(list)

1
2


result = df[df["code"].isin(["0", "1"])] # 0,1 のみ
result = df[~(df["code"].isin(["0", "1"]))] # 0, 1以外

ユニーク

unique:

1

items = df["code"].unique()

重複を除外(drop_duplicates):

1

result = df[["code", "name"]].drop_duplicates()

重複を抽出:

1
2
3
4


size = df.groupby(keys).size()
res = size[ size > 1 ]
if res.shape[0] > 0:
 print(res)

変換

dict 一覧:

ruff

Tue, 01 Aug 2023 00:00:00 +0000

ruff

1
2


poetry run ruff format .
poetry run ruff check . --fix

Pandas Sort

Mon, 31 Jul 2023 00:00:00 +0000

Pandas: ソート

poetry version requirements

Mon, 17 Jul 2023 00:00:00 +0000

Poetry : パッケージ依存定義 (Dependency specification)

バージョン要件(requirements)

要件	例	意味
Caret requirements	`^1.2.3`	`>=1.2.3 <2.0.0`
Tilde requirements	`~1.2.3`	`>=1.2.3 <1.3.0`
Wildcard requirements	`1.*`	`>=1.0.0 <2.0.0`
Inequality requirements	`< 2`	`< 2.0.0`
Exact requirements	`==1.2.3` もしくは `1.2.3`	`==1.2.3`
@ operator

依存(dependancies)

依存
git dependencies
path dependencies
url dependencies
extras
source dependencies
python
Multiple constraints dependencies
拡張

redis

Fri, 14 Jul 2023 00:00:00 +0000

Elasic Cache for Redis

バージョン

1
2
3
4
5


$ redis-cli --version
redis-cli 5.0.7

$ redis-server -v
Redis server v=5.0.7 sha=00000000:0 malloc=jemalloc-5.2.1 bits=64 build=66bd629f924ac924

接続:

1

REDIS_URL=redis://mycloud-stage-redis-nc.sigrvp.ng.0001.apne1.cache.amazonaws.com:6379/0

1
2
3


$ export $(cat .env|xargs)
$ redis-cli -u $REDIS_URL PING
PONG

Python

redis-py: https://github.com/redis/redis-py
django-redis: https://github.com/jazzband/django-redis
channels_redis: https://github.com/django/channels_redis

クラスターモードへの接続

Cluster Client

1
2
3
4
5
6
7
8
9


import logging
from redis.cluster import RedisCluster

ENDPOINT = "mycloud-stage-redis-test.sigrvp.clustercfg.apne1.cache.amazonaws.com"
logging.basicConfig(level=logging.INFO)
redis = RedisCluster(host=ENDPOINT, port="6379")

if redis.ping():
 logging.info("Connected to Redis")

django-redis:

Celery AWS ECS

Thu, 13 Jul 2023 00:00:00 +0000

Celery on ECS

Redis

Celery + AWS Redis で使ってみる

クラスターモード

Redis >= 3.2
ElastiCache for Redis のクラスターモードについて調べてみる

SQS

broker としてつかえるが、 backend としては使えない(SQS + RabbitMQ/Redis/SQLAlchemy を考える)
Celery + SQS on Django on Elastic Beanstalk
Deploying Django on AWS: Setting up Celery and SQS
Deploying Django Application on AWS with Terraform. Setting up Celery and SQS

ECS

Celery Logging

標準出力:

ltsv

Fri, 16 Jun 2023 00:00:00 +0000

`ltsv` 形式

pip install ltsv

To process LTSV files in Python, you can use the ltsv package available on PyPI ². Here is an example of how to use it:

1
2
3
4
5


import ltsv

with open('file.ltsv') as f:
 for record in ltsv.reader(f):
 print(record)

This code will read the LTSV file line by line and print each record as a dictionary ¹.

ndjson

Wed, 14 Jun 2023 00:00:00 +0000

ndjson

https://github.com/rhgrant10/ndjson
Snowflake: CREATE FILE FORMAT
【Python】Python ～ ndjson を扱う～
tablib は ndjson をサポートしていない
pandas は ndjson を読み込める

pandas MySQL

Wed, 07 Jun 2023 00:00:00 +0000

pandas: MySQL

sqlalchemy で mysqlclient を使うには、まず mysqlclient をインストールする必要があります。次に、SQLAlchemy のエンジン構成で mysqlclient を使用するように設定します。以下は、Qiita の記事 ¹ からの例です。

1
2
3


from sqlalchemy import create_engine

engine = create_engine('mysql+mysqldb://user:password@host/dbname', echo=True)

また、CData Python Connector for MySQL³ を使用することもできます。これは、SQLAlchemy ORM を使用して Python で MySQL データに連携するためのドライバです。

1
2


from sqlalchemy import create_engine
engine = create_engine("mysql+mysqlconnector://user:password@host/dbname")

どちらの方法でも、SQLAlchemy で MySQL に接続することができます。

ソース: Bing との会話 2023/6/7

(1) 【Python】SQLAlchemy で MySQL に接続する - Qiita. https://qiita.com/curry__30/items/432a21426c02a68e77e8.
(2) SQLAlchemy ORM を使って、Python で MySQL データに連携 …. https://www.cdata.com/jp/kb/tech/mysql-python-sqlalchemy.rst.
(3) 【Python】SQLAlchemy を試してみる - Qiita. https://qiita.com/ktamido/items/ebdbe5a85dbc3e6004ae.

django

.env に　 django の DATABASE_URL が定義されているとする

django session

Tue, 30 May 2023 00:00:00 +0000

Sessionのユーザーの取得

Djangoでセッションレコードがどのユーザーのものかを判定するには、以下のようにします。

1
2
3
4
5
6
7
8


from django.contrib.sessions.models import Session
from django.contrib.auth.models import User

for session in Session.objects.all():
 uid = session.get_decoded().get('_auth_user_id')
 if uid:
 user = User.objects.get(id=uid)
 print(user.username)

参考文献:

Django ドキュメント | セッションの使いかた

ソース: Bing との会話 2023/5/30

(1) セッションの使いかた | Django ドキュメント | Django. https://docs.djangoproject.com/ja//2.2/topics/http/sessions/.
(2) 【Django】ログイン判定機能の実装方法を実例付きで徹底解説. https://itc.tokyo/django/dynamic-links-by-user-info/.
(3) Djangoで現在ログインしているユーザーのユーザーIDを取得する方法. https://qastack.jp/programming/12615154/how-to-get-the-currently-logged-in-users-user-id-in-django.

SessionStoreをつかう

1
2
3
4
5
6
7


from django.contrib.sessions.backends.db import SessionStore

key = "3gsbhdfm4g2uyyieaaxl1omor2p5f1on"
store = SessionStore(session_key=key)

store["ssout_required"] = True
store.save()

DRF: Content Negotiation

Fri, 12 May 2023 00:00:00 +0000

DRF: Content Negotiation

DefaultContentNegotiation

content_negotiation_classをカスタマイズするには、以下のようにします。

1
2
3
4
5
6


from rest_framework.negotiation import DefaultContentNegotiation

class MyContentNegotiation(DefaultContentNegotiation):
 def select_renderer(self, request, renderers, format_suffix=None):
 # ここに処理を書きます。
 pass

上記の例では、DefaultContentNegotiationを継承しています。

select_renderer()メソッドには、レンダラーを選択するための処理を書きます。このメソッドは、リクエストオブジェクト、レンダラーのリスト、およびフォーマットサフィックスを引数として受け取ります。

ソース: Bing との会話 2023/5/12

(1) Content negotiation - Django REST framework. https://www.django-rest-framework.org/api-guide/content-negotiation/.
(2) Django REST Framework - Content negotiation - HTTPは …. https://runebook.dev/ja/docs/django_rest_framework/api-guide/content-negotiation/index.
(3) Django REST framework カスタマイズ方法 - チュートリアルの補足. https://qiita.com/okoppe8/items/c58bb3faaf26c9e2f27f.

ViewSetでの設定

ViewSetごとにcontent_negotiation_classを設定することができます。

pandas: カラム連結

Thu, 11 May 2023 00:00:00 +0000

pandas: カラム連結

pandasで数値カラム同士を文字列に変換するには、

df['新しい列名'] = df['数値カラム1名'].astype(str) + df['数値カラム2名'].astype(str)

と書くことができます。

例えば、以下のようになります。

1
2
3
4
5


import pandas as pd

df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df['C'] = df['A'].astype(str) + df['B'].astype(str)
print(df)

出力:

 A B C
0 1 3 13
1 2 4 24

以上のように、df['新しい列名'] = df['数値カラム1名'].astype(str) + df['数値カラム2名'].astype(str) を使って、2つの数値の列を文字列に変換してから連結して新しい列を追加することができます。

ソース: Bing との会話 2023/5/11

(1) python - dataframe内の数値から文字列に変換する方法 - スタック …. https://ja.stackoverflow.com/questions/74518/dataframe%e5%86%85%e3%81%ae%e6%95%b0%e5%80%a4%e3%81%8b%e3%82%89%e6%96%87%e5%ad%97%e5%88%97%e3%81%ab%e5%a4%89%e6%8f%9b%e3%81%99%e3%82%8b%e6%96%b9%e6%b3%95.
(2) 【Pandas】DataFrameから文字列と数値データのcolumnを分ける. https://mochablog.org/pandas-saparate-numerical-col/.

jupyter: Django

Fri, 05 May 2023 00:00:00 +0000

Jupyter: Django

準備

django_extensions , notebookを入れておく

settgins.py:

1

INSTALLED_APPS += ['django_extensions']

VSCode

VSCodeでJupyterのPythonランタイムを選んでから以下を実行する
環境変数で、DJANGO_ALLOW_ASYNC_UNSAFE=true をセットしておく(.envとか)

1
2
3
4
5
6


import sys, os, django

BASE_DIR = "path_ot_manage_py"
sys.path.insert(0, BASE_DIR)
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "app.settings")
django.setup()

リモートサーバー

autossh でポートフォワード

PCの 8.8.8.8 -> リモート(EC2とか)の 8.8.8.8 にフォワードする:

1

autossh -M 0 -F .secrets/ssh.ec2.conf server -N -L 8888:localhost:8888 -4

カーネル起動

1

DJANGO_ALLOW_ASYNC_UNSAFE=true python manage.py shell_plus --notebook

URLが表示されるので、ブラウザでアクセスする

Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async

Thu, 04 May 2023 00:00:00 +0000

Jupyter: `Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async`

このエラーは、asyncコンテキストから同期的なコードを呼び出そうとした場合に発生するエラーです。

async-unsafeなコードを呼び出す場合は、asyncコンテキストからではなく、自分自身の同期関数で書き、それをasgiref.sync.syncを使用して呼び出すように修正する必要があります¹。

¹: Django: SynchronousOnlyOperation: You cannot call this from an async context - use a thread or sync_to_async. - Stack Overflow

ソース: Bing との会話 2023/5/4

(1) Django: SynchronousOnlyOperation: You cannot call this …. https://stackoverflow.com/questions/61926359/django-synchronousonlyoperation-you-cannot-call-this-from-an-async-context-u.
(2) django.core.exceptions.SynchronousOnlyOperation after …. https://github.com/django/channels/issues/1464.
(3) python - Django channels Async Websocket throwing Error …. https://stackoverflow.com/questions/63892884/django-channels-async-websocket-throwing-error-while-trying-to-use-database-quer.
(4) Django channel occasionally gets error “cannot call this from …. https://stackoverflow.com/questions/69239657/django-channel-occasionally-gets-error-cannot-call-this-from-an-async-context.
(5) python - Getting SynchronousOnlyOperation error Even after …. https://stackoverflow.com/questions/63149616/getting-synchronousonlyoperation-error-even-after-using-sync-to-async-in-django.

DJANGO_ALLOW_ASYNC_UNSAFE 環境変数を使用することで、非同期コンテキストで SynchronousOnlyOperation エラーが発生した場合に警告を無効にすることができます¹。

factory_boy: SubFactory

Sun, 30 Apr 2023 00:00:00 +0000

factory_boy: SubFuctory で　ForeignKeyフィールドを初期化する

factory_boy はテストデータを簡単に作るためのライブラリです²。ForeignKey フィールドのインスタンスのデフォルトを定義するには、SubFactory を使う方法があります¹⁴。例えば、以下のように書けます。

1
2
3
4
5
6
7
8


class PhoneContactFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.PhoneContact

class CoopFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.Coop
 phone = factory.SubFactory(PhoneContactFactory)

この場合、CoopFactory を使って Coop インスタンスを作ると、PhoneContactFactory も使って PhoneContact インスタンスを作り、そのインスタンスを Coop の phone フィールドにセットします。

もしくは、SelfAttribute を使う方法もあります⁴。例えば、以下のように書けます。

1
2
3
4
5
6
7
8


class SubtitlesFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.Subtitles

class RecordingFactory(factory.django.DjangoModelFactory):
 class Meta:
 model = models.Recording
 subtitles = factory.SubFactory(SubtitlesFactory, language=factory.SelfAttribute('..language'))

この場合、RecordingFactory を使って Recording インスタンスを作るときに language パラメータを指定すると、その値が SubtitlesFactory の language パラメータにも渡されます。

DRF: UnorderedObjectListWarning: Pagination may yield inconsistent results with an unordered object_list

Sat, 29 Apr 2023 00:00:00 +0000

DRF: UnorderedObjectListWarning: Pagination may yield inconsistent results with an unordered object_list

ViewSetの queryset で order_by を明示的に指定すること

I see. Django REST framework also supports pagination for large result sets, but you need to specify a default pagination class and a page size in your settings.py file¹. Alternatively, you can set the pagination_class attribute for each viewset individually⁴. However, you still need to order your queryset by some field, otherwise you will get the same warning as before²³. You can use the order_by method on your queryset or the ordering attribute on your viewset¹. For example:

Django MPTT: values で tree_id が SELECT されてしまう

Fri, 28 Apr 2023 00:00:00 +0000

Django MPTT: values で tree_id が SELECT されてしまう

仕様である

django-mptt の TreeQuerySet で values コールすると SQL に tree_id が追加されているのは、django-mptt がツリー構造を管理するために必要なカラムだからです²。tree_id は、同じツリーに属するノードに同じ値を持ちます²。例えば、以下のようなモデルがあるとします。

1
2
3
4
5
6
7
8
9


from django.db import models
from mptt.models import MPTTModel, TreeForeignKey

class Category(MPTTModel):
 name = models.CharField(max_length=50, unique=True)
 parent = TreeForeignKey('self', on_delete=models.CASCADE, null=True, blank=True, related_name='children')

 class MPTTMeta:
 order_insertion_by = ['name']

このとき、以下のように values をコールすると、SQL に tree_id が追加されます²。

Django: Template: QuerySetの指定したindexのインスタンスの参照

Thu, 27 Apr 2023 00:00:00 +0000

Django: Template: QuerySet の指定した index のインスタンスの参照

配列ではないので、数値でインデクシングできない

{{ e.expenseitem_set.0 }} {# NG #}

１件目, 最後

{{ e.expenseitem_set.first.account_name }}
{{ e.expenseitem_set.last.account_name }}

テンプレートフィルター

1
2
3
4
5
6
7


from django import template

register = template.Library()

@register.filter
def index(queryset, i):
 return queryset[i]

1

{% load expenses %} {{ e.expenseitem_set|index:1 }}

QuerySet のインクシング

list のように -1 などの Python のインデクシングはできない (するには list(queryset) で list に変換する)

DRF: Userを所属グループで検索

Sun, 23 Apr 2023 00:00:00 +0000

django-filters: Userを所属グループで検索

Django REST Frameworkとdjango-filterを使って、Userが所属しているGroupを複数指定して検索することはできます。

以下のように、django-filter.FilterSetを継承したフィルタセットを定義し、filters.ModelMultipleChoiceFilterを使って、Userが所属しているGroupを複数指定することができます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


from django.contrib.auth.models import User, Group
import django_filters

class UserFilter(django_filters.FilterSet):
 groups = django_filters.ModelMultipleChoiceFilter(
 field_name='groups__name',
 to_field_name='name',
 queryset=Group.objects.all()
 )

 class Meta:
 model = User
 fields = ['username', 'groups']

上記の例では、Userモデルに対するフィルタセットを定義しています。groupsフィールドには、django_filters.ModelMultipleChoiceFilterを使って、Userが所属しているGroupを複数指定することができます。field_nameには、Userモデルのgroups__nameフィールドを指定し、to_field_nameには、Groupモデルのnameフィールドを指定しています。

Python: モジュールの実装パス

Sun, 23 Apr 2023 00:00:00 +0000

モジュール名からファイルを見つける

Pythonのモジュール名が与えられた時、そのモジュールの実装されているファイルのパスを調べるには、以下のようにします。

1
2
3
4
5
6
7


import importlib.util

def get_module_path(module_name):
 spec = importlib.util.find_spec(module_name)
 if spec is None:
 return None
 return spec.origin

上記のように、importlib.util.find_spec()関数を使って、モジュール名からspecオブジェクトを取得し、spec.origin属性を参照することで、モジュールが実装されているファイルのパスを取得することができます。

ソース: Bing との会話 2023/4/23

(1) 6. モジュール — Python 3.11.3 ドキュメント. https://docs.python.org/ja/3/tutorial/modules.html.
(2) Pythonで独自モジュールのディレクトリパスを通す方法 …. https://lightgauge.net/language/python/add-module-path.
(3) 【Python】パッケージ・モジュールの検索と import - Qiita. https://qiita.com/shinsa82/items/5004a3ea63594f20190d.

Djangoのアプリケーションの場合

1
2
3
4
5
6
7
8


from django.apps import apps

class Def:
 @property
 def path(self):
 app_label = self.__module__.split(".")[0]
 conf = apps.get_app_config(app_label)
 return conf.path

Django: User ログインシグナル

Fri, 21 Apr 2023 00:00:00 +0000

Django: User ログイン

ログインシグナル

Djangoでログインした時のイベントをシグナルで受け取る方法については、Djangoの公式ドキュメントに詳しく記載されています¹。以下のように、django.contrib.auth.signals.user_logged_inシグナルを使用して、ログイン時に実行する関数を定義し、receiver()デコレーターでシグナルを受信する関数を登録します。

1
2
3
4
5
6
7


from django.contrib.auth.signals import user_logged_in
from django.dispatch import receiver

@receiver(user_logged_in)
def user_logged_in_callback(sender, request, user, **kwargs):
 # ログイン時に実行する処理
 pass

このように、シグナルを使用することで、ログイン時に任意の処理を実行することができます。

ソース: Bing との会話 2023/4/21

(1) 「超簡単」Djangoでログインページの実装 - Qiita. https://qiita.com/Yuji-Sakata0110/items/3722fa651e02eafc4d01.
(2) 【Django】ログイン・ログアウト機能の実装 - Qiita. https://qiita.com/onishi_820/items/c69ebb6a4e34da0f34d4.
(3) Django パスワード試行回数ロックとランダムかつ有効期限付き …. https://qiita.com/startours777/items/5b1fc415e047a2044129.

半角カナ文字

Tue, 18 Apr 2023 00:00:00 +0000

半角カナ文字

Pythonで半角カナ文字かどうかを判定するには、正規表現を使う方法があります。⁴⁶

例えば、次のような関数を定義して、文字列が半角カナだけで構成されているかどうかをチェックできます。

1
2
3
4


import re

def is_hankaku_kana(s):
 return re.match(r"^[ｦ-ﾟ]+$", s) is not None

この関数は、文字列sが半角カナの範囲（ｦからﾟ）にマッチするかどうかを判定します。⁶

他の言語（JavaScriptやC#など）でも同様の方法が使えます。¹²

ソース: Bing との会話 2023/4/18

(1) python 正規表現を使った文字列チェック【ひらがな・カタカナ …. https://qiita.com/mocha_xx/items/00c5a968f7069d8e092c アクセス日時 2023/4/18.
(2) Pythonで正規表現を使って数値/英字チェックを実装する (コピペ …. https://www.sukerou.com/2018/12/python.html アクセス日時 2023/4/18.
(3) [JavaScript] 全角カナ、半角カナの判定を行う方法 - YoheiM .NET. https://www.yoheim.net/blog.php?q=20191105 アクセス日時 2023/4/18.
(4) [C#共通関数] 半角カナチェックFunction - C#ちょこっとリファレンス. https://csharp.programmer-reference.com/function-check-han-kana/ アクセス日時 2023/4/18.
(5) 文字がひらがなか、カタカナか、漢字か、英数字か調べる - .NET …. https://dobon.net/vb/dotnet/string/ishiragana.html アクセス日時 2023/4/18.
(6) python - 半角数字・文字のチェック方法 - スタック・オーバーフロー. https://ja.stackoverflow.com/questions/90953/%E5%8D%8A%E8%A7%92%E6%95%B0%E5%AD%97-%E6%96%87%E5%AD%97%E3%81%AE%E3%83%81%E3%82%A7%E3%83%83%E3%82%AF%E6%96%B9%E6%B3%95 アクセス日時 2023/4/18.

半角カナ文字を判定するPYPIパッケージはありますか？

半角カナ文字を判定する専用のPYPIパッケージは見つかりませんでしたが、標準ライブラリのunicodedataモジュールを使うことができます。¹

Celery: タスクの結果をMySQLで確認する

Wed, 12 Apr 2023 00:00:00 +0000

Celery: タスクの結果をMySQLで確認する

PYPI:

django-celery-results = "^2.5.0"

settings:

1
2
3


CELERY_RESULT_BACKEND = "django-db"
CELERY_RESULT_EXTENDED = True
INSTALLED_APPS += ["django_celery_results"]

Database Result Backend

It seems that you are using Django and Celery to run asynchronous tasks and store the results in a database. One possible reason why the result data is always null is that you are not returning anything from your task function². For example, if your task function looks like this:

Celery: eager モード (同期モード)

Tue, 11 Apr 2023 00:00:00 +0000

Celery: Eagerモード

settings:

1
2


CELERY_TASK_ALWAYS_EAGER = True
CELERY_TASK_STORE_EAGER_RESULT = True

unittest

Testing with Celery

Eagerモードの確認

Hello, this is Bing. Celery is a distributed task queue for Python. Eager mode is a setting that makes Celery run tasks synchronously in the same process as the caller, instead of sending them to a worker¹². This can be useful for testing, but it may not reflect the actual behavior of the tasks in a worker¹². To check if a running Celery task is in eager mode, you can use the is_eager attribute of the task request object³. For example:

Python: ジョブキューイング

Fri, 07 Apr 2023 00:00:00 +0000

タスクキューシステム

Full Stack Python

Celery

https://docs.celeryq.dev/en/stable/

PYPI:

celery
redis
django-celery-results
django-redis

Redis:

Using Redis
poetry add "celery[redis]"

djang-celery-results:

django-celery-results - Using the Django ORM/Cache as a result backend
poetry add django-celery-results

Periodic Task:

Periodic Tasks

記事:

MySQL:`Database returned an invalid datetime value. Are time zone definitions for your database installed?`

macOS:

PYPI

Thu, 06 Apr 2023 00:00:00 +0000

cryptgraphy/cffi

M1 Mac に cryptgraphy ( cffi ) をインストールする

Python: ThreadPoolExecutor: マルチスレッド

Thu, 30 Mar 2023 00:00:00 +0000

Python: ThreadPoolExecutor: マルチスレッド

1
2
3
4
5
6
7
8
9


 def bind_all(self):
 def _bind(instance):
 instance.bind_to_debt()

 executor = ThreadPoolExecutor(max_workers=4)
 for i in self.all():
 executor.submit(_bind, i)

 executor.shutdown() # 全てのスレッドが終わるのを待つ

Django:OpenAPI(Swagger) Scheme を出力して Pydatic クラスを生成できるようにする

Fri, 24 Mar 2023 00:00:00 +0000

DRF: コマンドでShemaを生成する

1

pip install datamodel-code-generator

ProfileSerializer(ModelSerializer)から　Pydanticモデルを生成する

1

python manage.py generateschema --format openapi-json | jq ".components.schemas.Profile" | datamodel-codegen --output /tmp/model.py

Snowfale : MySQL 移行データ比較

Fri, 17 Mar 2023 00:00:00 +0000

MySQL -> Snowflake データ移行後の比較

対象フィールド型(Python)	集計	MySQL	Snowflake	補足
Decimal	単純合計	SUM(field)	SUM(field)
float	単純合計	SUM(field)	SUM(field)
int	単純合計	SUM(field)	SUM(field)
str	MD5の合計	SUM(CONV(SUBSTRING(MD5(field)), 1, 8), 16, 10)	SUM(TO_NUMBER(SUBSTR(MD5(field), 1, 8), ‘XXXXXXXX’))	MySQLの整数が小さいので先頭8バイトだけ
datetime	Unixエポック合計	SUM(UNIX_TIMESTAMP(field))	SUM(ZEROIFNULL(DATE_PART(EPOCH_SECOND, field)) - 32400)	Snowflakeはローカルタイムゾーン
date	Unixエポック合計	SUM(UNIX_TIMESTAMP(field))	SUM(ZEROIFNULL(DATE_PART(EPOCH_SECOND, field)) - 32400)	Snowflakeはローカルタイムゾーン
time	秒数の合計	SUM(TIME_TO_SEC(field))	SUM(TIMEDIFF(SECOND, ‘00:00:00’::TIME, field::TIME))

cairocffi

Fri, 27 Aug 2021 00:00:00 +0000

結局

x86_64 でhomebrew 作り直し
anyenv, python を入れ直し
https://qiita.com/ktgw0316/items/b5358a471ae9ee84f771
arch -arch x86_64 zsh で x86_64 環境で作業する

% uname -m
x86_64

問題

 % pip install cairocffi lCollecting cairocffi Downloading cairocffi-1.2.0.tar.gz (70 kB) ( |████████████████████████████████| 70 kB 5.4 MB/s
ERROR: Command errored out with exit status 1:
command: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/bin/python3.9 -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-instal
l-uxwwpx3n/cairocffi_949ddafebb174433b898b1d60614bf77/setup.py'"'"'; __file__='"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_949ddafebb174433b898b1d60614bf77/setup.py'"'"';f
= getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compi
le(code, __file__, '"'"'exec'"'"'))' egg_info --egg-base /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-pip-egg-info-952byczr
cwd: /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_949ddafebb174433b898b1d60614bf77/
Complete output (31 lines):
WARNING: The wheel package is not available.
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_949ddafebb174433b898b1d60614bf77/setup.py", line 10, in <module>
setup(
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/__init__.py", line 153, in setup
return distutils.core.setup(**attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/core.py", line 108, in setup
_setup_distribution = dist = klass(attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 434, in __init__
_Distribution.__init__(self, {
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/dist.py", line 292, in __init__
self.finalize_options()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 743, in finalize_options
ep(self)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 750, in _finalize_setup_keywords
ep.load()(self, ep.name, value)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 219, in cffi_modules
add_cffi_module(dist, cffi_module)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 49, in add_cffi_module
execfile(build_file_name, mod_vars)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 25, in execfile
exec(code, glob, glob)
File "cairocffi/ffi_build.py", line 26, in <module>
ffi = FFI()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/api.py", line 48, in __init__
import _cffi_backend as backend
ImportError: dlopen(/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so, 2): Symbol not found: _ffi_prep_closure 9 Referenced from: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
Expected in: flat namespace
in /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
----------------------------------------
WARNING: Discarding https://files.pythonhosted.org/packages/84/ca/0bffed5116d21251469df200448667e90acaa5131edea869b44a3fbc73d0/cairocffi-1.2.0.tar.gz#sha256=9a979b500c64c8179fec286f337e8fe644eca2f2cd05860ce0b62d25f22ea14
0 (from https://pypi.org/simple/cairocffi/) (requires-python:>=3.6). Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.

 Downloading cairocffi-1.1.0.tar.gz (68 kB)
|████████████████████████████████| 68 kB 41.2 MB/s
ERROR: Command errored out with exit status 1:
command: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/bin/python3.9 -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-instal
l-uxwwpx3n/cairocffi_0871e9b26c6442869a897d8d8df7ca3f/setup.py'"'"'; __file__='"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_0871e9b26c6442869a897d8d8df7ca3f/setup.py'"'"';f
= getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compi
le(code, __file__, '"'"'exec'"'"'))' egg_info --egg-base /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-pip-egg-info-2h4amr27
cwd: /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_0871e9b26c6442869a897d8d8df7ca3f/
Complete output (31 lines):
WARNING: The wheel package is not available.
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_0871e9b26c6442869a897d8d8df7ca3f/setup.py", line 10, in <module>
setup(
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/__init__.py", line 153, in setup
return distutils.core.setup(**attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/core.py", line 108, in setup
_setup_distribution = dist = klass(attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 434, in __init__
_Distribution.__init__(self, {
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/dist.py", line 292, in __init__
self.finalize_options()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 743, in finalize_options
ep(self)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 750, in _finalize_setup_keywords
ep.load()(self, ep.name, value)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 219, in cffi_modules
add_cffi_module(dist, cffi_module)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 49, in add_cffi_module
execfile(build_file_name, mod_vars)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 25, in execfile
exec(code, glob, glob)
File "cairocffi/ffi_build.py", line 26, in <module>
ffi = FFI()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/api.py", line 48, in __init__
import _cffi_backend as backend
ImportError: dlopen(/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so, 2): Symbol not found: _ffi_prep_closure
Referenced from: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
Expected in: flat namespace
in /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
----------------------------------------
WARNING: Discarding https://files.pythonhosted.org/packages/f7/99/b3a2c6393563ccbe081ffcceb359ec27a6227792c5169604c1bd8128031a/cairocffi-1.1.0.tar.gz#sha256=f1c0c5878f74ac9ccb5d48b2601fcc75390c881ce476e79f4cfedd288b1b05d
b (from https://pypi.org/simple/cairocffi/) (requires-python:>= 3.5). Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.

 Downloading cairocffi-1.0.2.tar.gz (68 kB) [24/677]
|████████████████████████████████| 68 kB 46.3 MB/s
ERROR: Command errored out with exit status 1:
command: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/bin/python3.9 -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-instal
l-uxwwpx3n/cairocffi_6df35727083e4413bfaa3e41ad38bc09/setup.py'"'"'; __file__='"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_6df35727083e4413bfaa3e41ad38bc09/setup.py'"'"';f
= getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compi
le(code, __file__, '"'"'exec'"'"'))' egg_info --egg-base /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-pip-egg-info-wdq78cuo
cwd: /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_6df35727083e4413bfaa3e41ad38bc09/
Complete output (31 lines):
WARNING: The wheel package is not available.
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_6df35727083e4413bfaa3e41ad38bc09/setup.py", line 10, in <module>
setup(
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/__init__.py", line 153, in setup
return distutils.core.setup(**attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/core.py", line 108, in setup
_setup_distribution = dist = klass(attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 434, in __init__
_Distribution.__init__(self, {
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/dist.py", line 292, in __init__
self.finalize_options()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 743, in finalize_options
ep(self)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 750, in _finalize_setup_keywords
ep.load()(self, ep.name, value)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 219, in cffi_modules
add_cffi_module(dist, cffi_module)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 49, in add_cffi_module
execfile(build_file_name, mod_vars)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 25, in execfile
exec(code, glob, glob)
File "cairocffi/ffi_build.py", line 26, in <module>
ffi = FFI()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/api.py", line 48, in __init__
import _cffi_backend as backend
ImportError: dlopen(/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so, 2): Symbol not found: _ffi_prep_closure
Referenced from: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
Expected in: flat namespace
in /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
----------------------------------------
WARNING: Discarding https://files.pythonhosted.org/packages/0f/0f/7e21b5ddd31b610e46a879c0d21e222dd0fef428c1fc86bbd2bd57fed8a7/cairocffi-1.0.2.tar.gz#sha256=01ac51ae12c4324ca5809ce270f9dd1b67f5166fe63bd3e497e9ea3ca91946f
f (from https://pypi.org/simple/cairocffi/) (requires-python:>= 3.5). Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.

 Downloading cairocffi-1.0.1.tar.gz (68 kB)
|████████████████████████████████| 68 kB 48.1 MB/s
ERROR: Command errored out with exit status 1:
command: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/bin/python3.9 -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-instal
l-uxwwpx3n/cairocffi_60641da3bfa74b2abbdcfd8f77811245/setup.py'"'"'; __file__='"'"'/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_60641da3bfa74b2abbdcfd8f77811245/setup.py'"'"';f
= getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compi
le(code, __file__, '"'"'exec'"'"'))' egg_info --egg-base /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-pip-egg-info-d6t_qnin
cwd: /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_60641da3bfa74b2abbdcfd8f77811245/
Complete output (31 lines):
WARNING: The wheel package is not available.
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/pip-install-uxwwpx3n/cairocffi_60641da3bfa74b2abbdcfd8f77811245/setup.py", line 10, in <module>
setup(
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/__init__.py", line 153, in setup
return distutils.core.setup(**attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/core.py", line 108, in setup
_setup_distribution = dist = klass(attrs)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 434, in __init__
_Distribution.__init__(self, {
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/lib/python3.9/distutils/dist.py", line 292, in __init__
self.finalize_options()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 743, in finalize_options
ep(self)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/setuptools/dist.py", line 750, in _finalize_setup_keywords
ep.load()(self, ep.name, value)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 219, in cffi_modules
add_cffi_module(dist, cffi_module)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 49, in add_cffi_module
execfile(build_file_name, mod_vars)
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/setuptools_ext.py", line 25, in execfile
exec(code, glob, glob)
File "cairocffi/ffi_build.py", line 26, in <module>
ffi = FFI()
File "/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/cffi/api.py", line 48, in __init__
import _cffi_backend as backend
ImportError: dlopen(/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so, 2): Symbol not found: _ffi_prep_closure
Referenced from: /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
Expected in: flat namespace
in /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages/_cffi_backend.cpython-39-darwin.so
----------------------------------------
WARNING: Discarding https://files.pythonhosted.org/packages/3e/f1/0d1dad825f6ec75d3d79d5673e7b836e7a23bf57fde0028fb8bf252d4259/cairocffi-1.0.1.tar.gz#sha256=9ca49d9bb0a52bd6a8263de137b4818e0889f3cd8d933165fb122669924ae3b
9 (from https://pypi.org/simple/cairocffi/) (requires-python:>= 3.5). Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.
Downloading cairocffi-1.0.0-py3-none-any.whl (88 kB)
|████████████████████████████████| 88 kB 52.9 MB/s
Requirement already satisfied: cffi>=1.1.0 in /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages (from cairocffi) (1.14.5)
Requirement already satisfied: pycparser in /Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/envs/coresys/lib/python3.9/site-packages (from cffi>=1.1.0->cairocffi) (2.20)
Installing collected packages: cairocffi
Successfully installed cairocffi-1.0.0

pyenv install 3.9.6

Fri, 27 Aug 2021 00:00:00 +0000

% pyenv install 3.9.6
python-build: use openssl@1.1 from homebrew
python-build: use readline from homebrew
Downloading Python-3.9.6.tar.xz...
-> https://www.python.org/ftp/python/3.9.6/Python-3.9.6.tar.xz
Installing Python-3.9.6...
python-build: use readline from homebrew
python-build: use zlib from xcode sdk
WARNING: The Python readline extension was not compiled. Missing the GNU readline lib?
ERROR: The Python ssl extension was not compiled. Missing the OpenSSL lib?
Please consult to the Wiki page to fix the problem.
https://github.com/pyenv/pyenv/wiki/Common-build-problems
BUILD FAILED (OS X 11.5.2 using python-build 2.0.5-2-gb2eb2d28)
Inspect or clean up the working tree at /var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/python-build.20210827141959.69396
Results logged to /var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/python-build.20210827141959.69396.log
Last 10 log lines:
./python.exe -E -m ensurepip \
$ensurepip --root=/ ; \
fi
Looking in links: /var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/tmp24q45onf
Processing /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/tmp24q45onf/setuptools-56.0.0-py3-none-any.whl
Processing /private/var/folders/m0/27vm0kbd5ys1_rs1l54zmwq00000gq/T/tmp24q45onf/pip-21.1.3-py3-none-any.whl
Installing collected packages: setuptools, pip
WARNING: The scripts pip3 and pip3.9 are installed in '/Users/hdknr/.anyenv/envs/pyenv/versions/3.9.6/bin' which is not on PATH.
Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
Successfully installed pip-21.1.3 setuptools-56.0.0

Django: asgiref

Wed, 02 Jun 2021 00:00:00 +0000

asgiref

https://github.com/django/asgiref

ASGI:

ASGI is a standard for Python asynchronous web apps and servers to communicate with each other,
and positioned as an asynchronous successor to WSGI.
You can read more at https://asgi.readthedocs.io/en/latest/

This package includes ASGI base libraries, such as:

Sync-to-async and async-to-sync function wrappers, asgiref.sync
Server base classes, asgiref.server
A WSGI-to-ASGI adapter, in asgiref.wsgi

Function wrappers

These allow you to wrap or decorate async or sync functions to call them from the other style (so you can call async functions from a synchronous thread, or vice-versa).

Python: singledispatch

Mon, 24 May 2021 00:00:00 +0000

singledispatch

PEP 443 – Single-dispatch generic functions
single-dispatch generic functions : form of generic programming

記事

Generic Function in Python with Singledispatch

Python:Exception

Fri, 14 May 2021 00:00:00 +0000

Python: Exception

Python Exceptions: An Introduction

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


try:
 # 処理
 linux_interaction()
except AssertionError as error:
 # 例外
 print(error)
else:
 ## 例外がない場合
 try:
 with open('file.log') as file:
 read_data = file.read()
 except FileNotFoundError as fnf_error:
 print(fnf_error)
finally:
 # 最後に必ず実行
 print('Cleaning up, irrespective of any exceptions.')

Django: Request.encodingについて

Sat, 24 Apr 2021 00:00:00 +0000

HttpRequest.encoding

django.http.request.HttpRequest

cgi.parse_header で、Content-Typeヘッダーから content_type と content_params(dict) を取得。
conent_paramsに charset が入っている可能性がある
codecs.lookup を使って、charset の存在を確認。
存在したらHttpRequest.encodingプロパティに設定する
実態は, HttpRequest._encoding

DRF: CSVを送信するするときに WindowsだとBOMをつけないとExcelで文字化けする問題

Sat, 24 Apr 2021 00:00:00 +0000

BOM(byte order mark)

ファイルの先頭3バイトが ‘EF BB BF’ の UTF-8

rest_framework_csv

rendererで、コンテキストの encoding を判定している
encodingに utf-8-sig を指定する

viewset: get_renderer_context をオーバーライドする

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


 def get_renderer_context(self):
 """(override)"""
 context = super().get_renderer_context()
 # ここで、以下の条件の時に utf-8-sigにセット
 # 1) text/csv を求めている
 # 2) utf-8 でエンコードが指定されている(デフォルト)

 if self.request.META.get('HTTP_ACCEPT', '').startswith('text/csv'):
 context['encoding'] = 'utf-8-sig'

 return context

記事

OSC

Tue, 17 Nov 2020 00:00:00 +0000

CentOS

Tue, 04 Aug 2015 00:00:00 +0000

$ sudo yum install graphviz-python graphviz-devel
$ pip install pygraphviz

Geolocation

Sat, 01 Aug 2015 00:00:00 +0000

Google Maps API

Python VCS

Thu, 05 Mar 2015 00:00:00 +0000

RhodeCode Requirements

Waitress WSGI server
[WebOb provides wrappers around the WSGI request environment, and an object to help create WSGI responses.](WebOb provides wrappers around the WSGI request environment, and an object to help create WSGI responses.)
FormEncode validates and converts nested structures.

サバクラ両方で動く JavaScript の大規模開発を行うために

Sun, 25 Dec 2011 00:00:00 +0000

サバクラ両方で動く JavaScript の大規模開発を行うために

原文：Scaling Isomorphic Javascript Code (This is just for study, please contact me at tily05 atmark gmail.com if any problem.)

考えてみれば Model-View-Controller とか MVC ってよく聞くよね。実際どんなものか知ってる？抽象的に言うなら「オブジェクト情報の保持されるグラフィック・システム (つまり、ラスターではないグラフィック。ゲームとか) 上に構築された、表示系を中心としたアプリケーションにおいて、主要な機能どうしの関わりをうまく分離すること」とでも言おうか。もう少し深く考えを押し進めてみれば、これは当然、他のさまざまなアプリケーションにもあてはまる言葉 (bucket term ?) だ。

過去に多くの開発コミュニティが MVC による解決案を提供し、それによってよくあるユースケースにうまく対処し、地位を築くことができた。例をあげるなら、Ruby や Python コミュニティは Rails や Django を作り、MVC アーキテクチャを実現した。

こうした手法は Java, Ruby, Python といった他の言語では容易に受け入れらてきたが、Node.js について十分ではない。理由は単純で、それはただ、JavaScript が今や isomorphic な言語であるからだ。isomorphic というのは「ソースコードのどの行 (もちろん注目すべき例外もあるが) をとってみても、クライアント・サーバーの両方で実行できる」ということを意味している。表面的には無害に見えるが、この特徴のせいで現状の MVC ベースのパターンでは解決できない課題がたくさんある。

この記事では、まず現存するパターンをいくつか取り上げ、いかにそのようなパターンに関する実装や心配事が言語や環境に関わらず普遍的なものとなり得たか、そのようなパターンがどうして真に “isomorphic” な Javascript のソースコードにはあまり適していないのかを述べる。そして結論として、新しいパターン “Resource-View-Presenter” について述べる。

デザインパターンは、アプリケーションの開発にとってなくてはならないオマンマのような存在である。アプリケーションやその環境についてのさまざまの心配事をカプセル化し、うまくまとめてくれる。ブラウザとサーバの間でこんなにもさまざまの心配事があるからね：

View を作るとして、(たとえばサーバ側で) 一時的にしか存在しないのか、(たとえばブラウザ側で) 永続するべきものなのか？
View を作るとして、複数のユースケースやシナリオの間で再利用可能なものか？
View を作るとして、アプリケーション特有のタグやマークアップが使われているか？
ビジネスロジックをどこに記述すべきか？ (Model なのか Controller なのか)
アプリケーションの持つ状態はどのように保持されアクセスされるのか？

現存するパターンを取り上げ、上記の問題がどのように解決されているのか見てみよう：