Python

JWT in AWS Lambda API Gateway- https://gist.github.com/bendog/44f21a921f3e4282c631a96051718619 Controlling access to HTTP APIs with JWT authorizers JWT オーソライザーを使用した HTTP API へのアクセスの制御 API Gateway の JWT オーソライザーで Google ID トークンを検証してみた API Gateway JWT Authorizer メモ API Gateway + Lambda で REST API 開発を体験しよう [10 分で完成編] 【生成 AI】AWS Lambda(Python) と LangChain(LCEL) を使ってストリーミング出力したい https://github.com/aws-samples/bedrock-claude-chat slack と AWS で LLM Chatbot を Serverless で運用する Lambda コンテナ Lambda のコンテナイメージを使用する Lambda コンテナイメージをローカルでテストする コンテナイメージで Python Lambda 関数をデプロイする コンテナイメージを使用して AWS Lambda 関数を作成する

Ruff https://docs.astral.sh/ruff/rules/ 新しい静的コード解析ツール「Ruff」をご紹介

Snowflake: Snowpark Snowpark とは何か？ Snowpark for Python ができること、できないこと Snowflake の新機能 “Snowpark” Deep Dive！仕組みを覗いてみた！ Apache Spark 今さら聞けない Python - Spark のご紹介

LangChain https://www.langchain.com/ https://qiita.com/search?q=langchain https://zenn.dev/search?q=langchain https://zenn.dev/topics/langchain LangChain を Python で使う そろそろ知っておかないとヤバい？ 話題の LangChain を 30 分だけ触って理解しよう！ Amazon Bedrock を LangChain 経由で使って会話履歴も保存してみた 生成 AI アプリ開発フレームワーク LangChain 入門 独自データの活用: ファインチューニング (LLM + 独自データ -(再レーニング)-> 独自 LLM) プロンプトエンジニアリング(独自データをコンテキストとして与えて LLM から生成) ベクトル検索(ベクトル化された独自データから最適解をコンテキストとして与えて LLM から生成) LangChain とは 大規模言語モデル（LLM）を使用したアプリケーション開発のためのオープンソース・オーケストレーション・フレームワーク チャットボットや仮想エージェントなどの LLM 駆動型アプリケーションの構築プロセスを簡素化 LangChain の仕組みとは 抽象化によって LLM アプリケーションのプログラミングを効率化する開発環境 1 つ以上の複雑なプロセスの構成ステップをすべてカプセル化した名前付きコンポーネントとみなすことでコードを簡素化 言語モデルのインポート: ほぼすべての LLM を使用できます プロンプトテンプレート: プロンプト: LLM に与えられる指示 プロンプトエンジニアリング:LLM が入力を解釈し、最も役立つ方法で出力を構成するために必要なコンテキストを効果的に提供するプロンプトを作成する作業 チェーン: LLM を他のコンポーネントと組み合わせ、一連の関数を実行することでアプリケーションを作成 LLMChain: 基本チェーン: 単にモデルを呼び出し、そのモデルのプロンプトテンプレートを呼び出す インデックス: トレーニングデータセットに含まれていない特定の外部データソース ...

StreamIt Streamlit 入門＋応用 ～ データ分析 Web アプリを爆速で開発する Streamlit の使い方を解説！Python で簡単に Web アプリを作ってみよう！ streamlit を使ったお手軽 Web アプリ開発

Glue AWS Glue の概要 ETL(抽出、変換、ロード) パイプラインを視覚的に作成/実行 AWS データサービス連携: Athena: S3 上のデータに対して、クエリ（SQL）を利用してデータの分析を行うことができるサービス EMR:(Elastic MapReduce): Hadoop, Spart の実行 Redshift Spectrum(スペクトル): ReadShift から S3 をクエリ 主要機能 データの検出と整理 複数のデータストアを統合して検索 データを自動的に検出 スキーマとアクセス許可を管理 さまざまなデータソースに接続 分析用データの変換、準備、クリーニング データを視覚的に変換 シンプルなジョブスケジューリングで複雑な ETL パイプラインを構築 転送中のストリーミングデータのクリーニングと変換 組み込みの機械学習によるデータの重複排除とクリーニング(FindMatch) 組み込みのジョブノートブック ETL コードの編集、デバッグ、テスト 機密データの定義、検出、修正 データパイプラインの構築とモニタリング 自動スケーリング(ワークロードに基づく) ジョブ自動化(イベントトリガー) ジョブの実行とモニタリング(Spark, Ray, CloudTail) ETL と統合アクティビティのワークフローを定義 コンポーネント コンソール Data Catalog クローラおよび分類子 ETL オペレーション ストリーミング ETL ジョブシステム ビジュアル ETL コンポーネント ジョブ実行エンジン Spark (AWS Glue ETL) PySpark Overview Ray (AWS Glue for Ray) Ray Ray Data: Scalable Datasets for ML AWS Glue での Ray ジョブの使用 AWS Glue Studio と AWS Glue でのノートブックの使用 AWS Glue for Ray のインタラクティブセッション (プレビュー) の開始方法 【プレビュー】AWS Glue で Ray が利用できるようになりました！#reinvent AWS Glue on Ray ではじめるデータ分析とそのパフォーマンス

PyCaret: AutoML https://pycaret.org/ PyCaret 入門 Python で機械学習を自動化しよう！【AutoML】 【AutoML】PyCaret で超ラクに機械学習！！

cProfile Python プログラムが遅い原因を調べる方法 1 2 python -m cProfile -o /tmp/epm.prof manage.py reports build 7646 snakeviz /tmp/epm.prof 名前 意味 ncalls 呼び出し回数 tottime 関数の処理時間の合計 (呼び出した関数の処理時間は除外) percall ( tottime の隣) tottime を ncalls で割った値。一回の実行にかかる平均時間 cumtime 関数の処理時間の合計 (呼び出した関数の処理時間も含める) percall (sumtime の隣) cumtime を ncalls で割った値。一回の実行にかかる平均時間 filename:lineno(function) ファイル名、行番号、関数名

With 【Python】with 文の構造を理解する

UTF8 -> CP932 【pandas】csv 出力時に cp932 を指定すると UnicodeError が起こる場合の対処法 [Python3] Shift_JIS と UTF-8 と ASCII を行き来する コーデック: エラーハンドラ UTF-8 → cp932(Shift_JIS)変換表