LangChain

LangChain https://www.langchain.com/ https://qiita.com/search?q=langchain https://zenn.dev/search?q=langchain https://zenn.dev/topics/langchain LangChain を Python で使う そろそろ知っておかないとヤバい? 話題の LangChain を 30 分だけ触って理解しよう! Amazon Bedrock を LangChain 経由で使って会話履歴も保存してみた 生成 AI アプリ開発フレームワーク LangChain 入門 独自データの活用: ファインチューニング (LLM + 独自データ -(再レーニング)-> 独自 LLM) プロンプトエンジニアリング(独自データをコンテキストとして与えて LLM から生成) ベクトル検索(ベクトル化された独自データから最適解をコンテキストとして与えて LLM から生成) LangChain とは 大規模言語モデル(LLM)を使用したアプリケーション開発のためのオープンソース・オーケストレーション・フレームワーク チャットボットや仮想エージェントなどの LLM 駆動型アプリケーションの構築プロセスを簡素化 LangChain の仕組みとは 抽象化によって LLM アプリケーションのプログラミングを効率化する開発環境 1 つ以上の複雑なプロセスの構成ステップをすべてカプセル化した名前付きコンポーネントとみなすことでコードを簡素化 言語モデルのインポート: ほぼすべての LLM を使用できます プロンプトテンプレート: プロンプト: LLM に与えられる指示 プロンプトエンジニアリング:LLM が入力を解釈し、最も役立つ方法で出力を構成するために必要なコンテキストを効果的に提供するプロンプトを作成する作業 チェーン: LLM を他のコンポーネントと組み合わせ、一連の関数を実行することでアプリケーションを作成 LLMChain: 基本チェーン: 単にモデルを呼び出し、そのモデルのプロンプトテンプレートを呼び出す インデックス: トレーニングデータセットに含まれていない特定の外部データソース ...

2024年3月15日 · 2 分

StreamIt

StreamIt Streamlit 入門+応用 ~ データ分析 Web アプリを爆速で開発する Streamlit の使い方を解説!Python で簡単に Web アプリを作ってみよう! streamlit を使ったお手軽 Web アプリ開発

2024年3月15日 · 1 分

AWS: Glue: ETL

Glue AWS Glue の概要 ETL(抽出、変換、ロード) パイプラインを視覚的に作成/実行 AWS データサービス連携: Athena: S3 上のデータに対して、クエリ(SQL)を利用してデータの分析を行うことができるサービス EMR:(Elastic MapReduce): Hadoop, Spart の実行 Redshift Spectrum(スペクトル): ReadShift から S3 をクエリ 主要機能 データの検出と整理 複数のデータストアを統合して検索 データを自動的に検出 スキーマとアクセス許可を管理 さまざまなデータソースに接続 分析用データの変換、準備、クリーニング データを視覚的に変換 シンプルなジョブスケジューリングで複雑な ETL パイプラインを構築 転送中のストリーミングデータのクリーニングと変換 組み込みの機械学習によるデータの重複排除とクリーニング(FindMatch) 組み込みのジョブノートブック ETL コードの編集、デバッグ、テスト 機密データの定義、検出、修正 データパイプラインの構築とモニタリング 自動スケーリング(ワークロードに基づく) ジョブ自動化(イベントトリガー) ジョブの実行とモニタリング(Spark, Ray, CloudTail) ETL と統合アクティビティのワークフローを定義 コンポーネント コンソール Data Catalog クローラおよび分類子 ETL オペレーション ストリーミング ETL ジョブシステム ビジュアル ETL コンポーネント ジョブ実行エンジン Spark (AWS Glue ETL) PySpark Overview Ray (AWS Glue for Ray) Ray Ray Data: Scalable Datasets for ML AWS Glue での Ray ジョブの使用 AWS Glue Studio と AWS Glue でのノートブックの使用 AWS Glue for Ray のインタラクティブセッション (プレビュー) の開始方法 【プレビュー】AWS Glue で Ray が利用できるようになりました!#reinvent AWS Glue on Ray ではじめるデータ分析とそのパフォーマンス

2024年2月5日 · 1 分

PyCaret

PyCaret: AutoML https://pycaret.org/ PyCaret 入門 Python で機械学習を自動化しよう!【AutoML】 【AutoML】PyCaret で超ラクに機械学習!!

2023年12月25日 · 1 分

Python プロファイリング

cProfile Python プログラムが遅い原因を調べる方法 1 2 python -m cProfile -o /tmp/epm.prof manage.py reports build 7646 snakeviz /tmp/epm.prof 名前 意味 ncalls 呼び出し回数 tottime 関数の処理時間の合計 (呼び出した関数の処理時間は除外) percall ( tottime の隣) tottime を ncalls で割った値。一回の実行にかかる平均時間 cumtime 関数の処理時間の合計 (呼び出した関数の処理時間も含める) percall (sumtime の隣) cumtime を ncalls で割った値。一回の実行にかかる平均時間 filename:lineno(function) ファイル名、行番号、関数名

2023年12月24日 · 1 分

Python with文

With 【Python】with 文の構造を理解する

2023年11月9日 · 1 分

utf8 -> cp932

UTF8 -> CP932 【pandas】csv 出力時に cp932 を指定すると UnicodeError が起こる場合の対処法 [Python3] Shift_JIS と UTF-8 と ASCII を行き来する コーデック: エラーハンドラ UTF-8 → cp932(Shift_JIS)変換表

2023年10月11日 · 1 分

MySQL: 𠮷(つちよし)

MySQL: 𠮷(つちよし) データベース/テーブル utf8mb4にすること 1 ALTER TABLE customers_customer CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; 確認: $ echo "show variables like 'character%';" | python manage.py dbshell Variable_name Value character_set_client utf8mb4 character_set_connection utf8mb4 character_set_database utf8mb4 character_set_filesystem binary character_set_results utf8mb4 character_set_server utf8mb4 character_set_system utf8mb3 character_sets_dir /rdsdbbin/mysql-8.0.28.R4/share/charsets/ character_set_system utf8mb3 が問題 接続 を utf8mb4 にすること django: OPTIONS/charset=utf8mb4 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 In [1]: from django.conf import settings In [2]: settings.DATABASES Out[2]: {'default': {'ENGINE': 'django.db.backends.mysql', 'HOST': 'prod-db-instance.xxxxxxxx.ap-northeast-1.rds.amazonaws.com', 'NAME': 'coresys_masters', 'USER': 'coresys_masters', 'PASSWORD': 'va0Gaighoo3Paez8', 'OPTIONS': {'charset': 'utf8mb4', 'init_command': "SET sql_mode='STRICT_TRANS_TABLES'"}, 'ATOMIC_REQUESTS': False, 'AUTOCOMMIT': True, 'CONN_MAX_AGE': 0, 'TIME_ZONE': None, 'PORT': '', 'TEST': {'CHARSET': None, 'COLLATION': None, 'MIGRATE': True, 'MIRROR': None, 'NAME': None}}}

2023年10月1日 · 1 分

pandas memo

pandas: Dataframe pandas で特定の文字列を含む行を抽出(完全一致、部分一致) 複数条件: &, | 否定: ~ (NOT) 型変換 Python: pandas でカラムの型を変換する 検索 選択肢: .isin(list) 1 2 result = df[df["code"].isin(["0", "1"])] # 0,1 のみ result = df[~(df["code"].isin(["0", "1"]))] # 0, 1以外 ユニーク unique: 1 items = df["code"].unique() 重複を除外(drop_duplicates): 1 result = df[["code", "name"]].drop_duplicates() 重複を抽出: 1 2 3 4 size = df.groupby(keys).size() res = size[ size > 1 ] if res.shape[0] > 0: print(res) 変換 dict 一覧: ...

2023年8月2日 · 2 分

ruff

ruff 新しい静的コード解析ツール「Ruff」をご紹介 Ruff の紹介 Python の Ruff (linter) でコード整形もできるようになりました Python の Linter Formatter は、もう Ruff 一択。最短 5 分でプロジェクトに導入 1 2 poetry run ruff format . poetry run ruff check . --fix

2023年8月1日 · 1 分