LLM

ペルソナ 生成 AI との融合で素早く深くペルソナを理解する！AI インタビューのご紹介

JWT in AWS Lambda API Gateway- https://gist.github.com/bendog/44f21a921f3e4282c631a96051718619 Controlling access to HTTP APIs with JWT authorizers JWT オーソライザーを使用した HTTP API へのアクセスの制御 API Gateway の JWT オーソライザーで Google ID トークンを検証してみた API Gateway JWT Authorizer メモ API Gateway + Lambda で REST API 開発を体験しよう [10 分で完成編] 【生成 AI】AWS Lambda(Python) と LangChain(LCEL) を使ってストリーミング出力したい https://github.com/aws-samples/bedrock-claude-chat slack と AWS で LLM Chatbot を Serverless で運用する Lambda コンテナ Lambda のコンテナイメージを使用する Lambda コンテナイメージをローカルでテストする コンテナイメージで Python Lambda 関数をデプロイする コンテナイメージを使用して AWS Lambda 関数を作成する

Snowflake Cortex [新機能]Snowflake で Mistral AI・LLaMA 2・Gemma を用いた LLM が関数一つで簡単に使用可能に！Snowflake Cortex LLM Functions を試してみた 2024 年 3 月にリリースされた Snowflake の新機能・変更点のまとめ #SnowflakeDB [COF-C02]Snowpark ML の理解を深めるのに Snowpro Core を受験してみた Snowpark ML で作成した XGBoost モデルの特徴量重要度をテーブルとして保存する パブリックプレビュー版の Snowpark ML Model Registry で、Snowflake での MLOps のポイントを確認してみた

LangChain https://www.langchain.com/ https://qiita.com/search?q=langchain https://zenn.dev/search?q=langchain https://zenn.dev/topics/langchain LangChain を Python で使う そろそろ知っておかないとヤバい？ 話題の LangChain を 30 分だけ触って理解しよう！ Amazon Bedrock を LangChain 経由で使って会話履歴も保存してみた 生成 AI アプリ開発フレームワーク LangChain 入門 独自データの活用: ファインチューニング (LLM + 独自データ -(再レーニング)-> 独自 LLM) プロンプトエンジニアリング(独自データをコンテキストとして与えて LLM から生成) ベクトル検索(ベクトル化された独自データから最適解をコンテキストとして与えて LLM から生成) LangChain とは 大規模言語モデル（LLM）を使用したアプリケーション開発のためのオープンソース・オーケストレーション・フレームワーク チャットボットや仮想エージェントなどの LLM 駆動型アプリケーションの構築プロセスを簡素化 LangChain の仕組みとは 抽象化によって LLM アプリケーションのプログラミングを効率化する開発環境 1 つ以上の複雑なプロセスの構成ステップをすべてカプセル化した名前付きコンポーネントとみなすことでコードを簡素化 言語モデルのインポート: ほぼすべての LLM を使用できます プロンプトテンプレート: プロンプト: LLM に与えられる指示 プロンプトエンジニアリング:LLM が入力を解釈し、最も役立つ方法で出力を構成するために必要なコンテキストを効果的に提供するプロンプトを作成する作業 チェーン: LLM を他のコンポーネントと組み合わせ、一連の関数を実行することでアプリケーションを作成 LLMChain: 基本チェーン: 単にモデルを呼び出し、そのモデルのプロンプトテンプレートを呼び出す インデックス: トレーニングデータセットに含まれていない特定の外部データソース ...

AWS: Kendra https://aws.amazon.com/jp/kendra/ https://github.com/aws-samples/aws-genai-llm-chatbot Amazon Kendra を触ってみた Amazon Kendra で簡単に検索システムを作ってみよう ! Video: Amazon Kendra による文書からの日本語セマンティック検索 データソース

RAG(検索拡張生成) 大規模な言語モデルの出力を最適化するプロセスです。 応答を生成する前に、トレーニングデータソース以外の信頼できる知識ベースを参照します。 大規模言語モデル (LLM) は、膨大な量のデータに基づいてトレーニングされ、何十億ものパラメーターを使用して、質問への回答、言語の翻訳、文章の完成などのタスクのためのオリジナルの出力を生成します。 LLM の既に強力な機能を、モデルを再トレーニングすることなく、特定の分野や組織の内部ナレッジベースに拡張します。 LLM のアウトプットを改善するための費用対効果の高いアプローチであるため、さまざまな状況で関連性、正確性、有用性を維持できます。 外部ソースから取得した情報を用いて、生成 AI モデルの精度と信頼性を向上させるテクノロジです。 基盤モデル(FM) 基盤モデルとは何ですか? 例: BERT GPT(OpenAI) Titan(Amazon) Jurassic(AI21) Claude(Anthropic) Cohere Stable Diffusion BLOOM Hugging Face Bedlock Amazon Bedrock 使ってみた Amazon SageMaker は機械学習の包括的なライフサイクル（構築、訓練、展開）をサポートする Bedrock は Fine-tuning は出来るものの基本的には Amazon Titan や AI スタートアップの基盤モデル（FM）を API から利用することに重きを置いています。 自分たちで最初から構築したモデルでなければビジネスとして成り立たないシーンでは、Amazon Bedrock を選択してはいけません。 非常に厳しいセキュリティ要件がある場合にも避けた方が良い