AWS: Kendra https://aws.amazon.com/jp/kendra/ https://github.com/aws-samples/aws-genai-llm-chatbot Amazon Kendra を触ってみた Amazon Kendra で簡単に検索システムを作ってみよう ! Video: Amazon Kendra による文書からの日本語セマンティック検索 データソース

k8s サービスメッシュ サービスメッシュとは サービスメッシュについて調査してみた件

RAG(検索拡張生成) 大規模な言語モデルの出力を最適化するプロセスです。 応答を生成する前に、トレーニングデータソース以外の信頼できる知識ベースを参照します。 大規模言語モデル (LLM) は、膨大な量のデータに基づいてトレーニングされ、何十億ものパラメーターを使用して、質問への回答、言語の翻訳、文章の完成などのタスクのためのオリジナルの出力を生成します。 LLM の既に強力な機能を、モデルを再トレーニングすることなく、特定の分野や組織の内部ナレッジベースに拡張します。 LLM のアウトプットを改善するための費用対効果の高いアプローチであるため、さまざまな状況で関連性、正確性、有用性を維持できます。 外部ソースから取得した情報を用いて、生成 AI モデルの精度と信頼性を向上させるテクノロジです。 基盤モデル(FM) 基盤モデルとは何ですか? 例: BERT GPT(OpenAI) Titan(Amazon) Jurassic(AI21) Claude(Anthropic) Cohere Stable Diffusion BLOOM Hugging Face Bedlock Amazon Bedrock 使ってみた Amazon SageMaker は機械学習の包括的なライフサイクル（構築、訓練、展開）をサポートする Bedrock は Fine-tuning は出来るものの基本的には Amazon Titan や AI スタートアップの基盤モデル（FM）を API から利用することに重きを置いています。 自分たちで最初から構築したモデルでなければビジネスとして成り立たないシーンでは、Amazon Bedrock を選択してはいけません。 非常に厳しいセキュリティ要件がある場合にも避けた方が良い

エンベディング Embedding（エンベディング）の概念を理解してみた 単語や文といった自然言語の情報を、その単語や文の意味を表現するベクトル空間に配置することです。 単語の埋め込み(Word embedding) 埋め込み (数学) 数学的構造間の構造を保つような単射のこと あるルールのもとで、ユニークな入力に対してユニークがアウトプットがえられる word2vec https://ja.wikipedia.org/wiki/Word2vec

OpenShift CI/CD を使ってみよう サービスメッシュを使ってみよう Jaeger https://www.jaegertracing.io/ マイクロサービスの各サービス間の通信を専用のソフトウェアに仲介させることで、マイクロサービス特有の課題を解決する CI/CD Jenkins(従来型) -> Tekton/ArgoCD(クラウドネイティブ) Tekton https://tekton.dev/ ArgoCD 第 7 章 OpenShift Container Platform での ArgoCD の使用

AWS: Bedrock: GenAI Amazon Bedrock とは 【速報】AWS の生成 AI サービスである Amazon Bedrock がリリースされたので朝イチで触ってみた Amazon Bedrock “Claude 2” と、ChatGPT “GPT-4” を比較してみる AWS による生成 AI の新サービス「Amazon Bedrock」の可能性を考察する Amazon Bedrock でモデルごとに画像を生成してみた Bedrock のはじめかた Amazon Bedrock の導入効果をレビューでご紹介（KDDI アジャイル開発センター株式会社-みのるん） Build generative AI chatbots using prompt engineering with Amazon Redshift and Amazon Bedrock GPT 連携アプリ開発時の必須知識、RAG をゼロから解説する。概要＆Python コード例 Amazon Bedrock の Knowledge base で簡単に RAG を構築 Github: Query structured data with natural language using Amazon Bedrock https://github.com/aws-samples/amazon-bedrock-workshop https://github.com/aws-samples/promptus API: Boto3: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock.html モデル Titan FMs Claude 2 Jurassic-2 (Python SDK) Stable Diffusion Claude 2 生成 AI の最新モデル「Claude2」とは？使い方や ChatGPT との違いについても解説 クライアント SDK GPT-4 と Claude 2 を比較してみました 【Claude 2.1】ChatGPT 超え AI の日本語での使い方や API の使用方法、GPT-4 との比較を解説 Anthropic、「Claude 2.1」をリリース–15 万ワードに対応、幻覚も半減 Jurassi-2 日本語対応していない AWS の"推しの AI" 「Jurassic-2」を使ってみた！！Bedrock ローンチ前に使えるんやん！

Glue AWS Glue の概要 ETL(抽出、変換、ロード) パイプラインを視覚的に作成/実行 AWS データサービス連携: Athena: S3 上のデータに対して、クエリ（SQL）を利用してデータの分析を行うことができるサービス EMR:(Elastic MapReduce): Hadoop, Spart の実行 Redshift Spectrum(スペクトル): ReadShift から S3 をクエリ 主要機能 データの検出と整理 複数のデータストアを統合して検索 データを自動的に検出 スキーマとアクセス許可を管理 さまざまなデータソースに接続 分析用データの変換、準備、クリーニング データを視覚的に変換 シンプルなジョブスケジューリングで複雑な ETL パイプラインを構築 転送中のストリーミングデータのクリーニングと変換 組み込みの機械学習によるデータの重複排除とクリーニング(FindMatch) 組み込みのジョブノートブック ETL コードの編集、デバッグ、テスト 機密データの定義、検出、修正 データパイプラインの構築とモニタリング 自動スケーリング(ワークロードに基づく) ジョブ自動化(イベントトリガー) ジョブの実行とモニタリング(Spark, Ray, CloudTail) ETL と統合アクティビティのワークフローを定義 コンポーネント コンソール Data Catalog クローラおよび分類子 ETL オペレーション ストリーミング ETL ジョブシステム ビジュアル ETL コンポーネント ジョブ実行エンジン Spark (AWS Glue ETL) PySpark Overview Ray (AWS Glue for Ray) Ray Ray Data: Scalable Datasets for ML AWS Glue での Ray ジョブの使用 AWS Glue Studio と AWS Glue でのノートブックの使用 AWS Glue for Ray のインタラクティブセッション (プレビュー) の開始方法 【プレビュー】AWS Glue で Ray が利用できるようになりました！#reinvent AWS Glue on Ray ではじめるデータ分析とそのパフォーマンス

生成 AI（ジェネレーティブ AI/GenAI） Softbank データマネジメントと生成 AI Snowflake の製品管理担当幹部が考える「生成 AI×DWH」の新たな可能性 AI 活用で目指すべきは“脱 DWH” データレイクと DWH のデータを統合管理する真の“データ活用”時代の「レイクハウス」 生成 AI の開発力強化に向けたプロジェクト「GENIAC」を開始します （Generative AI Accelerator Challenge） Microsoft がデータ分析基盤「Fabric」発表、DWH・AI・ストリーム分析を統合 プログラミングコード生成 AI GitHub Copilot Amazon CodeWhisperer BigQuery 総合職の新卒 1 年目が、自社のデータ構造に合わせた SQL 生成 AI を作ってみた BigQuery からデータを抽出して生成 AI に分析してもらうまでが SQL で完結する手順 Amazon Redshift/Amazon Q generative SQL 自然言語から SQL のクエリ生成ができる Amazon Q generative SQL を触ってみた（プレビュー） [速報] Amazon Redshift クエリエディタが Amazon Q generative SQL の新機能が発表されました（プレビュー） #AWSreInvent Amazon Bedrock LLM: Claude 2 アンソロピックのクロード 2 Vs GPT-4（徹底比較） OpenAI の GPT シリーズと Bedrock の Claude をコスト比較してみた PingCAP/TiDB ChatGPT を搭載した革新的な SQL ジェネレータ「Chat2Query」とは ChatGPT × MySQL Shell：SQL を AI に考えてもらうプラグイン Azure Azure Open AI Service で SQL を生成するプロンプト例 日本語プロンプト指示で SQL 文を生成できるデータベース開発支援ツール - システムインテグレータ Fabric Microsoft Fabric とは Microsoft Fabric のデータ ウェアハウスとは Microsoft Fabric の組み込みの AI モデルで自然言語に対する解析・分析をしてみる Snowflake Gen AI と LLM をデータに導入しよう AI 機能を使って、SQL なしで Snowflake のデータを分析する方法 Snowpark Container Services:Snowflake で洗練された生成 AI とフルスタック アプリを安全に展開して実行する Snowflake Cortex で AI を数秒で使用 Snowflake Cortex ML ベースの関数 Snowflake Cortex について調べてたら凄いワクワクしてきた！ Morph https://www.morphdb.io/ データのための、Notion や Figma のようなツールをつくりたい Figma や Miro のように直感的なデータ分析体験を！Canvas 機能のご紹介

AWS: SES: スパム In a move to safeguard user inboxes, Gmail [1] and Yahoo Mail [2] announced a new set of requirements for senders. Effective February 2024, the new requirements affect email senders who distribute over 5,000 bulk messages per day or have >0.3% of messages reported as spam. Failure to comply with new requirements may result in Gmail and Yahoo rejecting message delivery to their customers. Your account has at least one email address identity sending email without a matching verified domain identity. This may result in reduced ability to send to some email recipients. ...

Windows クラウド利用 「Azure は AWS より安い」は本当か Windows Server と SQL Server 向けでは、AWS は Azure と比べて 5 倍のコストがかかります