AWS: EventBrdige 【AWS】 費用節約のため EC2 を夜間停止する 2023 年 4 月版【備忘録】 【コスト削減】AWS ECS(Fargate) の夜間休日タスク停止 AWS Amazon EventBridge スケジューラで Amazon Aurora クラスターの稼働時間を管理する 【AWS コスト削減】RDS の自動停止 EventBridge Scheduler と Event Bridge Rule の違いを CloudFormation から学ぶ Terraform と EventBridge Scheduler を活用した EC2 インスタンスの時限起動によるコスト削減
AWS: Kendra https://aws.amazon.com/jp/kendra/ https://github.com/aws-samples/aws-genai-llm-chatbot Amazon Kendra を触ってみた Amazon Kendra で簡単に検索システムを作ってみよう ! Video: Amazon Kendra による文書からの日本語セマンティック検索 データソース
AWS: Bedrock: GenAI Amazon Bedrock とは 【速報】AWS の生成 AI サービスである Amazon Bedrock がリリースされたので朝イチで触ってみた Amazon Bedrock “Claude 2” と、ChatGPT “GPT-4” を比較してみる AWS による生成 AI の新サービス「Amazon Bedrock」の可能性を考察する Amazon Bedrock でモデルごとに画像を生成してみた Bedrock のはじめかた Amazon Bedrock の導入効果をレビューでご紹介（KDDI アジャイル開発センター株式会社-みのるん） Build generative AI chatbots using prompt engineering with Amazon Redshift and Amazon Bedrock GPT 連携アプリ開発時の必須知識、RAG をゼロから解説する。概要＆Python コード例 Amazon Bedrock の Knowledge base で簡単に RAG を構築 Github: Query structured data with natural language using Amazon Bedrock https://github.com/aws-samples/amazon-bedrock-workshop https://github.com/aws-samples/promptus API: Boto3: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock.html モデル Titan FMs Claude 2 Jurassic-2 (Python SDK) Stable Diffusion Claude 2 生成 AI の最新モデル「Claude2」とは？使い方や ChatGPT との違いについても解説 クライアント SDK GPT-4 と Claude 2 を比較してみました 【Claude 2.1】ChatGPT 超え AI の日本語での使い方や API の使用方法、GPT-4 との比較を解説 Anthropic、「Claude 2.1」をリリース–15 万ワードに対応、幻覚も半減 Jurassi-2 日本語対応していない AWS の"推しの AI" 「Jurassic-2」を使ってみた！！Bedrock ローンチ前に使えるんやん！
Glue AWS Glue の概要 ETL(抽出、変換、ロード) パイプラインを視覚的に作成/実行 AWS データサービス連携: Athena: S3 上のデータに対して、クエリ（SQL）を利用してデータの分析を行うことができるサービス EMR:(Elastic MapReduce): Hadoop, Spart の実行 Redshift Spectrum(スペクトル): ReadShift から S3 をクエリ 主要機能 データの検出と整理 複数のデータストアを統合して検索 データを自動的に検出 スキーマとアクセス許可を管理 さまざまなデータソースに接続 分析用データの変換、準備、クリーニング データを視覚的に変換 シンプルなジョブスケジューリングで複雑な ETL パイプラインを構築 転送中のストリーミングデータのクリーニングと変換 組み込みの機械学習によるデータの重複排除とクリーニング(FindMatch) 組み込みのジョブノートブック ETL コードの編集、デバッグ、テスト 機密データの定義、検出、修正 データパイプラインの構築とモニタリング 自動スケーリング(ワークロードに基づく) ジョブ自動化(イベントトリガー) ジョブの実行とモニタリング(Spark, Ray, CloudTail) ETL と統合アクティビティのワークフローを定義 コンポーネント コンソール Data Catalog クローラおよび分類子 ETL オペレーション ストリーミング ETL ジョブシステム ビジュアル ETL コンポーネント ジョブ実行エンジン Spark (AWS Glue ETL) PySpark Overview Ray (AWS Glue for Ray) Ray Ray Data: Scalable Datasets for ML AWS Glue での Ray ジョブの使用 AWS Glue Studio と AWS Glue でのノートブックの使用 AWS Glue for Ray のインタラクティブセッション (プレビュー) の開始方法 【プレビュー】AWS Glue で Ray が利用できるようになりました！#reinvent AWS Glue on Ray ではじめるデータ分析とそのパフォーマンス
AWS: SES: スパム In a move to safeguard user inboxes, Gmail [1] and Yahoo Mail [2] announced a new set of requirements for senders. Effective February 2024, the new requirements affect email senders who distribute over 5,000 bulk messages per day or have >0.3% of messages reported as spam. Failure to comply with new requirements may result in Gmail and Yahoo rejecting message delivery to their customers. Your account has at least one email address identity sending email without a matching verified domain identity. This may result in reduced ability to send to some email recipients. ...
Windows クラウド利用 「Azure は AWS より安い」は本当か Windows Server と SQL Server 向けでは、AWS は Azure と比べて 5 倍のコストがかかります
ECS: aws-cli curl, unzip は入っていること 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 ARG BASE_IMAGE=myimage-cicd-appbase ARG TAG=latest FROM ${BASE_IMAGE}:${TAG} as server ARG USERNAME=ubuntu ARG GROUPNAME=ubuntu ARG PASSWORD=ubuntu ARG UID=1000 ARG GID=1000 ENV APP_BASE=/usr/src/app \ LIB_BASE=/usr/src/lib \ POETRY_VERSION=1.0.10 \ PATH="/root/.poetry/bin:$PATH" RUN mkdir -p /var/run/gunicorn && mkdir -p /storage RUN apt-get update && apt-get install -y sudo RUN groupadd -g ${GID} ${GROUPNAME} && \ useradd -m -s /bin/bash -u ${UID} -g ${GID} -G sudo ${USERNAME} --home-dir ${APP_BASE} && \ echo ${USERNAME}:${PASSWORD} | chpasswd && \ echo "${USERNAME} ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers # aws-cli RUN curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" RUN unzip awscliv2.zip RUN sudo ./aws/install # Application COPY . ${APP_BASE} WORKDIR ${APP_BASE} RUN pip install pip poetry urllib3==1.26.15 -U && \ poetry config virtualenvs.create false && \ poetry install && pip install urllib3==1.26.15 pyOpenSSL -U RUN chown -R ${USERNAME}:${GROUPNAME} ${APP_BASE} RUN chmod 777 /run/gunicorn USER ${USERNAME} CMD ["/usr/src/app/docker/codebuild/entry_web.sh", "/usr/src/app"]
EFS バックアップ AWS Backup https://github.com/hdknr/awsform/blob/main/terraform/modules/backups/main.tf AWS DataSync AWS DataSync を使って S3 から EFS へデータを転送する！
MySQL: CDC(Change Data Capture) AWS Database Migration Service による Change Data Capture: 前編 AWS Database Migration Service による Change Data Capture: 後編 AWS DatabaseMigrationService での DB 移行構築ハンズオン RDS MySQL AWS DMS のソースとして AWS が管理する MySQL 互換データベースの使用 バイナリログ(binlog_format == ROW) binlog_row_image == Full binlog_checksum == NONE DMS AWS Database Migration Service DMS で AWS RDS へ継続的に移行してみた DMS Endpoint Connection Test Failed with Secret Manager Manage your AWS DMS endpoint credentials with AWS Secrets Manager How to connect to AWS Secrets Manager service within a Virtual Private Cloud AWS Database Migration Service (AWS DMS) の CDC レプリケーションを使ってみた サーバーレス: ...
EBSByteBalance% AWS: EBS 最適化 RDS インスタンスクラスを使用している場合は、CloudWatch のグラフを使用して IOPS またはスループットのスロットリングがないかを確認します。 バーストキャパシティを備えたインスタンスクラスの場合は、CloudWatch のグラフで EBSIOBalance% および EBSByteBalance% のメトリクスを表示します。 EBSIOBalance% または EBSByteBalance% の常に低い値は、インスタンスレベルで IOPS またはスループットのボトルネックが発生していることを示唆しています。 資料 Amazon RDS インスタンスの IOPS のボトルネックによって引き起こされた Amazon EBS ボリュームのレイテンシーをトラブルシューティングするにはどうすればよいですか?