AWS: EventBrdige 【AWS】 費用節約のため EC2 を夜間停止する 2023 年 4 月版【備忘録】 【コスト削減】AWS ECS(Fargate) の夜間休日タスク停止 AWS Amazon EventBridge スケジューラで Amazon Aurora クラスターの稼働時間を管理する 【AWS コスト削減】RDS の自動停止 EventBridge Scheduler と Event Bridge Rule の違いを CloudFormation から学ぶ Terraform と EventBridge Scheduler を活用した EC2 インスタンスの時限起動によるコスト削減
k8s サービスメッシュ サービスメッシュとは サービスメッシュについて調査してみた件
OpenShift CI/CD を使ってみよう サービスメッシュを使ってみよう Jaeger https://www.jaegertracing.io/ マイクロサービスの各サービス間の通信を専用のソフトウェアに仲介させることで、マイクロサービス特有の課題を解決する CI/CD Jenkins(従来型) -> Tekton/ArgoCD(クラウドネイティブ) Tekton https://tekton.dev/ ArgoCD 第 7 章 OpenShift Container Platform での ArgoCD の使用
Glue AWS Glue の概要 ETL(抽出、変換、ロード) パイプラインを視覚的に作成/実行 AWS データサービス連携: Athena: S3 上のデータに対して、クエリ（SQL）を利用してデータの分析を行うことができるサービス EMR:(Elastic MapReduce): Hadoop, Spart の実行 Redshift Spectrum(スペクトル): ReadShift から S3 をクエリ 主要機能 データの検出と整理 複数のデータストアを統合して検索 データを自動的に検出 スキーマとアクセス許可を管理 さまざまなデータソースに接続 分析用データの変換、準備、クリーニング データを視覚的に変換 シンプルなジョブスケジューリングで複雑な ETL パイプラインを構築 転送中のストリーミングデータのクリーニングと変換 組み込みの機械学習によるデータの重複排除とクリーニング(FindMatch) 組み込みのジョブノートブック ETL コードの編集、デバッグ、テスト 機密データの定義、検出、修正 データパイプラインの構築とモニタリング 自動スケーリング(ワークロードに基づく) ジョブ自動化(イベントトリガー) ジョブの実行とモニタリング(Spark, Ray, CloudTail) ETL と統合アクティビティのワークフローを定義 コンポーネント コンソール Data Catalog クローラおよび分類子 ETL オペレーション ストリーミング ETL ジョブシステム ビジュアル ETL コンポーネント ジョブ実行エンジン Spark (AWS Glue ETL) PySpark Overview Ray (AWS Glue for Ray) Ray Ray Data: Scalable Datasets for ML AWS Glue での Ray ジョブの使用 AWS Glue Studio と AWS Glue でのノートブックの使用 AWS Glue for Ray のインタラクティブセッション (プレビュー) の開始方法 【プレビュー】AWS Glue で Ray が利用できるようになりました！#reinvent AWS Glue on Ray ではじめるデータ分析とそのパフォーマンス
AWS: SES: スパム In a move to safeguard user inboxes, Gmail [1] and Yahoo Mail [2] announced a new set of requirements for senders. Effective February 2024, the new requirements affect email senders who distribute over 5,000 bulk messages per day or have >0.3% of messages reported as spam. Failure to comply with new requirements may result in Gmail and Yahoo rejecting message delivery to their customers. Your account has at least one email address identity sending email without a matching verified domain identity. This may result in reduced ability to send to some email recipients. ...
Windows クラウド利用 「Azure は AWS より安い」は本当か Windows Server と SQL Server 向けでは、AWS は Azure と比べて 5 倍のコストがかかります
EFS バックアップ AWS Backup https://github.com/hdknr/awsform/blob/main/terraform/modules/backups/main.tf AWS DataSync AWS DataSync を使って S3 から EFS へデータを転送する！
MySQL: CDC(Change Data Capture) AWS Database Migration Service による Change Data Capture: 前編 AWS Database Migration Service による Change Data Capture: 後編 AWS DatabaseMigrationService での DB 移行構築ハンズオン RDS MySQL AWS DMS のソースとして AWS が管理する MySQL 互換データベースの使用 バイナリログ(binlog_format == ROW) binlog_row_image == Full binlog_checksum == NONE DMS AWS Database Migration Service DMS で AWS RDS へ継続的に移行してみた DMS Endpoint Connection Test Failed with Secret Manager Manage your AWS DMS endpoint credentials with AWS Secrets Manager How to connect to AWS Secrets Manager service within a Virtual Private Cloud AWS Database Migration Service (AWS DMS) の CDC レプリケーションを使ってみた サーバーレス: ...
EC2 自動再起動 EC2 インスタンスのステータスチェックが 1/2 の場合でも AutoRecovery したい！ AWSSupport-ExecuteEC2Rescue 到達不可能なインスタンスでの EC2Rescue ツールの実行
AWS: ECS: スケジュールタスク CloudTail FailedInvocations が記録されて ECS タスクが起動しないときの対処方法