OpenSearch Service の採用検討と、サイジング検討をすることになってしまった人のための指針情報です(1/n)

文章の校正や表記ゆれのチェックを行うことができるオープンソースツール textlint を使ってみた話です。日本語文書、技術文書に特化したルール（プリセット）もあり、より読みやすく誤解の少ない文章の組み立てに有用なツールです。

こんにちは！ カスタマーサクセス本部 CS4課 櫻庭です。 今回は、Bedrockナレッジベースの構造化データストアについて紹介させて頂きます。 はじめに 従来のBedrock ナレッジベース（ベクトルデータストア）について 従来のBedrock ナレッジベースでは、OpenSearch Serverless等のベクトルデータストアと連携したRAG（検索拡張生成）が実現できます。ユーザーが自然言語で質問すると、システムが自動的に必要情報をS3等に配置した社内文書から検索し（実際にはS3に都度アクセスしている訳ではありませんが）、その結果をもとに自然言語で回答を提供する、という流れとなります。 …

こんにちは😸 カスタマーサクセス部の山本です。 AWS Secrets Managerから認証情報を取得してデータベースに接続することにより、プログラム側でのDB認証情報のハードコーディングを排除することができます。dblinkの場合はどうなるのか、気になったのでやってみました。 概要 特徴 構成 処理の流れ セットアップ手順 1. IAMロールの設定 2. AWS Secrets Managerの設定 3. Lambda関数のデプロイ Lambda関数の入出力例: 4. PostgreSQL関数の作成 使用方法 基本的な使用例 エラーケースと対処法 制限事項 参考情報 余談 概要 本記事では…

(前編はこちら) こんにちは。荒井です。 前回の記事では、Amazon S3 Tables 上に Apache Iceberg テーブルを作成し、Athena からクエリできるところ並びに Glue データカタログには登録されていないところまで確認しました。 この記事では、AWS Glue ETLジョブから Amazon S3 Tables 上の Apache Iceberg テーブルにアクセスしてみるところまでやってみようと思います。 やってみよう 1. IAMロール作成 2. Apache Iceberg クライアントカタログ JAR の最新バージョンの Amazon S3 テーブルカタロ…

寒暖差で久しぶりにガッツリ体調を崩した荒井です。薬を飲んでも体調戻るのが明らかに遅くなっててダブルの意味で辛くなっています。 今回はタイトルにもある通り、Amazon S3 Tables + Apache Iceberg (+ Athena)について調査する機会がありましたので記事にします。 Amazon S3 Tables とは そもそも Apache Iceberg とは チュートリアルをやってみる 1. テーブルバケットの有効化 2. テーブルの名前空間とテーブルを作成する 3. Athena でクエリしてみる Glue データカタログから確認してみる Amazon S3 Tables …

こんにちは、近藤（りょう）です！ AWS Security Hub で 「AWS 基礎セキュリティのベストプラクティス v1.0.0（AWS Foundational Security Best Practices v1.0.0、以降 FSBP」 を有効化し、運用している AWS アカウントにおいて、Security Hub の 「EC2.2」 を検知していて 是正対象となっていたデフォルトのセキュリティグループが、AWS Step Functions から一時的に実行される ECS タスクによって使用されているケースがありました。 常時起動しているリソースであればネットワークインターフェース…

本記事では、クラウド監査にあたり注目すべきポイントについて、いくつかのテーマに分けてまとめます。クラウド監査の「対話」に意識を向けるきっかけとなれば幸いです。

アプリケーションサービス本部の鎌田 (義) です。 CDK + TypeScript で開発する際、テストツールには Jest が標準で使われるのですが、 Jest でのテスト時に ESModule に関連するエラーと遭遇し、解決に苦労したことがあったので共有します。 何があったか 対応方法 1. 対象の外部モジュールをトランスパイル対象にする Lambda へのデプロイではどうなるのか 2. CDK アプリケーション全体を ESModule 化する ESModule としてデプロイできるようにする おわりに 何があったか Lambda にデプロイしているコード内で middy というライブラ…

マネージドサービス部 佐竹です。本ブログでは AWS WAF の COUNT モードのログを調査のためにクエリする際、`UNNEST(r.nonterminatingmatchingrules)` しながら `httprequest` の host も合わせて取得したいという要望に応えるために DDL と SQL クエリを作成しましたので、本文にてご紹介しました。

マルチアカウント環境で User Notificaitons を利用して Amazon GuardDuty の検出結果「高」のみを視認性を高めた内容でメールへ通知する方法について記載します

はじめに 実現したいこと デフォルト設定でインデックスを作成し、動作確認 辞書・類義語を設定し動作確認 辞書と類義語を設定 動作確認 おわりに はじめに こんにちは。 アプリケーションサービス本部の合田です。 OpenSearch で検索精度を向上させたい時、辞書や類義語の設定をする必要がありました。 今回はその設定方法について記載したいと思います。 以降の内容は Amazon OpenSearch Service Version 2.17 で動作確認しています。 実現したいこと 前提として、以下のテキストドキュメントを登録します。 自転車で登坂する その後、以下のキーワードで検索したときにヒ…

垣見です。 AWS Systems Manager のOrganizations環境での統合コンソール機能を有効化する方法のご紹介です。 環境の既存設定のせいでいくつか躓いた点もあったので、エラー文を見ながら有効化時の仕様も確認しつつ解説します。 はじめに 当ブログの対象読者 概要と注意点 ノードのインサイトを確認するための手順 前提 1-1.組織の管理アカウントでAWS Systems Managerの委任アカウント設定をする 管理アカウントにログイン > Systems Managerコンソール > 使用開始 左ペインの「設定」（自動遷移します） > 「使用開始」> 委任先アカウントIDを…

サーバーワークスの村上です。 このブログではAmazon Q in QuickSightについてご紹介させていただきます。 AWSの生成AIスタック全体像 今回利用するデータ 機能紹介 自然言語によるビジュアル作成・編集 エグゼクティブサマリーの自動生成 QA機能によるインサイトの獲得 データストーリーで次のアクションにつなげる データから分析アプローチの提案や推奨アクションを生成するScenarios 使用できる言語について 料金とサポートされている機能について まとめ AWSの生成AIスタック全体像 AWSの生成AIスタックは主に3つの層に分かれています。 最下層：大規模言語モデル (LL…

この記事では、Amazon EC2のAuto Scaling機能とAmazon S3を用いて、比較的安価に可用性の高いウェブページをデプロイする方法を紹介します。 今回は以下のような環境を作ってみます。 今回の構成 前提知識 なぜAuto Scalingを使うのか？ やり方 VPC作成 S3バケット作成 IAMロール作成 AMI作成用のインスタンス（ゴールデンイメージ）を起動 内部作業 Apacheの導入 Cronieの導入 crontabの編集 AMIの取得 ALB作成 ALB用のセキュリティグループ ALB本体 起動テンプレート・Auto Scalingグループ作成 セキュリティグループ …

こんにちは！アプリケーションサービス部ディベロップメントサービス 1 課の三宅です！ 研修の一環で模擬案件に取り組みました。 その中で多くの学びがあったので、特に印象的だった失敗談とそこから得た知見を共有します。 AWS 環境での EFS のマウントに失敗し、「お客様のプロジェクトが消えた!?」と焦った話を共有します。 テストや手順書を正しく書くことの重要性がよくわかった出来事です！ 模擬案件の内容 研修課題は「オンプレミスで運用されているホームページを AWS 環境に移行する」というものでした。 ストレージには EFS を利用し、複数の EC2 インスタンスから同じファイルを参照できる構成に…

社内エンジニア向けに開催したCDKなんでも相談会「Office Hour」の半期報告！相談内容や成果、今後の課題についてまとめました。 #awscdk

プライベートサブネットでNew Relicの外形監視（Synthetics Monitor）をおこなうというケースで Dockerアプリケーションを使用したプライベートサブネット向けの通信制御のハマりポイントを解説してみました。

こんにちは。 アプリケーションサービス部、DevOps担当の兼安です。 本記事はこちらの記事の続きです。 blog.serverworks.co.jp 今回はAmazon Cognito ユーザープールとアプリのデータベース（以下、それぞれCognito、DBと記述）を同期する方法を説明します。 本記事のターゲット 今回の題材 Amazon Cognito ユーザープールとアプリケーションのデータベースの同期 サンプルコード ユーザー情報を二重管理するもう一つの理由 次回の内容 本記事のターゲット Webアプリケーションの開発経験があり、今後、Webアプリケーションをスケーラブルにしたい方を対…

こんにちは！！流川です。 今回は、AWS Configの監査ログ配信用S3バケットでオブジェクトロックを有効化した際にはまった点について、ブログにまとめます。 オブジェクトロックとは オブジェクトロックの機能 リテンションモード リーガルホールド はまったポイント AWS仕様の確認 対応方法 おわりに オブジェクトロックとは Amazon S3のオブジェクトロックは、保存したデータ（オブジェクト）を一定期間または無期限に変更や削除から保護するための機能です。 この機能は、以下のような場面で活用されます。 規制要件への対応 法令や規制に基づいてデータを一定期間保管する必要がある場合、オブジェクト…

こんにちは。AS部DS3課の池上です。 Amazon RDSとAmazon Auroraの費用を比較するために AWS Pricing Calculator を使用しましたが、その際に設定の解釈を誤り、想定と異なる結果になった部分があったので共有します。 なお、以後Amazon RDSはRDS、Amazon AuroraはAurora、AWS Pricing CalculatorはPricing Calculatorと記載します。 つまずいたポイント なぜこのような結果になったのか？ RDSとAuroraとの違い Auroraのノードとインスタンスの関係 簡易的な価格比較 インスタンスが1つの…

HTTPS 通信のみ許可しているALB経由で、EC2上のWordPressにアクセスしたら、表示崩れした話。

こんにちは。AWS CLI が好きな福島です。 はじめに プライベート環境の EC2 には、SSM の Session Manager(以降、Session Manager) を使うことで踏み台サーバーなしで接続できますが、RDS への接続には通常、踏み台サーバーが必要になります。 多くの場合、踏み台には EC2 を利用しますが、先日 ECS on Fargate を踏み台として RDS に接続する検証を行いました。 この方法については既に多くの方がブログで紹介されていますが、備忘録として私もまとめておきます。 はじめに 参考 イメージ図 ポイント 踏み台にECS on Fargate を使う…

New RelicのNetwork Performance Monitoring（NPM）を使用したICMP監視の実践手順を解説。Docker環境でのセットアップから設定ファイルの作成方法まで、詳細に紹介します。

はじめに こんにちは！サーバーワークス橋本です。 最近は記事がCI/CD関連に偏っているのですが、Amazon Connectについても勉強を進めています。 今回は、直近で調査したAmazon Connectの履歴メトリクスのレポートをS3に出力する方法についてご紹介します。 本機能を活用することで、コンタクトセンターのパフォーマンスを詳細に分析し、改善に繋げることができます。 詳細は弊社ブログ参照としたいのですが、若干インタフェースが古いため、改めて簡単に説明します。 想定シーンなどは引き続きそちらを参照していただけたらと思います。 履歴メトリクスとは？ そもそも履歴メトリクスって何かという…

New Relicのネットワーク監視（NPM）をAmazon ECS Fargateで実現する手順を解説。構築手順から運用時の注意点、まで詳しく解説。AWS環境での監視を検討している方は必見です。

はじめに 前回のおさらい Amazon Qについて Amazon QをCodeCatalystで使う場合の前提条件 補足 今回はとりあえず初期構築を実践してみる Create with Amazon Q 構築内容を入力 Blueprintの選択 設定内容の入力 プロジェクト名を入力 ソースリポジトリの選択と注意点 構築完了 構築確認 ISSUEの確認 ソースの確認 CI/CDの確認 最後に はじめに こんにちは！サーバーワークス橋本です。 だんだん暖かくなってきたなと思いますが、愛猫が夜中、寒さで布団に潜り込んでくる時の幸せがなくなるのを考えると名残惜しくも感じます。 今回は、生成AI機能（A…

New Relicを用いたネットワーク監視(NPM)の設定方法とベストプラクティスを解説。ICMP監視、SNMP監視、Syslog監視、フローログ監視などの監視環境のパターン毎の分類や、通信パターン毎の設定上の注意点を詳述しています。

サーバーワークスの村上です。 お客様の生成AI活用支援では、RAGの運用を支援する機会も多いです。 このブログでは、RAGのオフライン評価についてご紹介します。 オフライン評価とは シーン設定 RAGの導入は済んでいる ユーザーの使用履歴を保存している 結論 AWSのRAG評価機能を使う場合 やること①評価データセットを作成する やること②RAG評価ジョブを作成する やること③精度が悪いケースを特定する やること④以前のバージョンとメトリクスを比較する Ragasを使う場合 やること①Response Relevancyの算出 やること②Faithfulnessの算出 やること③評価データセッ…

サーバーワークスの村上です。 このブログでは掲題の件について、設定方法をご紹介します。 イメージ 前提 手順 SageMaker AI Studioのユーザープロファイル作成 IAMユーザーにタグを付与 IAMポリシーを作成 補足 IAMユーザーにIAMポリシーを適用 動作確認 別のユーザープロファイルへアクセスしたとき 自分のユーザープロファイルへアクセスしたとき イメージ 設定イメージは以下のとおりです。 IAMユーザーとSageMaker AI Studioのユーザープロファイルにタグを付与し、それをアクセス制御に活用します。なお、IAMロールでも同じ考え方になります。IAMユーザーと記…