はじめに以前の記事で、M5Stack + ENV Ⅲ ユニットで計測した温度・湿度・気圧データを、AWS IoT Core → Amazon Data Firehose → Snowpipe Streaming経由でSnowflakeへ蓄積する仕組みを構築しました。https://zenn.dev/fusic/articles/stream-iot-data-to-snowflakeAmazon MSK(Managed Streaming for Apache Kafka)でもSnowflakeへデータを配信できます。AWS IoT Coreが受け取ったメッセージをKafka...

この前、福岡-鹿児島（指宿、枕崎）を往復して800kmちょっと走った石橋です。僕の愛車 ポルシェ・ボクスター 986型 なんですが時々「別のボディカラーだと、どんな感じになるかな」と気になることがあります。なんやかんや今のブラックが一番好きなので変えるわけではないのですが、ツーリング等で同じ型式の別カラーがたまたま居合わせた時じゃないと別カラーの実車は見れません。現在のポルシェのwebページに行けば現行車のコンフィギュレータはあるんですが、過去車については出ていません。https://models.porsche.com/ja-JP/model-start（僕の乗っている型の車...

はじめに以前の記事で、M5Stack + ENV3ユニットで計測した温度・湿度・気圧データを、AWS IoT Core → Kinesis Data Firehose → Snowpipe Streaming経由でSnowflakeへストリーミング・蓄積する仕組みを構築しました。https://zenn.dev/fusic/articles/stream-iot-data-to-snowflake今回はこのデータ基盤を使って、「環境センサーで計測した温度が30度を超えたらメールで通知する」というよくある監視要件を、Snowflakeの機能だけで実現します。使うのはSnowfl...

Snowflake Dynamic tables(動的テーブル)は定義されたクエリとターゲットの鮮度に基づいて自動更新されるテーブルを提供する機能です。AWSでELT(Extract->Load->Transform)を実現しようとするとAWS GlueやAWS Lambdaといったサービスを間に挟む必要があり、構成や設定が複雑化しがちですし、それらのメンテナンスにも一定のコストがかかります。一方で、動的テーブルはSnowflakeに蓄積したデータをSQLで変換し定期的に別テーブルとして自動更新するため、Snowflake内に完結しますし、楽です。本記事ではSnow...

はじめにFusicのレオナです。Amazon Bedrockでは、AWS標準の署名認証であるSigV4に加えて、APIキーによるBearer認証を利用できます。また、APIキーには既存のAWS認証情報から生成する短期APIキーと、IAMユーザーに関連付けて発行する長期APIキーがあります。利用環境やシステムのセキュリティ方針によっては、長期APIキーを新しく作成できないようにしたり、APIキーによるアクセスだけを制限したりしたい場合があります。そこで本ブログでは、IAMユーザーやIAMロールに付与するアイデンティティベースのポリシーを使用し、以下の4点を検証します。Ama...

はじめにFusicのレオナです。KaggleのROGII - Wellbore Geology Prediction[1]で、水平井戸のガンマ線（GR）をtypewellへ対応付けるCNN-SDFモデルを実装しました。最終結果は192位、Privateスコア8.143で銀メダルでした。[2]このコンペでは、当初は行単位の特徴量と後処理を中心に試していました。しかし最終日に方針を変え、井戸1本を1サンプルとする2次元モデルを実装しました。本ブログでは、CNN-SDFの仕組み、評価方法を切り替えた理由、終了後に公開された上位解法との共通点を振り返ります。 結果構成pa...

Snowflake CLIとは、Snowflakeが提供する開発者向けのコマンドラインツールです。スピーディにアプリケーションを構築したり、SQLを実行したりすることができます。https://docs.snowflake.com/ja/developer-guide/snowflake-cli/indexこの記事はOAuthで認証したい場合の設定をどうすればCLIで完結させられるか、まとめたものです。時間のない人向けに、私が考えた最短の設定コマンドを先に記載しておきます。$ snow connection add \ --connection-name {コネクション名}...

はじめに現在、複数人の開発メンバーで新規のWebアプリケーションを開発しています。開発メンバーは5人、さらに、仕様駆動開発の考えを導入した上でDevinも実装者に加わっています。インフラの構築が落ち着き、ある程度の開発基盤も整った段階で、運用上以下の状況が発生していました。チーム内でリリース前の動作確認として単一のStaging環境(AWS環境)を払い出していた。各自の動作確認をstagingブランチに取り込んでいたが、AI前提の開発速度が速すぎて待ちが発生し、そのブランチ運用がボトルネックとなってしまっていた。Staging環境の取り合いによりチーム内での余計なコミュ...

はじめにATOMS3 Liteに接続した環境センサーで計測した温度・湿度・気圧のデータを、AWS IoT Core経由でSnowflakeへリアルタイムに届け続ける仕組みを、実際に手を動かしながら構築します。ポイントは、Amazon Data Firehoseに用意されているSnowflakeへの連携機能(Snowpipe Streamingへの配信)を使う点です。Lambdaや変換用のアプリケーションコードを一切書かずに、IoTデバイスのデータをSnowflakeのテーブルへ直接ストリーミングできます。 全体構成構築するシステムの全体像は以下の通りです。コン...

はじめにFusicのレオナです。前回のブログでは、Model Registryへ登録したscikit-learnモデルをEndpointへデプロイし、オンライン推論まで確認しました。https://zenn.dev/fusic/articles/5f054db81f3585今回は少し工程をさかのぼり、モデルがModel Registryへ登録されるまでの流れをPipelinesで自動化します。データ準備、学習、評価、登録を1つのワークフローにつなぎ、評価結果のRecallが閾値を超えたモデルだけを登録する構成です。一つひとつの処理は手動でも実行できます。ただ、手順が増えるほ...

はじめにFusicのレオナです。今回は、Custom Trainingで作成したscikit-learnのExperimentModelを、Gemini Enterprise Agent PlatformのModel Registryへ登録し、Endpointへデプロイしてオンライン推論を実行します。ExperimentModelはML Metadata上のArtifactです。Endpointから推論に利用するには、Model RegistryのModelとして登録し、Endpointへデプロイする必要があります。[1]学習とモデル選定については、前回のブログで扱っています...

はじめにFusicのレオナです。外観検査モデル構築を進めるとき、最初に困るのが「異常画像の少なさ」です。正常品の画像は比較的集めやすい一方で、異常品はそもそも発生数が少なく、どのような欠陥が出るのかを事前に網羅することも簡単ではありません[1]。そこで今回は、追加学習を行わず、Qwen/Qwen2.5-VL-7B-Instructに正常品の画像だけを見せる方法を試しました。環境はRTX 3090 Ti（24GB）1枚です。検査対象の画像を渡し、次の情報をJSONで出力させます。正常・異常・要確認の判定想定される欠陥の種類と位置そのように判断した理由アノテーター向けの短...

はじめにFusicの阿河です。弊社は普段AWSを主軸にお客様のシステムを設計・構築していますが、今回チーム内の有志でさくらのクラウドのPoCを行いました。理由は2つあります。 PoCを行った背景一つは顧客要件の変化です。宇宙ドメインやパブリックセクターのお客様と接する中で、データ所在地を国内に限定したい、閉域網で完結させたい、という要望が増えています。ガバメントクラウド認定によって、国産クラウドを正面からご提供できる状況が整いつつあります。二つ目はGPUリソースです。AI活用が本格化する中で、価格やスペックの比較以前に 「必要な規模を確保できるか」が計画を左右する場面...

はじめにFusicのレオナです。今回は、Gemini Enterprise Agent Platform Experimentsを使って、Custom Trainingで学習したscikit-learnモデルを比較しました。Gemini Enterprise Agent Platformは、旧Vertex AI Platformから名称変更されたサービスです。[1]前回のブログではBigQueryの公開データを使って2件のCustom Jobを実行し、学習コードからmodel.joblibをCloud Storageへ直接保存しました。https://zenn.dev/fus...

はじめにFusicのレオナです。今回は、Gemini Enterprise Agent PlatformのCustom Trainingを利用し、scikit-learnでモデルを学習しました。Gemini Enterprise Agent Platformは、旧Vertex AI Platformから名称変更されたサービスです。[1]ローカル環境で学習コードを実行する場合、実行環境の構築やログの管理、学習済みモデルの保存先などを利用者自身で用意する必要があります。一方、Custom Trainingでは、指定したコンテナをマネージドVM上で実行できます。[2]実行時に標準出...

はじめにFusicのレオナです。今回は、BigQuery MLのTimesFMを使い、電力需要を1週間先まで予測してみました。TimesFMは、Google Researchが公開している時系列予測用の基盤モデルです。BigQuery MLでは、組み込みのTimesFMをAI.FORECAST関数から呼び出せるため、モデルを学習したりEndpointへデプロイしたりせずに時系列予測を実行できます。[1][2]モデルについて詳しく解説したブログがありますので、合わせてご覧ください。https://zenn.dev/fusic/articles/196bcd22676d97...

はじめにFusicのレオナです。今回は、Google Researchの時系列基盤モデルTimesFMについて、原論文を読みながら仕組みを整理してみました。 TimesFMとはTimesFMは、Google Researchが開発した時系列予測用の基盤モデルです。時系列とは、売上、電力需要、気温のように、時間の順番に沿って記録された数値です。例えば、過去7日間の1時間ごとの電力需要から、次の24時間を予測する問題を考えます。このとき、モデルへ与える過去7日間をContext(履歴)、予測したい次の24時間をForecast Horizon(予測期間)と呼びます。用語...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore Observabilityで記録したRuntime Traceから、生のTrace本文を次回の入力に使わずに回帰データセットを作る処理を試してみました。例えば、Agentの最終回答を保存して修正しても、どのToolを呼び、どの証拠を参照したのかは追えません。その過程で古いRunbookを参照する挙動が残っていれば、同じ問題が再発する可能性があります。そこで、Amazon Bedrock AgentCore Runtime(以下、AgentCore Runtime)のTraceをTrace...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore EvaluationsのDataset Evaluationを実行し、LLM-as-a-JudgeによるBuiltin.Helpfulness(以下、有用性)と独自Evaluatorを、同じAgentに適用しました。例えば、最終回答が丁寧でユーザーの役に立つ内容であっても、その過程で禁止されたToolを呼び出そうとしていれば、Agentをそのままリリースすることはできません。有用性は、回答がユーザーの目的達成にどれだけ貢献するかを評価します。一方、公式Promptでは、事実の正確性やバック...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore Policy(以下、AgentCore Policy)をLOG_ONLYからENFORCEへ段階移行するところまで試してみました。前回のブログでは、社内備品注文を題材に、Amazon Bedrock AgentCore Gateway(以下、Gateway)、AWS Lambda、Policy Engine、Cedar PolicyをTerraformで作り、金額による許可と拒否をENFORCEで確認しました。https://zenn.dev/fusic/articles/6c00768...