はじめにFusicのレオナです。今回は、Gemini Enterprise Agent Platform Experimentsを使って、Custom Trainingで学習したscikit-learnモデルを比較しました。Gemini Enterprise Agent Platformは、旧Vertex AI Platformから名称変更されたサービスです。[1]前回のブログではBigQueryの公開データを使って2件のCustom Jobを実行し、学習コードからmodel.joblibをCloud Storageへ直接保存しました。https://zenn.dev/fus...

はじめにFusicのレオナです。今回は、Gemini Enterprise Agent PlatformのCustom Trainingを利用し、scikit-learnでモデルを学習しました。Gemini Enterprise Agent Platformは、旧Vertex AI Platformから名称変更されたサービスです。[1]ローカル環境で学習コードを実行する場合、実行環境の構築やログの管理、学習済みモデルの保存先などを利用者自身で用意する必要があります。一方、Custom Trainingでは、指定したコンテナをマネージドVM上で実行できます。[2]実行時に標準出...

はじめにFusicのレオナです。今回は、BigQuery MLのTimesFMを使い、電力需要を1週間先まで予測してみました。TimesFMは、Google Researchが公開している時系列予測用の基盤モデルです。BigQuery MLでは、組み込みのTimesFMをAI.FORECAST関数から呼び出せるため、モデルを学習したりEndpointへデプロイしたりせずに時系列予測を実行できます。[1][2]モデルについて詳しく解説したブログがありますので、合わせてご覧ください。https://zenn.dev/fusic/articles/196bcd22676d97...

はじめにFusicのレオナです。今回は、Google Researchの時系列基盤モデルTimesFMについて、原論文を読みながら仕組みを整理してみました。 TimesFMとはTimesFMは、Google Researchが開発した時系列予測用の基盤モデルです。時系列とは、売上、電力需要、気温のように、時間の順番に沿って記録された数値です。例えば、過去7日間の1時間ごとの電力需要から、次の24時間を予測する問題を考えます。このとき、モデルへ与える過去7日間をContext(履歴)、予測したい次の24時間をForecast Horizon(予測期間)と呼びます。用語...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore Observabilityで記録したRuntime Traceから、生のTrace本文を次回の入力に使わずに回帰データセットを作る処理を試してみました。例えば、Agentの最終回答を保存して修正しても、どのToolを呼び、どの証拠を参照したのかは追えません。その過程で古いRunbookを参照する挙動が残っていれば、同じ問題が再発する可能性があります。そこで、Amazon Bedrock AgentCore Runtime(以下、AgentCore Runtime)のTraceをTrace...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore EvaluationsのDataset Evaluationを実行し、LLM-as-a-JudgeによるBuiltin.Helpfulness(以下、有用性)と独自Evaluatorを、同じAgentに適用しました。例えば、最終回答が丁寧でユーザーの役に立つ内容であっても、その過程で禁止されたToolを呼び出そうとしていれば、Agentをそのままリリースすることはできません。有用性は、回答がユーザーの目的達成にどれだけ貢献するかを評価します。一方、公式Promptでは、事実の正確性やバック...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore Policy(以下、AgentCore Policy)をLOG_ONLYからENFORCEへ段階移行するところまで試してみました。前回のブログでは、社内備品注文を題材に、Amazon Bedrock AgentCore Gateway(以下、Gateway)、AWS Lambda、Policy Engine、Cedar PolicyをTerraformで作り、金額による許可と拒否をENFORCEで確認しました。https://zenn.dev/fusic/articles/6c00768...

はじめにFusicのレオナです。今回は、Amazon Bedrock AgentCore Runtime(以下、AgentCore Runtime)へ障害調査Agentをデプロイし、根拠や現在状態が不足したときに復旧案を返さない境界を検証してみました。今回は、停止を次の2種類に分けました。種類挙動対象Tool実行の打ち切りInvocationまたは当該Tool呼び出しを実行前に拒否するSchema違反、重複呼び出し、回数上限復旧案生成の抑止情報収集を続ける場合もあるが、proposal=nullにする分類の低信頼度、Runbookまたは現在状...

はじめにFusicのレオナです。本ブログでは、Amazon SageMaker Model RegistryのApprovedを本番リリースの境界として扱うなら、何を測っておくべきかを整理します。Amazon SageMaker Model Registryは、モデルのバージョン、承認状態、メタデータを管理できます[1]。モデルバージョンをApprovedにすると、Amazon SageMaker AIのプロジェクトテンプレートではCI/CD deploymentの起点にもなります[2]。ただし、Approvedになったことだけを見ても、本番へ出してよいかは判断できません。...

はじめにFusicのレオナです。今回は、Amazon SageMaker AIのサーバレスなMLflow Appと、従来のManaged MLflow Tracking Serverを比較します。従来のManaged MLflowは、Tracking Serverを作って使います。Tracking ServerにはSmall、Medium、Largeのサイズがあり、起動停止もあります。そのため、MLflowを使う前に「どのサイズで立てるか」「起動しておくか」「TPSは足りるか」を決める必要がありました。https://aws.amazon.com/jp/blogs/news/...

はじめにFusicのレオナです。今回は、SageMaker HyperPodを最小構成で触ってみました。SageMaker HyperPodというと、数千GPUを使って基盤モデルを学習するための大規模な基盤、という印象が強いと思います。GPUクラスタをSageMaker管理の学習基盤として扱いながら、EKS上ではKubernetesに近い感覚でジョブを実行できる点が特徴です。ノード障害時の復旧や、Training Operatorによる学習ジョブ管理など、大規模かつ長時間の学習を前提とした仕組みも用意されています。とはいえ、いきなり大規模構成を組むのは少し重いです。そこで今回...

はじめにFusicのレオナです。前回のブログでは、External OAuth + RAPを使って「エンドユーザーの権限をSnowflakeまで伝播させ、アクセス制御をSnowflake側に寄せる」構成案を整理しました。https://zenn.dev/fusic/articles/e1a7d7d3591184今回は実際にAmazon Bedrock AgentCoreへデプロイし、AgentCore上のエージェントからSnowflakeに接続して、Snowflake側で行レベルのアクセス制御ができるかを検証します。ただし、ブログではExternal OAuthによるエンド...

はじめにFusicのレオナです。実運用でAIエージェントからSnowflake内にあるデータを検索するなら、サービスアカウント1つで代行するのではなく、External OAuthでエンドユーザーの身元をSnowflakeセッションへ対応づけ、行レベルの判断をデータ層(RAP)に任せる設計が候補になると思います。弊社の岡山のブログでは、SnowflakeのRow Access Policy(RAP)を使って「アプリ側のクエリを一切変えずにデータ層で権限を効かせる」手法を紹介しました。https://zenn.dev/fusic/articles/c5a5241df1820d...

はじめにFusicのレオナです。2026 Japan All AWS Certifications Engineersに選出していただき、無事All Certを名乗れるようになりました。https://x.com/xthixsl_ml/status/2069988878514282937?s=20本ブログでは、新卒1年目だった機械学習エンジニアがなぜAWS認定の全冠を目指したのか、そして全冠を通じて何が変わったのかを、備忘録としてまとめます。 背景もともと私はデータサイエンティスト志望で、大学では機械学習や深層学習モデルの開発を中心に学んでいました。新卒入社前にはAWSパ...

はじめに〜Snowflake1人アドベントカレンダー、最終日〜こんにちは、Fusicの岡山です。Snowflake1人アドベントカレンダー、ついに最終日(30日目)です!!!!気合い入れてやっていきます！！前回は、Apache Icebergの「やらかしうるポイント」を、Snowflake-managedでどこまで再現できるかを実測しました。Apache IcebergをSnowflakeの機能を通して理解したい【気をつけるべきこと・実測編】いいね・フォローが毎日書き続けるモチベになります。よかったら是非お願いします！day27〜29で、Apache Icebergの...

はじめにこんにちは！Fusicの大宮です。最近、"Physical AI"という単語をよく聞くようになりましたね。Physical AI という単語自体は、2024年ごろから生まれた言葉であり、NVIDIA の Jensen Huang が各所で述べていたことで広まったらしいです。NVIDIAのWEBページには以下のように記載があります。Physical AI lets autonomous systems like cameras, robots, and self-driving cars perceive, understand, reason, and perfo...

はじめにこんにちは、Fusicの岡山です。Snowflake1人アドベントカレンダー29日目です。Snowflake毎日投稿も残すところあと2日となりました。気合い入れていきます。前回は、Apache Icebergのメリットを3つ、Snowflakeで実際に動かして確かめました。タイムトラベル、スキーマ進化、パーティション進化です。Apache IcebergをSnowflakeの機能を通して理解したい【メリット検証】いいね・フォローが毎日書き続けるモチベになります。よかったら是非お願いします！前回、最後にこんな結果が出ました。パーティション戦略を変えた2つのテ...

はじめにこんにちは、Fusicの岡山です。Snowflake1人アドベントカレンダー28日目です。今日を含めてあと3回で終わると思うと、1か月があっという間だったなと思います。まだ終わってないんですが、終わった気になっている。前回：Apache IcebergをSnowflakeの機能を通して理解したい【特徴編】いいね・フォローが毎日書き続けるモチベになります。よかったら是非お願いします！前回は、Apache IcebergでのスナップショットでのACIDの確認・通常テーブルとのINSERTの比較までやってみました。。今回は「スキーマを後から変えたらどうなるか。過去...

はじめにこんにちは、Fusicの岡山です。Snowflake1人アドベントカレンダー27日目です。前回は、SnowflakeにGA4を繋いで可視化してみました。GA4が苦手なので、Snowflakeに繋いで可視化したいいいね・フォローが毎日書き続けるモチベになります。よかったら是非お願いします！最近、データ界隈で「Iceberg」という言葉をよく見るようになりました。day12〜14では、このApache Iceberg(オープンテーブルフォーマットの仕様)を、S3 Tables経由でSnowflakeから触りました。SnowflakeとS3 Tablesを連携させ...

はじめに〜GA4のデータ見たいけどGAを使いたくない〜こんにちは、Fusicの岡山です。Snowflake1人アドベントカレンダー26日目です。アドベントカレンダーは25日までらしいのですが、そういうイベントをしたことがないので、1ヶ月間毎日書くことをアドベントカレンダーと思っていました。なのでこのまま書き続けます。前回:【Snowflake】PostgresとHybrid Tablesの使い分けをまとめたい【連載最終回】いいね・フォローが毎日書き続けるモチベになります。よかったら是非お願いします！Zennでの投稿を始めて3週間くらいでしょうか。Zennの設定画面に...