AWS re:Invent 2024 で Apache Iceberg 形式に最適化されたクラウドオブジェクトストアである Amazon S3 Tables が発表されました。現在は東京リージョンでも利用可能になっており、Snowflake でも Iceberg REST カタログ統合 を作成することで、S3 Tables 上の Iceberg テーブルをカタログ統合経由で参照することができます。（Public Preview 機能を含む）今回、S3 Tables テーブルから Snowflake Iceberg テーブルを作成するまでを実際にやってみたので、備忘も兼ねてその手順につい...

はじめにデータ駆動型の意思決定がビジネスの重要な要素となる中、プライバシー保護とデータ活用の両立は多くの組織にとって重要な課題となっています。2024年10月28日、Snowflakeは新たなプライバシー保護機能として合成データ生成機能をプレビューリリースしました。その際に以下の合成データに関する記事を投稿させていただきました。https://zenn.dev/dataheroes/articles/2aa501bd841128それから約半年を経て、25年4月に合成データは一般提供され、複数の機能アップデートがありました。https://docs.snowflake.co...

先日、Snowflakeから「Gen2 スタンダードウェアハウス」が発表されました（リリースノート 2025-05-05-gen2-standard-warehouses）。以前、こちらの記事と同様の手法で、この新しいGen2環境の内部を調査した。 結論C7g.2xlargeが使われるようになった。CPU以外に大きな変更はないけれど、CPUレベルで列ストレージ向けに最適化がされたっぽい。Gen2 (2025年5月現在) の推定マシン構成 (1ノードあたり):パラメータ値インスタンスタイプC7g.2xlargeディストリビューション不明 (inux-...

SQLのみで実現するAI活用：Snowflake Cortex COMPLETEの最新機能とハンズオンガイド はじめにこの記事は2025年5月時点のSnowflake Cortexの最新状況を踏まえたCOMPLETE関数について私自身が学んだ結果をハンズオン形式でまとめた解説記事です。プログラミングに詳しくない方でもSQLの知識だけでLLM機能を活用する方法を学べるようになっています。と偉そうな入り方をしましたが、私自身がそもそもプログラミングが苦手なデータエンジニアです。Python、TypeScript...そんな単語を聞くだけで緊張してしまう典型的なSQLエンジニアです...

Snowflakeパフォーマンス最適化機能クラスタリングキー & Search Optimization & Query Acceleration はじめにSnowVillageのUnConference第五回イベントで、けびんさんのSOS検証記事の解説LTを聞いた事が、この記事を書くきっかけとなりました。その際に紹介いただいた以下の記事とその際の質疑応答を通じて自分の不勉強さを痛感し、自分でもちゃんと学ぼうと思い、改めて仕様の理解と実際の検証結果と共にこの記事にしました。https://techplay.jp/event/976733https://ze...

はじめにこんにちは！シンプルフォームの山岸です。弊社は2024年6月に Snowflake 導入を決定し、データ基盤を従来利用してきた Amazon Redshift から移行しました。検証着手当時、トライアルアカウントを開設して最初に取り組んだことは、IaC 管理方法を設計・整備することです。弊社では AWS 等のクラウドリソースの IaC 管理に Terraform + Terragrunt を利用していたので、Snowflake リソースでも基本的な設計を踏襲しました。その時の検討内容について、以下の記事でご紹介しています。Terragrunt で始めるマルチアカウ...

はじめに：Copilot時代に必要なSQL基礎力データ分析の民主化が進む現代、SQLはあらゆる職種で必須のスキルとなりました。特にSnowflakeのようなクラウドデータプラットフォームでは、次の変化が起きています。SQL利用の多様化：BIツールに依存しないdbtやRedashやStreamlitなどの直接分析の増加AI連携の一般化：Copilotによる自然言語からのクエリ生成またSnowflake Copilotなどの生成AIによるText2SQLにシフトしていく中で、AIが生成するSQLを正しく評価・修正するためには、以下の要素が不可欠です。関数の挙動理...

はじめにこんにちは！シンプルフォームの山岸です。昨年、Snowflake の認証方式の仕様変更がアナウンスされましたが、スケジュール通りに完了すると最早で2025年11月に Redash から Snowflake への接続ができなくなります。本記事では Redash からの Snowflake 接続を半ば強引に Key-Pair 認証対応させることで、そのような事態を回避する方法についてご紹介できればと思います。!本記事の中でサンプルコードなども掲載しておりますが、ご紹介する手順や実装を適用した際に発生するいかなる不具合に対しても責任は負いかねますので、適用の際は読者様にて十...

前置きこんにちは。さすらいのデータエンジニアのこみぃです。Snowflakeの最大のカンファレンスであるSnowflake Summit 2025がついに2ヶ月後に迫ってまいりましたね。https://www.snowflake.com/en/summit/そんなわけで、今日は「今からでも間に合う」をテーマにSummitに向けての準備を進めていこうというお話です。 準備は大切かの有名な孫子の兵法にも「勝兵は先ず勝ちて而る後に戦いを求め、敗兵は先ず戦いて而る後に勝を求む」とあるように、ビジネスにおいては準備は非常に大切です。これはカンファレンスに参加する場合も同様です。...

前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日、Snowflake公式主催のData for Breakfastというイベントに行ってまいりました。昨年のブログにも書きましたが、実は私がSnowflakeと出会ったのが2022年のData for Breakfastです。個人的にも思い出深いイベントなので、当日の朝まで大阪出張してた今年ももちろん参加しました。当日のスケジュール本日はその話をしましょう。 Data for BreakfastとはData for BreakfastはSnowflake公式が主催するイベントで、ご飯を食べながらデータにつ...

はじめにこんにちは！シンプルフォームの山岸です。Snowflake 外部テーブルを使って S3 に蓄積された JSON ファイルをテーブル化し、さらにそれをマテリアライズしたテーブルを増分更新する方法について検討してみたので、本記事ではその内容についてご紹介できればと思います。JSON + S3 を前提とした内容になっていますが、その他のファイル形式・オブジェクトストレージ（Azure Blob Storage, Google Cloud Storage）にも適用可能な内容かと思いますので、参考になるものがあれば幸いです。 Snowflake 外部テーブルとは外部テーブル...

記事の目的・Snowflakeを活用したクリーンルーム構築を検討しているエンジニアの方向けに構築手順の参考にしていただければと思います。・また機能を利用した所感をまとめていますので、この機能を使って何が出来るか？の参考になればと思います。 DCRのアップデート3月27日にSnowflakeの Data Clean Roomsのアップデートリリースがありました！https://docs.snowflake.com/en/release-notes/2025/other/2025-03-27-dcr主なアップデート簡素化されたオンボーディング ※今回の記事ではここを主に...

はじめにこんにちは！シンプルフォームの山岸です。弊社では社内向けのデータ分析基盤としてこれまで Amazon Redshift を利用してきましたが、昨年6月に Snowflake の導入を決定し、移行に向けた検証・構築を進めてきました。当時の技術選定については、以下の Findy Tools レビュー記事でもご紹介しています。https://findy-tools.io/products/snowflake/10/360昨年末に Snowflake 基盤の提供を開始してからは、旧 Redshift 基盤の運用を停止すべく既存クエリ資産の移行に奔走していましたが、先日ようやく...

はじめにプライバシー保護を十分に実施しつつ、データ活用を推進する上で、Snowflakeのプライバシー保護機能は非常に強力な支えとなります。これらのプライバシー保護機能についてに、以前に私の知見を以下の記事でまとめさせていただきました。https://zenn.dev/dataheroes/articles/8c1a3ebcc9464a本記事では、これらの有力な機能を活用するにおいて、いくつか課題と思われるケースが明らかになっています。Snowflakeの実際のサポートケースから得られた知見をもとにそれらのケースについて、どのように対策をすべきか、またSnowflake社に対...

前置きこんにちは。さすらいのデータエンジニア、こみぃです。みなさんSnowflakeのStage使ってますか？昨日Stageを使ったシステムを触っていて、何故かググっても記事が見つからなくて少し迷った件について簡単にまとめます。 Stageの通常の使い方StageへのSQLの打ち方は公式のドキュメントにも記載されている通りこんな感じです。https://docs.snowflake.com/ja/user-guide/querying-stageSELECT t.$1, t.$2 FROM @mystage1 (file_format => 'myformat'...

前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日Snowflake公式から、今年のSnowflake Data Superheroesが発表され、私もその一人に再選していただきました。https://prtimes.jp/main/html/rd/p/000000045.000116784.html昨年は1月入ってすぐに内定の連絡をいただいていたのですが、今年は2月中旬に連絡いただいたので結構みんなソワソワしてたという裏話があります。さて、これでSuperheroes3年目ということで、そろそろ板についてきたかなと思います。そんなわけで、今年も意気込みなどを。...

本記事の内容Organizational listingとは？ Internal Marketplaceとは？ 何ができるのか？ 実際の動作と権限制御について紹介していきます はじめにOrganizational listing / Internal Marketplaceは組織内でセキュアにガバナンスを効かせ、そして共通のデータアクセスの手法をもたらす画期的な機能です. 特に巨大な組織において Deta Meshを実現する上では必須の機能と言えるでしょう！ Internal MarketplaceとOrganizational listingがもたらす世界同じO...

前置きこんにちは。さすらいのデータエンジニア、こみぃです。昨年末からSnowflakeコミュニティで始まったデータスチュワードシップ輪読会という輪読会で先日担当回を終えてきましたので、本日はそんなお話です。 データスチュワードシップデータスチュワードシップはデータマネジメントに欠かせないデータスチュワードたちが社内でどのような立ち位置で、どんな組織構造で業務にあたるべきかを書かれている書籍です。https://amzn.to/4hf6ar3要するにデータマネジメントを組織で導入していくためのノウハウですね。 輪読会 輪読会の始まりSnowflakeのユーザーコ...

結論データ部門は大福帳を中央集権的にユーザーに提供すべきでない。なぜなら分析ユーザーの求めに応じて、大福帳を作って配布するということは、ビジネス上の本質的な課題を、テクノロジーの問題にすり替えるということであり、焼け石に水だからである。データ分析者からの「購買と発送を横断して分析したいのですが、JOINキーは何ですか？」という質問は多い。これは、一つの購買に対してどのくらいの発送が紐づくかを理解していない、という分析者のビジネスプロセスの理解不足に由来する。しかし、この問題を「一般ユーザーにはJOINなんてできないのだ」というテクノロジーの問題にすり替えてはならない。JOI...

こんにちは。harry(@gappy50)です。みなさんは、dbtで作成した不要になったモデルをどのように削除していますか？自分で作ったモデルを誰が使ってもらえなくなって、いきなり消してしまったら問題になった問題にならないように調整するだけで数日溶けたそれが面倒なので削除しなかったら、いつの間にかめちゃくちゃ大事な意思決定に使われ始めていて嫌な予感がしたそもそも諦めたなどなど。今後、私の組織ではある程度事業側にオーナーシップをもってもらうことでアジリティを確保しながら、正しくお掃除ができるようなDevOpsを考えています。https://zenn.dev/dely_j...