前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日、Snowflake公式主催のData for Breakfastというイベントに行ってまいりました。昨年のブログにも書きましたが、実は私がSnowflakeと出会ったのが2022年のData for Breakfastです。個人的にも思い出深いイベントなので、当日の朝まで大阪出張してた今年ももちろん参加しました。当日のスケジュール本日はその話をしましょう。 Data for BreakfastとはData for BreakfastはSnowflake公式が主催するイベントで、ご飯を食べながらデータにつ...

はじめにこんにちは！シンプルフォームの山岸です。Snowflake 外部テーブルを使って S3 に蓄積された JSON ファイルをテーブル化し、さらにそれをマテリアライズしたテーブルを増分更新する方法について検討してみたので、本記事ではその内容についてご紹介できればと思います。JSON + S3 を前提とした内容になっていますが、その他のファイル形式・オブジェクトストレージ（Azure Blob Storage, Google Cloud Storage）にも適用可能な内容かと思いますので、参考になるものがあれば幸いです。 Snowflake 外部テーブルとは外部テーブル...

記事の目的・Snowflakeを活用したクリーンルーム構築を検討しているエンジニアの方向けに構築手順の参考にしていただければと思います。・また機能を利用した所感をまとめていますので、この機能を使って何が出来るか？の参考になればと思います。 DCRのアップデート3月27日にSnowflakeの Data Clean Roomsのアップデートリリースがありました！https://docs.snowflake.com/en/release-notes/2025/other/2025-03-27-dcr主なアップデート簡素化されたオンボーディング ※今回の記事ではここを主に...

はじめにこんにちは！シンプルフォームの山岸です。弊社では社内向けのデータ分析基盤としてこれまで Amazon Redshift を利用してきましたが、昨年6月に Snowflake の導入を決定し、移行に向けた検証・構築を進めてきました。当時の技術選定については、以下の Findy Tools レビュー記事でもご紹介しています。https://findy-tools.io/products/snowflake/10/360昨年末に Snowflake 基盤の提供を開始してからは、旧 Redshift 基盤の運用を停止すべく既存クエリ資産の移行に奔走していましたが、先日ようやく...

はじめにプライバシー保護を十分に実施しつつ、データ活用を推進する上で、Snowflakeのプライバシー保護機能は非常に強力な支えとなります。これらのプライバシー保護機能についてに、以前に私の知見を以下の記事でまとめさせていただきました。https://zenn.dev/dataheroes/articles/8c1a3ebcc9464a本記事では、これらの有力な機能を活用するにおいて、いくつか課題と思われるケースが明らかになっています。Snowflakeの実際のサポートケースから得られた知見をもとにそれらのケースについて、どのように対策をすべきか、またSnowflake社に対...

前置きこんにちは。さすらいのデータエンジニア、こみぃです。みなさんSnowflakeのStage使ってますか？昨日Stageを使ったシステムを触っていて、何故かググっても記事が見つからなくて少し迷った件について簡単にまとめます。 Stageの通常の使い方StageへのSQLの打ち方は公式のドキュメントにも記載されている通りこんな感じです。https://docs.snowflake.com/ja/user-guide/querying-stageSELECT t.$1, t.$2 FROM @mystage1 (file_format => 'myformat'...

前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日Snowflake公式から、今年のSnowflake Data Superheroesが発表され、私もその一人に再選していただきました。https://prtimes.jp/main/html/rd/p/000000045.000116784.html昨年は1月入ってすぐに内定の連絡をいただいていたのですが、今年は2月中旬に連絡いただいたので結構みんなソワソワしてたという裏話があります。さて、これでSuperheroes3年目ということで、そろそろ板についてきたかなと思います。そんなわけで、今年も意気込みなどを。...

本記事の内容Organizational listingとは？ Internal Marketplaceとは？ 何ができるのか？ 実際の動作と権限制御について紹介していきます はじめにOrganizational listing / Internal Marketplaceは組織内でセキュアにガバナンスを効かせ、そして共通のデータアクセスの手法をもたらす画期的な機能です. 特に巨大な組織において Deta Meshを実現する上では必須の機能と言えるでしょう！ Internal MarketplaceとOrganizational listingがもたらす世界同じO...

前置きこんにちは。さすらいのデータエンジニア、こみぃです。昨年末からSnowflakeコミュニティで始まったデータスチュワードシップ輪読会という輪読会で先日担当回を終えてきましたので、本日はそんなお話です。 データスチュワードシップデータスチュワードシップはデータマネジメントに欠かせないデータスチュワードたちが社内でどのような立ち位置で、どんな組織構造で業務にあたるべきかを書かれている書籍です。https://amzn.to/4hf6ar3要するにデータマネジメントを組織で導入していくためのノウハウですね。 輪読会 輪読会の始まりSnowflakeのユーザーコ...

結論データ部門は大福帳を中央集権的にユーザーに提供すべきでない。なぜなら分析ユーザーの求めに応じて、大福帳を作って配布するということは、ビジネス上の本質的な課題を、テクノロジーの問題にすり替えるということであり、焼け石に水だからである。データ分析者からの「購買と発送を横断して分析したいのですが、JOINキーは何ですか？」という質問は多い。これは、一つの購買に対してどのくらいの発送が紐づくかを理解していない、という分析者のビジネスプロセスの理解不足に由来する。しかし、この問題を「一般ユーザーにはJOINなんてできないのだ」というテクノロジーの問題にすり替えてはならない。JOI...

こんにちは。harry(@gappy50)です。みなさんは、dbtで作成した不要になったモデルをどのように削除していますか？自分で作ったモデルを誰が使ってもらえなくなって、いきなり消してしまったら問題になった問題にならないように調整するだけで数日溶けたそれが面倒なので削除しなかったら、いつの間にかめちゃくちゃ大事な意思決定に使われ始めていて嫌な予感がしたそもそも諦めたなどなど。今後、私の組織ではある程度事業側にオーナーシップをもってもらうことでアジリティを確保しながら、正しくお掃除ができるようなDevOpsを考えています。https://zenn.dev/dely_j...

前置きこんにちは。さすらいのデータエンジニアのこみぃです。先日SnowPro Advanced: Architectの合格体験記を書いていたのですが。https://zenn.dev/dataheroes/articles/dc53431327b3b9実は今年はもう一つチャレンジしていたのです。Administrator！そして無事に合格。そんなわけで今日はその話をしましょう。 SnowPro Advanced: Administrator SnowPro Advanced: Administratorとは？AdministratorはSnowflakeのシステ...

はじめに私は今年の5月からSnowVillageに参加させてもらいました。まだ8ヵ月ぐらいですが、皆さんとご一緒して非常に多くの学びがあったので、自分の歩みをまとめつつ、感謝をお伝えしたいと思います。つまるところポエムですｗとにかく楽しかったし、学びが多かったし、皆さんと出会えたこと、こういうコミュニティになるために尽力された村長やKTや先達の皆様には感謝申し上げます！ SnowVillageへの参加さて、そんな今年の振り返りを、まずは、どのようにSnowVillageに入り、どう感じたのか？から話し始めたいと思います。私は4年前にSnowflake採用したにも関わらず...

開催日、場所：2024/12/18 17:30-21:00 大崎ブライトコアホール BUILD MeetupとはSUMMITを行い、それを受け世界中でWorld Tourを行う。そして今年の振り返りをBUILD Meetupで行うメインイベント「AI Data Cloudリレーデモ」実施内容！#salesforce Zero Copy Integration ! SnowflakeとSalesforcetiデータシェアリングでニアリアルタイム連携できるって知ってた？#dbt dbt Cloudでデータの混沌に秩序を。クリーンで頼できるデータの世界へ！#ai...

前置きこんにちは。さすらいのデータエンジニア、こみぃです。先日Streamlit Meetup Tokyo 2024というイベントに運営側で参戦してきましたので、本日はそんなお話です。https://techplay.jp/event/963481 Streamlit Meetup TokyoとはStreamlit Meetup TokyoはOSSのPythonのWEBフレームワークであるStreamlitについて語り合うイベントです。昨年から始まったイベントで、昨年は実は世界で初のStreamlitイベントでした。そちらもかなり盛り上がりました。https://ze...

はじめに皆さんがSnowflake導入したもしくは使用する目的の一つとして、自分たちの部署だけでなく、事業全体や会社全体、グループ全体で利用させたい。データ統合や共有を実現し、グループシナジーを上げるといったテーマがあると思います。一方でそれを実現するためには様々な労力を伴います。経営層の強い権限でトップダウンで導入を一気に進めると言った事例はありつつも、現場に近いところから手探りで導入や拡大を進めるという事例もあり、どのように進めて行ったのか、なかなか語られる事は少ないのではないかと思います。そこで弊社が数年を掛けてグループの主要な企業にSnowflakeを導入し、活用が始ま...

こんにちは！KDDIアジャイル開発センターのmakotyoです。今回は、Snowflakeのクラスタリング深度をモニタリングするタスクを作成する問題に挑戦しました。 Week 33のチャレンジ内容今回挑んだ問題はこちらです。https://frostyfriday.org/blog/2023/02/10/week-33-hard/Frosty Friday社では、クラスタリング深度の監視に関する要件があり、これを監視するためのDAGを構築する必要があります。まず、以下のようなテーブルを作成します：create or replace table cluster_depth_...

前置きこんにちは。私の名はこみぃ。さすらいのデータエンジニアだ。※今日はいつもとは文体を変えてお送りしています。本日の記事はSnowflake Advent Calendarの18日目の記事である。ややタイトルが不穏だが、Snowflakeを運用しはじめて3年目を振り返って今思っていることなどを語りたいと思う。 2022, 2023年の振り返り3年目である2024年について語る前に、まずは最初の2年について語ろう。 2022年 Snowflakeの導入2022年の私は、一言でいうとミスミのじいさんであった。2022年は私のSnowflakeとの出会いの年であり...

Snowflake女子会 #3 ～新しい出会いとアイディア満載！ 男女問わずの懇親会!!～に参加したので簡単なレポート開催場所：開催場所：CCCMKホールディングス 渋谷ガーデンタワー9FTAROさんのオフィスですねお品書きLT1：【初心者による調査報告！】SQL、Python、Snowflake初心者が、Streamlit in Snowflake（SIS）をはじめるために、おさえておくと良さそうなこと我如古（がねこ） 聡志 氏補足noteが出たので追記https://note.com/ritz_tableau/n/nd68d3bf23c5dLT2：5分でわかる！ ...

はじめにSnowflakeユーザーグループであるSnowflake女子会の第3回が12/13に開催されました。会場はなんと弊社オフィスで行われ、大盛況の会となりました。また今回は男子も参加OKということで、僭越ながら1枠いただき、LT登壇させていただきました！そんな女子会の内容をレポートさせていただこうと思います！https://techplay.jp/event/963829 開催まで今回は初めての東京開催という事もあり、弊社の女子会メンバーは女子会運営の皆様と業務の合間を縫って企画や準備を進めていました。自社オフィスで実施するとはいえ、親会社の総務部門に確認し...