データエンジニアのkoreedaです。Frosty Fridayに出演する機会を頂きました。私が今回チャレンジする問題は、Week 69です。問題の趣旨を簡単に説明すると、「２つのカラムの文章の類似度をスコアで表してください」というところに集約するかと思います。文章の類似度を測る方法は、昨今のベクトル検索などでもトレンドな技術領域で様々な解法が考えられます。色々な実装パターンにチャレンジしてみたのでまとめてみます。 前準備前準備CREATE OR REPLACE TABLE sentence_comparison(sentence_1 VARCHAR, sentence_2...

はじめにこんにちは。データエンジニアの山口歩夢です！最近、Streamlitで日本語対応の日付選択コンポーネントを開発しました。標準のst.date_inputは英語表記のみとなっております。以下のissuesが挙がっていることもあり、曜日や月を日本語で表示するUIを日本のユーザー向けに提供したいと思い実装してみました。https://github.com/streamlit/streamlit/issues/7865開発の過程でStreamlit のカスタムコンポーネントが持つ制約にぶつかり、思うようにUIを実装できなかったので、そのお話をします。これらの制約があることから...

はじめに9月11日12日に開催された、Snowflake World Tour Tokyo（SWTT）2025が終わって2日が経ちましたが、まだ余韻に浸っています。今回は、Snowflake World Tour Tokyoでの個人的な体験と学びを中心に綴った雑記となり、技術的な詳細はほとんど出てきませんが、私なりのSWTTの楽しみ方と、そこで感じたことを振り返ってみたいと思いますので、ぜひお気軽にお読みください。結論から言うと、Snowflakeを理解し、活用し、コミュニティに参加し、できることは何でもやるこれがイベントを最大限楽しむための方程式だと感じています。 1...

今回、がくさんからお声がけいただき、なんとFrosty Friday Live Challengeにゲスト参加することとなりました！https://www.youtube.com/watch?v=5tRqCOHHGEMホストは、tomoさん、がくさん、あれさん、ゲストは、あすむるとさんと私 Frosty Friday Live Challenge @SnowVillageとはFrosty Friday Live Challengeは、Snowflakeユーザーコミュニティ「SnowVillage」が運営する、エンジニア向けのスキルアップ配信チャレンジ番組です！Frosty ...

はじめにデータエンジニアの山口歩夢です！このたび、ご縁があってStreamlit Creatorsのメンバーに選出いただきました。本記事では、自分がStreamlit Creatorsに選出いただくまでの経緯をまとめてみました。自分のコメントや感想は、以下のプレスリリースに記載いただきましたので、併せてご覧いただけると幸いです。https://datumstudio.jp/information/streamlit-creators-2025/ 本題 Streamlit CreatorsとはStreamlit Creatorsは、Streamlitが公式に認定して...

はじめに9月のSnowflake World Tour TokyoまでにSnowPro Coreをとります！試験を8月28日(木)に受けようと思います。あと28日。明日から8月になってしまいますね。いよいよな感じです。2周目第4回は80％！やった！！！！このままお盆前に受験できないかなぁ。調べながら解いたとはいえ、8割取れてくるなんて大喜びです。最近、自分のブログを見返すことが多いです。そして、誤記を見つけたり、追記したりしています(こっそり間違えている所も修正していますwww）。自分のブログが少しずつ自分に返ってきている瞬間ですよね。現在こちらのUdemyの問題を解...

はじめに9月のSnowflake World Tour TokyoまでにSnowPro Coreをとります！試験を8月28日(木)に受けようと思います。あと29日。2周目第3回、66％。前回の71％から大幅に下がってテンションも低めです。正直お盆以降SWTに向けたイベント準備とかやることが多すぎる。自分で完結できることは早く終わらせたくなってきているので、スピードアップしたいです(っていう言霊）現在こちらのUdemyの問題を解いています。Snowflake SnowPro Core Certification Practice Tests COF-C02今日の話題は仮...

結論を先に書きます。Squadに復活しました。皆様のおかげです この記事を以前書きました。https://zenn.dev/dataheroes/articles/7b4b8f64e0aef1Snowflakeの社員の方に目に入り、「確認させてください」という事に結果、（ふわっとした表現ですが）特定の期間にSqudになったメンバーはデータなりシステム連携なりに不整合があった社内で担当者に確認した結果、「有効期限：無期限」である事結果、私の期限切れは無効に成り、Squad_Memberに復活しました 意外なメリット以上のやり取りを色々な所で連句をやり取りした結...

本記事では、Amazon Data Firehose というサービスを使用して CloudWatch ログを S3 Tables の Iceberg テーブルに対してニアリアルタイムに配信する方法について紹介します。また、Snowflake で Iceberg REST カタログ統合を構成して、配信先 Iceberg テーブルを Snowflake からも参照可能にするところまでやってみたいと思います。 Amazon Data Firehose について 概要Amazon Data Firehose は、ストリーミングデータのニアリアルタイムな配信プラットフォームを簡単に構築で...

まさかの続編（アンサーソング）がリリースされましたRe> 気づけば無資格。時すでにSquad更新期限切れタイトルはChatGPTに考えてもらいました。2025/07/25にてSnowflake_Squadの資格が有効期限切れで無効に成りました。SummitのWallにも載った名前は今は失効しました。 SNOWFLAKE SQUADについてメンバー資格は発行から1年間です。私の場合は2004/7/24が発行年月日でした。https://www.accredible.com/ここを見ると有効期限が確認出来ます更新フロー、プロセスも良くわからないし、もしかしたら自...

データエンジニアのkoreedaです。先日、SnowflakeでDuckDBとArrowフォーマットの活用についてのMedium記事を読んでいました。https://greybeam.medium.com/query-locally-and-cut-snowflake-costs-with-duckdb-and-arrow-00aa56a3cd58ADBCは、Apache Arrowの列指向フォーマットを活用した次世代のデータベース接続インターフェースです。従来の接続方式とは異なり、列形式のままネットワーク転送され、変換コストが発生せず高速にデータを扱うことができます。列指向データ...

はじめに先日、Snowpark Container Services (SPCS) のJobサービスでnextflowを動かすことができるプラグインがあることを教えていただきました。https://github.com/Snowflake-Labs/nf-snowflake実際に動かしてみたのですが、なかなか動かなかったためこの記事はデバッグの奮闘日記になります。完全版ガイドを書いてやろうと思っていたのですが、想像以上に苦戦しているためこれまで試して「こういうことだろう」という確信を得た内容に関して、自分の知識をセーブする意味合いも込めて記事に書き示しておきます・・・（25...

DATUM STUDIO & dbt Labs 20250715 dbt labs 浅野さんdbt Fusionの紹介。Coreとの比較を添えてSnowflakeとのコラボ Fusionより早くCoreはPythonベースでしたがFusionはRustベースコスト最適化Coreの場合SQLのパースはWHの実行が必要。FusionはAST（抽象構文木）でSQLをパースし構文チェックをするデータガバナンスCoreとdbt Cloudの比較に置いてVS Code 拡張機能のリリースdbt projetct in snowflk...

皆さん。Streamlit in Snowflakeのコード管理大変じゃないですか？私の作成したStreamlit Materializationを使うとdbtでStreamlitアプリをコード管理する事ができます。めっちゃ便利なので使ってみてください。これを使うメリットとしてはStreamlit アプリケーションがリネージュに表示されるので影響範囲が楽dbt buildでStreamlit in Snowflakeアプリもデプロイ+コード管理出来る{{ref('')}}という参照構文がStreamlitの中で使えるので、開発環境の切り替えなども楽。dbt run -s...

会場入りにしぱっと目に入るのがSnowflake Summit 2025仕様のTシャツを着ている人の多さ株式会社ナウキャスト全体で13人行かれたとのことで納得株式会社ナウキャスト 六車Snowflake Summit2025全体まとめキーメッセージ「Easy」「Simple」六車の個人的ポイントELTがSnowflakeのネイティブ機能でほぼ出来るでもちょっとUIが古さを感じ、エコシステム全体とUIが異なるPosgress目指せ！HTAP（Hybrid Transactional/Analytical Processing）セマンティックレイヤー...

https://x.com/pei0804/status/1929928332080230505Snowflake主催の最大のカンファレンスであるSUMMITに参加してきました。去年に続いてサンフランシスコで、2025年6月2日から5日の4日間にかけて開催されました。当日の様子については、X でたくさん呟いてますので、そちらを御覧ください。私は、2023年、2024年 と参加して、今回で3回目の参加となりました。今回のSnowflake SUMMIT 2025は、一言で言うと 「すごかった」 です。 地に足がついたAIソリューションが出てきたAIブームが始まって以来、「革...

Streamlit in SnowflakeによるAI分析アプリ（PythonもSQLも苦手でもAI分析が出来るプリセットパッケージアプリ） Snowflake × AIで変わる！データ分析の新しいカタチ「データ分析の民主化」を5分で体験してみませんか？✅ SQLを書けない人でも自然言語でデータ分析✅ 分析結果をAIが自動で考察・レポート化✅ 美しいグラフを数クリックで作成✅ 社内の非エンジニアにも即座にデモ可能この記事で紹介するStreamlit in Snowflakeアプリなら、上記すべてがプログラミング不要で実現できます。今回は、特に非エンジニアもしくはプロ...

Streamlit は Python 製のインタラクティブな Web アプリケーションを簡単に開発できるフレームワークです。特に、データサイエンスや機械学習、BI・ダッシュボードといった領域で広く利用されています。https://streamlit.io/開発した Streamlit アプリケーションを社内向けに広く利用してもらうことを考えた際、それをデプロイするための環境が必要になります。今回、複数の Streamlit アプリケーションをデプロイするための基盤を AWS 上に構築してみたので、本記事ではその内容についてご紹介できればと思います。アーキテクチャの一例として参考になれ...

前置きこんにちは。さすらいのデータエンジニアのこみぃです。今を遡ること4ヶ月。とある新年会にてこんな会話が行われました。KT「キャンプをしたいんだよね」KM「いいっすね」KK「やりましょう」YY「キャンプ場予約しました」リアルキャンプイベントが爆誕の瞬間である。そんなイベントが先日ついに実施されましたので、本日はその記念すべき第一回のイベントレポートです。 今回の会場今回のイベントは5/23-25にHigh Gardenというキャンプ場を貸し切って行われました。https://high-garden.jp/実際のキャンプ場はこんな感じで、適度な広さで非常にい...

Snowflake では、複数の暗号化キーによるデータ暗号化が自動的に行われるようになっており、デフォルトの状態でも安全性高くデータ基盤を運用できるようになっています。しかし、組織や業界のセキュリティ要件によっては、顧客自身も暗号化キーを管理できる状態になっていることを求められる場合があります。Snowflake の Tri-Secret Secure を利用すると、顧客管理キーを Snowflake 上のデータの暗号化に組み込むことができます。本記事では、Tri-Secret Secure の機能概要と構成手順についてご紹介できればと思います。!公式ドキュメント にもある通り、T...