みなさんこんにちは、クルトンです！今日は Databricks のデータ取り込み機能の中でも特に強力な Auto Loader を扱います。Auto Loaderは、クラウドストレージ(S3 / ADLS / GCS)に到着するファイルを 自動で検知し、増分でスケーラブルに 処理できる仕組みです。Day6 で理解しておくと、翌日のDay7(Delta Live Tables)、Day8(ストリーミング)、Day10(最適化)でも土台として効いてきます。 📦 Auto Loaderとは？Auto Loaderは、クラウドストレージの 新着ファイルを効率よく取り込むための仕組み...

みなさんこんにちは、クルトンです！今日は、レイクハウスの“分析”を担う Databricks SQL（DBSQL） を扱います。SQL クエリの実行、BI ダッシュボード、外部 BI 接続の中心となる機能で、分析基盤をDatabricksに統合する際の要になる部分です。SQL Warehouseの仕組みやAI/BIダッシュボードとの関係を押さえておくと、後日のDay10(パフォーマンス最適化)やDay23(Delta Sharing)も理解しやすくなります。 📘 Databricks SQLとは？Databricks SQL(DBSQL)は、レイクハウス上のデータを SQL...

みなさんこんにちは、クルトンです！今日は、Databricks のデータガバナンスの中心となる Unity Catalog（ユニティカタログ） を扱います。データだけでなく、AIやファイル、Feature Storeの特徴量なども一元的に管理できる仕組みであり、Databricksを本番運用するうえで欠かせない要素です。 🗃️ Unity Catalog とは？Unity Catalogは、Databricks上の データ・AI・ファイルリソースを統一的に管理するガバナンス基盤 です。Databricks公式：https://docs.databricks.com/ja/...

みなさんこんにちは、クルトンです！今日は、Databricksのあらゆる処理を支えている Apache Sparkの基礎 を扱います。Delta Lake やストリーミング処理なども Spark を土台として動いているため、ここを押さえておくと後日の内容が理解しやすくなります。 ✨ Apache Spark とは？Apache Sparkは、大規模データを高速に分散処理するためのエンジンです。Databricks上のデータ処理やSQLクエリ実行、Delta Lake読み書きなどの多くがSparkの仕組みに基づいています。Spark（Databricks）の概要：http...

みなさんこんにちは、クルトンです！本日は、Databricks を支える レイクハウスアーキテクチャ について扱います。データレイクとデータウェアハウスの考え方から始め、Delta Lake がどのように関わっているのかを見ていきます。 📦 データレイクとは？データレイクは、S3 / ADLS / GCS などの「オブジェクトストレージ」に形式を問わずデータを保存できる仕組みです。AWS公式（AWS S3 の整合性モデル）：https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/Welcome.html#Co...

みなさんこんにちは、クルトンです！2025年もアドベントカレンダーの季節がやってきました！……と言いつつ、今回は1ヶ月遅れの2026年1月公開となっております。2023年はLLMに関する25日間の旅をご一緒しましたが、今回はテーマを一新し、Databricks の“公式ドキュメントを読み解く”アドベントカレンダーに挑戦します。私自身「Databricksを体系的にキャッチアップしたいけど、どこから学べばいいんだろう？」と思い、アドベントカレンダーという形で公式ドキュメントで得た知識を整理しようと今回企画しました。Databricksは改善スピードが早く、新機能も次々と追加されるた...

概要対象者: Squadbaseって何？という人内容: 新星ツール「Squadbase」でダッシュボードを作り公開するまでの全手順読むとわかること: BigQuery上のデータをソースに、Squadbaseを用いてノーコード感覚でアプリ開発からデプロイまで完結させる方法 序説最近、Squadbase というサービスを触ってみました！これまでのBIツールといえば、「データの中身（数値）は日々更新されるけれど、グラフの種類や配置（ダッシュボード自体）は一度作ったら固定されるもの」という、どこか静的なイメージがありました。しかし、今回Squadbaseを実際に触ってみて、...

概要対象読者:AIエージェント作ると聞いてビクッとなった人記事の内容:「エージェントを作るエージェント(A4A)」というOSSの紹介と、それを使った実装・連携・デプロイの完全ガイド読んで、得られること:チャットだけでエージェントを作る新しい開発体験と、ADK・A2A・Agent Engineを組み合わせた実践的な技術知見 序説「いやー、世の中どこでもAIだのAgentだので、またエージェントの記事か。」そんなことお思いの方、多いかと思います。そんな私も、読む側だったらそう思って、記事をざーと高速スクロールしたと思います。(やっぱ、人間スクロールする瞬間が一番ワ...

概要読む対象者Snowflake を使って日付データを扱うエンジニア・データアナリスト向けこの記事の内容FrostyFriday Week74にある、フォーマットが混在した日付データを正規化する実験と結果読んでできること・わかることTRY_TO_DATE やCortex LLM（AI_COMPLETE）の使用した日付フォーマットのやり方 序説みなさん、日付のフォーマット変換はどのように対応しているでしょうか？(突然)日本国内向けのサービスであれば、2025/10/21 や 2025-12-13 といった ISO形式、が主流であり、あまり困ることはないかもしれません...

コーディングエージェントにSQLをいい感じに検索させたい！Serena（MCPでコーディングエージェントに、セマンティック検索などの機能を提供するツール）ではSQLがサポートされておらず、ぐぬぬと思っています。しかし先日ast-grepというツールを見つけました。作者の方の記事によると、構造検索という抽象構文木（AST）へのパターンマッチで検索ができるようです。https://zenn.dev/hd_nvim/articles/e49ef2c812ae8dClaude Codeにast-grepで構造検索したら「SQLでもSerenaっぽい、いい感じの検索ができるのでは？」と思っ...

最近は趣味・業務共に Claude Code や Codex CLI などのコーディングエージェントを使って開発を行うことが多くなってきました。コーディングエージェントはたまに失敗することもありますが、コーディング速度が圧倒的に早く、見ていて面白いところがあります。そんな中、趣味ではもう少し趣向性の高いプログラミングをやってみたくなりました。今回はそれを叶える実行環境として、以前から気になっていた Z80 をベースにしたコンピューターについて調査してみます。個人的には、コンパイラが一般的ではなかった時代にハンドアセンブルでコンピューターを動かすという体験にとても憧れがあり、それを...

概要読む対象者 自作冷蔵庫の製作過程に興味がある方、自作冷蔵庫界隈の人読んでわかること 自作冷蔵庫の流れの雰囲気と、「冷えない原因（電流・循環不足）」から学ぶ冷却の仕組み読んでできること 自作冷蔵庫を作る上でのヒントが得られる(？) 序章 ハッピーホワイトクリスマス！！！いやー、沖縄でもついにホワイトクリスマスが見られるようになりましたね。上の画像は、自作冷蔵庫の制作過程で実験したヒートシンクについた霜の様子です。みなさんの中にも、自作冷蔵庫について興味ある方がいるかと思います。ということで（？）、今回はホワイトクリスマスらしく自作冷蔵庫について熱く語っていき...

概要対象読者：「RevOpsって聞いたことあるけど、結局なに？」な人。“AIを入れる前にデータが整ってない”問題に心当たりがある人内容：datatech-jp RevOps輪読会（第7章）で扱った「生成AIがレベニュー組織にもたらすインパクト」のざっくりまとめ(詳しい話が知りたい人は、本をぜひご覧ください) 序説みなさん、突然ですが「RevOps（レブオプス）」という言葉をご存知でしょうか？ 「聞いたことはあるけど、営業の話でしょ？」「結局なにをする人？」と思っている方も多いかもしれません。しかし、データに関わる私たちにとって、実は無視できない概念になりつつあ...

みなさんこんにちは、クルトンです！今回は2025年11月1日〜12月2日(つまり本日まで) にアップデートされた情報をまとめてみます。対象としては、以下の内容です！Databricks Runtime 17.3 LTS / 17.3 LTS MLDatabricks プラットフォーム（2025年11月）Feature-specific release notes（AI/BI, SQL, dev-tools & SDKs, Connect, Asset Bundles, Lakeflow Spark Declarative Pipelines, Serverless co...

こんにちわっ、がく＠ちゅらデータエンジニアです。https://qiita.com/advent-calendar/2025/frostyfridayFrosty Friday Advent Calendar の2日目の記事になります。 Frosty Friday Week125 Advanced Jinjahttps://frostyfriday.org/blog/2025/01/03/week-125-advanced/Frost Frydayには、初級（Base）、中級（Intermediate）、上級（Hard）がありますが、たまーーに、Advanced（＝上級相当）...

みなさんこんにちは、クルトンです！ちゅらデータ入社後初ブログとして、Databricks のチュートリアル「ノートブックから CSV データをインポートして視覚化する」をやってみました 🎉チュートリアルの公式ドキュメントはこちらです。👉 Databricks 公式チュートリアル（GCP 版） 🧭 やってみたまず、チュートリアルページから以下の CSV ファイルをダウンロードしましたが、結果的には不要でした。health.data.ny.govDatabricks ワークスペースで Unity Catalog が有効になっているかを確認します。ドキュメントの手順...

がく＠ちゅらデータエンジニアです。こんばんはっ！！現在、ちゅらデータのデータエンジニアギルドでは、社内アドバイザリーって取り組みをしています。 社内アドバイザリーとは弊社では様々なデータエンジニアリングな案件をさせていただいております。データエンジニアリングはとても範囲が広範で、やったことがなかったり、どうすればいいのか？あたり非常に迷うことが多いと思います。そこに対して、有識者として主にシニアデータエンジニアがアドバイザリーを行い、デリバリーの品質を担保していこう！って取り組みです。 黄色い「ni-gaku」がまぁるくおさめまっせ！！！黄色い「ni-gaku」...

はじめにこんにちは。kayoと申します。すっかり寒くなってきて秋というか冬を感じる今日この頃です。季節の変わり目なので私はここ最近2週間に1度のペースで風邪をひいていますｗ皆様も体調には気を付けてくださいね。それでは早速本題に入ります。SnowflakeのPERSONユーザーはMFAが必須となっています。TableauなどのBIツールから接続する際に、どのような認証を採用したらいいのか探したところ、programmatic access tokens（PAT）がよいと思いましたので試してみました。PATは2025年4月にリリースされているので既にご存じもいらっしゃるかと思...

概要この記事の対象者： Gemini TTS触ったことないけど、興味ある人(逆に細かな設定、最新情報が気になる方はドキュメント見た方がいいかもです！)この記事を読むとわかること： 対応モデル・基本コード・英語指示（Say/Wait等）・声質/話法/複数話者設定の要点この記事を読むとできること： Pythonで音声を生成・再生し、声・間・話者を調整したTTSをすぐに動かせる 序説みなさんTTSはご存知でしょうか？Google社のNotebookLMツールにもAudio機能がありそこでもTTSが使われていますhttps://notebooklm.google/しかも、従...

がく＠ちゅらデータエンジニアです。こんばんわ！ずいぶん涼しくなって過ごしやすくなってきましたね！ご飯も美味しくて・・・あれ、また0.1トンになｒ・・・・（ぎゃーーー 概要以前、S3互換ストレージの検証で、Cloudflare R2について行いました。https://zenn.dev/churadata/articles/c5de5bd35f9b05今回は、S3互換ストレージのWasabiについて検証をしてみたいと思います。単純な外部Stageとして外部ボリュームとして、Icebergテーブルが作成などのオペレーションができるか？を確認してみます。 wasab...