はじめに：データ民主化の壁と解決策データ基盤の構築において、「組織全体でデータを活用したい（データ民主化）」というニーズと、「顧客の氏名やメールアドレスなどの個人情報（PII）を保護しなければならない」というセキュリティ要件は、しばしばトレードオフの関係になります。これまでは、「PIIが含まれるからこのテーブルは分析担当者に見せられない」といった、テーブル単位での大雑把なアクセス制限を行いがちでした。しかし、BigQueryとGoogle Cloudの周辺機能を組み合わせることで、 「データへのアクセスは許可しつつ、機密情報だけを隠す（または制限する）」 ことが可能になります。...

はじめに：課題「ただのSQL」の限界データ処理が複雑になると、通常の SELECT や INSERT を書くだけでは対応しきれない壁にぶつかります。条件分岐ができない：「もしテーブルAが空なら、テーブルBからデータを持ってくる」といった処理が1つのSQLで書けない。繰り返し処理ができない：「過去1年分のテーブルを、1ヶ月ずつ順番に処理したい」時に、12個のSQLを手書きしている。コードのコピペ地獄：「日付」だけが違う全く同じ長さのSQLが大量に散乱し、保守ができない。解決策：「ストアドプロシージャ」の導入データベース側で「プログラム」のようにSQLを制御・パッケ...

はじめに企業が保有するデータの約80%は、「テキストデータ」であると言われています。中でも顧客アンケート、口コミなどのユーザー生成コンテンツは、顧客の生の声を知るための貴重な情報源です。しかし、これらのデータをそのままビジネスや分析に活用するには、大きなリスクと壁が存在します。そのまま扱えないリスク: 生のテキストデータの中には、スパムや誹謗中傷、特定の属性に対する差別的な発言など、ブランドを毀損する「不適切ワード（ノイズ）」が混ざるリスクが常に伴います。これらそのままダッシュボードに表示したり、AIの学習データに使ってしまったりすると、重大な問題に発展しかねません。対...

はじめに近年、「自社データと他社データを掛け合わせて顧客の解像度を上げたい」というニーズを持つ企業が増加しています。しかし、これまでのデータ連携には以下のような高いハードルがありました。顧客の個人情報（生データ）を外部企業にそのまま渡すことはできない。データの受け渡し（ファイル転送など）による情報漏洩や管理の形骸化リスクがある。安全に「集計結果」だけを共有したいが、独自のシステム開発に膨大なコストがかかる。これらの課題を解決し、データ連携の実現ハードルを劇的に下げる機能として、2023年3月にプレビュー版が発表され、現在では一般提供（GA）となっているのが 「BigQu...

はじめに以下の記事で「BigQuery Data Science Agent」を活用し、自然言語（チャット）の指示から分類予測モデルを構築する実践的な手順を紹介しました。https://zenn.dev/e_agency/articles/68cc1a987f8755BigQuery上のデータを使って機械学習を行う場合、大きく分けて 「 Pythonの機械学習フレームワーク（scikit-learn等） を利用してモデルを構築する方法」 と 「BigQuery ML（SQL）でモデルを構築する方法」 の2つのアプローチが存在します。「どちらを使えばいいの？」「具体的に何が違う...

はじめにBigQuery MLでモデルを構築した際、必ず向き合わなければならない問いがあります。それは 「このモデルは本当にビジネスで使える精度なのか？」 ということです。本記事では、作成したモデルの実力を正しく測る「モデルの評価」の仕組みと、目的に応じた評価指標の選び方、そして期待する精度に届かなかった場合の「精度改善」について解説します。 1. なぜモデルの「評価」が必要なのか？機械学習モデルをビジネスの現場に投入する前に、品質保証（QA）プロセスとして評価を行う理由は主に3つあります。ビジネスリスクの回避精度の低いモデルをそのまま本番環境に導入してしまうと、...

はじめにこの記事は、下記の記事の続編となります。https://zenn.dev/e_agency/articles/9e1d7c459f87ff前回は、企業側からアプローチする「プッシュ型（メールやLINE配信など）」を対象に、アップリフトモデリングの基本を解説しました。今回は視点を変え、Webサイトやアプリ上でユーザーの行動に合わせてクーポンなどを出し分ける 「獲得型施策」 に焦点を当てます。なお、本記事では具体的なユースケースとして、「飲食店予約サイト（検索結果や店舗詳細ページ）」でのクーポン出し分け機能の実装をイメージして解説を進めます。ここで紹介する考え方は、E...

はじめにBigQueryで複雑なSQLを書いていると、サブクエリやCTE（共通テーブル式）が何層にも重なり、最終的に「どこで何をしているのかパッと見で分からない」巨大なクエリになってしまうことはありませんか？そんな課題を解決する手段として、GoogleSQLの拡張機能である 「パイプ構文」 を活用するのがおすすめです。本記事では、このパイプ構文の基本的な使い方や、従来の標準構文と比較したメリット、そして知っておくと便利な専用演算子について解説します。 パイプ構文とは？パイプクエリ構文は、クエリの読み取り、書き込み、メンテナンスが容易になるように設計された、クエリの「線形...

はじめに「広告費をいくらかけたら、売上はどうなるか？」これはマーケティング担当者が常に直面するシンプルな問いです。本記事では、BigQuery MLを活用して、広告投資の最適化に向けた「リアルな売上シミュレーター」を構築するアプローチを解説します。AIに「予算の頭打ち（飽和点）」や「季節性」を学習させ、精度の高い予測モデルを作成し、最終的には意思決定をサポートするためのダッシュボード可視化までを行います。 学習用データの前提今回使用する学習用データ（cost_revenue テーブル）は、以下のような構造と傾向を持つ日次データとします。Geminiでデータの作成を行いま...

はじめにBigQueryには、位置情報（緯度・経度など）を扱うための強力な「地理空間関数（GIS関数）」が備わっています。しかし、この新機能が登場する前までは、SQLの実行結果を直接地図上にプロットして視覚化するためには、BigQuery Geo Viz という外部の専用Webツールを使う必要がありました。別画面を開いてクエリを再実行する…といった手間がかかっていましたが、2025年10月のアップデートにより、BigQuery Studioの画面上でクエリの実行結果を直接地図として視覚化できる機能が一般提供（GA）されています。本記事では、この新機能を使って、緯度・経度のデ...

機械学習モデルの構築には、データの前処理からアルゴリズムの選定、パラメータのチューニングまで、PythonやSQLの高度な専門知識が求められます。しかし、BigQueryに新たに搭載された 「Data Science Agent」 を使えば、自然言語でチャットするだけで、これらの一連の作業をAIが代行してくれます。本記事では、Data Science Agentの概要から、実際のモデル構築シナリオまでを詳しく解説します。 1. Data Science Agent とは？Data Science Agentは、BigQuery内のノートブックに統合されたAIアシスタント機能です。...

従来のキーワード検索では拾いきれなかったユーザーの「検索意図」や「言葉のニュアンス」を汲み取る 「ベクトル検索 (Vector Search)」 の仕組みと、BigQuery上での実装手順について詳細に解説します。 1. キーワード検索の限界とベクトル検索ユーザーが本当に求めているものは、キーワードではなく「意図」の中にあります。 従来の「キーワード検索」の課題従来の検索は、文字列が 「一致するかどうか」 で判定します。そのため、以下のようなケースで 「0件ヒット」 となり、機会損失が発生します。表記ゆれ: 「スマホ」と「スマートフォン」など、単語が少し違うだけでヒット...

サイト内検索の品質を定量的かつ客観的に評価するための指標 「NDCG (Normalized Discounted Cumulative Gain)」 と、BigQueryを用いた実装方法について詳細に解説します。 1. 検索品質をどう測るか？「検索機能の改善」を行う際、何をもって「良くなった」と判断していますか？CTR（クリック率）やCVR（コンバージョン率）も重要ですが、「ユーザーが求めている情報が、適切な順位で表示されているか」 を測る指標として NDCG が広く使われています。 NDCGとは？NDCGは、以下の4つの要素を組み合わせてランキングの品質をスコア化する指...

今回は、単なるコンバージョン予測を超え、施策による「純増効果」を予測する 「アップリフトモデリング」 について解説します。 1. アップリフトモデルとは？アップリフトモデルとは、「施策（クーポン配布など）を行った場合」と「行わなかった場合」を比較し、施策による 「純増効果（Lift）」 を予測するAIを用いた分析手法です。従来のCV予測が「この人は買うか？」という結果の予測であるのに対し、アップリフト予測は 「施策のおかげで買うか？」という差分の予測 を行います。 顧客の「4つのセグメント」アップリフト分析では、顧客を以下の4タイプに分類し、ターゲットを絞り込みます。...

はじめにConversational Analytics（対話型分析）は、SQLを書けないユーザーでも自然言語でデータを分析できる非常に強力な機能です。データ活用の民主化を推進する一方で、これをそのまま社内に公開・共有することには、コスト面での大きな懸念 があります。エンジニアであれば「パーティション」や「スキャン量」を意識してクエリを書きますが、一般的なビジネスユーザーはそうではありません。「とりあえず、サービス開始から今までの全データを見せて」といった何気ない指示ひとつで、AIは忠実に全期間・全データを対象としたクエリを実行してしまいます。その結果、たった1回の会話で想定...

はじめにイー・エージェンシーの川村です。このたび、得意とするData Tech・AI関連の技術や自社の取り組みを多くのエンジニアに届けるため、Zenn Publicationで技術Blogを開設しました！https://zenn.dev/p/e_agency技術Blogの開設にあたり、Google Cloud（Cloud Build + Gemini）と GitHubを組み合わせることで、記事の作成から公開までを自動化するワークフローを構築しました。本記事では、このワークフローの全体設計と各ステージのポイントを紹介します。この記事自体も、このワークフローを通じて執筆・レビュ...

1. はじめに2026年1月29日、BigQueryの Conversational Analytics（対話型分析） がプレビュー公開されました。これは、SQLを記述することなく、チャット形式でAIに質問を投げかけるだけで、以下のプロセスが自動化される機能です。SQLの自動生成と実行データの集計テキストによる解説グラフによる可視化BigQueryコンソールのエクスプローラーやクエリ結果画面に追加された「会話を作成」メニューから呼び出すことができます。 2. 「データエージェント」の作成のメリットデータソースと直接会話するだけでは、AIによる「解釈の揺らぎ」が...