こんにちは！ レバレジーズのテクノロジー戦略室でデータエンジニアをしている佐々木です。 突然ですが、、テーブル定義書の更新って面倒 & 大変ですよね。 SQLを修正するたびに定義書も手動で直す、という運用をしているチームも多いのではないでしょうか。 レバレジーズのデータ組織もそうでした。企業の成長に伴い事業が増え、データが増え、SQLを更新するたびに定義書も手動で直す運用の負担が大きくなっていました。 そこで、定義書の品質を担保し、手動更新の手間を削減するべく DataformのSQLX ファイルの変更を検知して定義書を自動更新するツールを作りましたのでご紹介します！ 背景・課題 レバレジーズ…

はじめに レバレジーズのテクノロジー戦略室 AI/MLエンジニアリンググループでAIエージェント開発を担当している、彦久保と申します。状態遷移を持つLLMエージェントを設計する中で、レイテンシ最適化に有効だった「投機的並列生成」のパターンについて紹介します。 複数の「フェーズ（状態）」を順に遷移するLLMエージェントでは、フェーズが切り替わるたびにシステムプロンプトを差し替えてLLMを呼び直す必要があります。フェーズごとに与えるべき指示や扱うトピックが異なるためです。 この差し替えに伴って発生する2〜3秒のレイテンシ増加が、ユーザー体験を損なう要因になっていました。CPUの投機的実行（spec…

はじめに こんにちは！レバレジーズのデータエンジニアグループに所属している内山です。 今回は、社内エンジニアの保有スキル情報を対象に、BigQuery のベクトル検索（vector search）機能を使ったセマンティック検索の PoC を行いました。本記事では、その検証設計・結果をまとめてご紹介します。 この記事の対象読者 BigQuery でのベクトル検索導入を検討している方 社内検索システムをキーワードマッチからセマンティック検索に拡張したい方 埋め込みモデルや前処理の選び方で悩んでいる方 この記事を読むとわかること BigQuery vector search の検証設計の進め方（モデ…

こんにちは、レバレジーズテクノロジー戦略室で研究員をしている修です。 前回の記事では、約2万件のシンガポールの求人データからスキルの共起ネットワーク（スキルグラフ）を作り、「中心性」という指標でスキルの重要度を分析しました。前回の最後に、スキルのクラスタリングと給与分析を「今後やりたいこと」として取り上げておりました。今回は続編として、スキルのクラスタリングと給与分析を実際にやってみた結果をお伝えします。 「このスキルを身につけると、給与にどう影響するんだろう？」「ITと金融、どっちのスキルセットが市場で高く評価されてるの？」——そんな疑問に、データから迫ってみます。 この記事でやること スキ…

はじめに こんにちは！レバレジーズのテクノロジー戦略室でデータエンジニアをしている鈴木です。 普段、データエンジニアリング業務に勤しんでいる私ですが、先日、同じ部署のR&Dチームから、フリーテキストを構造化したいという相談を受け、Airflow, BigQueryML, Dataformを使ったアーキテクチャでいい感じのものができたので、紹介したいと思います。 概要 今回のお題をもう少し具体化すると、 フリーテキストに含まれているスキルを正規化したいというものでした。 例えば、以下のような案件情報があったとします。 データがこのままだと、検索や機械学習など二次利用するには、ちょっと使いにくいで…

テクノロジー戦略室AIMLチームの苑田です！ AIエンジニアとして昨年4月にレバレジーズに入社し、主にLLMを活用したシステムの構築・運用を担当しています。入社１年が経ったので、この1年を振り返ってまとめていこうと思います。 やったこと この１年でやったこと、思ったより多かったので時系列でまとめていきます。 LLMメールフィルター レバレジーズで最初に取り組んだ仕事です。営業担当者がメールを見て「これはどの業務だ？」と毎回判断する手間を減らすため、Geminiを使って本文を自動解析・タグ付けする仕組みを作りました。タグを見るだけで次のアクションがわかるようになり、現在は1日数千件のメールをこの…

1. はじめに レバレジーズテクノロジー戦略室先端技術チームの永安です。普段はレバレジーズ内のAI関連の研究開発に携わっています。さて、皆さんはLLMの構造化出力を使っているでしょうか? LLMによる処理をシステムに組み込む上で構造化出力は必須ですが、確率的に失敗するため困ることも多いと思います。そこで、LLMによる出力をどのように構造化しているのか、なぜ失敗するのか調査してみました。 2. 構造化出力の方法 LLMの構造化出力は実装ごとに細かな違いがありますが、ここでは Lu et al. (2025)[1]の分類に従います。この論文は、JSON生成の主要な方法として direct prom…

はじめに こんにちは！テクノロジー戦略室データエンジニアのゲンシュンです！ レバレジーズではCloud Composerを使ったデータのETLを行っています。事業数や扱うデータの種類が非常に多いので、大規模なデータを安定的に捌くことが求められます。オーケストレーションはCloud Composerで、具体的な処理はCloudRun JobsやCloud Batchなどにまかせるような設計になっています。 さて今回は、対象処理の数が事前に決まらない要件が新たに生まれたので、動的にも並列処理で捌けるようにしたお話をします。 従来の並列処理 TaskGroupを使って静的並列処理を実現しています。以…

はじめに こんにちは、データ戦略室のブライソンです。2024年6月、レバレジーズ全社で「AI推進」を戦略の1つとすることが決定し、私がその担当として任命されました。最初はたった1人で、しかも「AI推進室」なんて部署は存在しない上、何のルールも制定されていない無法地帯の状態からのスタートでした。そこから有志を集めて勝手に組織を名乗り、ルール整備や多数のPJ立ち上げから始め、紆余曲折を経て、最終的には「AIの民主化」に奔走するに至るまでの1年半の軌跡を、ここに書き残そうと思います。 なぜこの内容を書こうと思ったかと言いますと、過去にこちらの「社内AI推進者はつらいよ」という記事を拝見した際に、「た…

はじめに：AI開発特有の「評価の難しさ」とボトルネック こんにちは。レバレジーズでエンジニアをしている安藤です。 最近は主に、LLMを組み込んだプロダクトの品質管理（QAや自動評価基盤の構築）に注力しています。 LLMを組み込んだシステムの品質管理は、従来のWebアプリケーション開発とは異なる、非常に厄介な課題を抱えています。 最大の壁となるのは、「LLMの非決定性」と「自然言語の多義性」です。 従来のシステムであれば、「Aという入力には必ずBが返る」という決定論的なテストコードを書くことができました。 しかしLLMの場合、同じプロンプトでも毎回出力が揺らぐ「非決定性」を持っています。 さらに…

はじめに こんにちは！ テクノロジー戦略室 データプロダクトグループの森下です。 先週の記事は、AIMLチームによる昨年の振り返りでした。 今回はデータエンジニアとして、データプロダクトグループで実施してきた活動の1年間と、これから注力していきたいことについて記載します。 2025年にやったこと ELT・ワークフローエンジンの引っ越し これは2024年から引き続きでしたが、6年前に構築したDigdagとEmbulkの構成から、AirflowとFivetranへ引っ越しを続けていました。AirflowはGoogle CloudのCloud Composer上に実装しています。DigdagとEmb…

はじめに こんにちは、レバレジーズ テクノロジー戦略室AI/MLエンジニアリンググループの稲垣です。 私の所属するチームはいわゆる機械学習エンジニア、AIエンジニアが所属するチームで、レバレジーズの全組織横断でAIを活用したプロダクト、ツール、基盤開発を行っています。 実は、2024年に「レバレジーズの機械学習エンジニアの1年を振り返る」という記事を書いていまして、 もう2025年は終わっちゃいましたが、まだ年度内だから良いよねということで2025年版の記事を書いてみようと思います。 レバレジーズの機械学習エンジニア、AIエンジニアがどんなことをしているのか興味がある方はぜひ読んでみてください…

データ戦略室で室長兼データサイエンティストをしている阪上です。本日は先日、組織のキックオフイベントでお話した内容を紹介したいと思います。 点を追求することによる失敗 自分は過去に短期的なKPI（ここでは会員登録とします）の改善のために分析を行い、改善するためのマーケティング施策を見つけました。そして、A/Bテストで400%の改善をし、会員登録の率を大幅に改善させました。こんなに恐ろしいくらいにユーザーに反響がある施策があるのかと当時驚くばかりでした。 しかし、登録した会員からもたらされる売上インパクトが、施策をしない場合よりも悪化してしまうという事態に数ヶ月後に気づくこととなりました。これは短…

はじめに こんにちは、テクノロジー戦略室の室長をしています竹下です。マネージャー業務をやっていると、スプレッドシートをGASで自動化することも多く、JavaScriptはなんだかなーと思っていました。TSKaigiの代表理事としてもTypeScriptで書きたい！と思いたちやってみました。 Googleスプレッドシートやドキュメントなどを操作出来るGoogle Apps Script(以降GAS)は、通常はブラウザエディタで開発することが多いとは思いますが、 JavaScriptのため、コード補完が貧弱 近年のAIのコードアシストが使えない バージョン管理が出来ない(gitほど便利じゃない) …

はじめに こんにちは！データアナリストの高津です。 昨年4月に入社してから10ヶ月が経ちました。現在は、分析の要件定義から最終的なアウトプットまで、非常に「裁量の大きな環境」で仕事を任せて貰えています。 業務の自由度が高いからこそ、「タスクの抜け漏れ」や「効率的な進め方」に悩むことも少なくありません。今回は、同じように裁量の大きさに試行錯誤している方に向けて、私が実践している仕事の進め方のコツを共有します。 壁にぶつかった 直近、事業全体の意思決定に直結する大きな分析プロジェクトを担当しました。プロジェクトの概要としては、売上貢献度の高い顧客の属性を分析し、業務オペレーションの最適化を行うこと…

こんにちは。 データ戦略室データアーキテクトグループの田代です。 本ブログでも何度か経過報告をさせていただいている「データ分析基盤再整備プロジェクト」。この度、ようやく全社規模での展開がある程度完了しました。 これまでの具体的な取り組みや、特定サービスでの先行事例については、ぜひ以下の記事や資料もあわせてご覧ください！ 見返すと壮絶なブログリレーですね。本取り組みで擦りすぎました。笑 参考記事： データ分析基盤再構築への道！～レバレジーズの挑戦～ - レバレジーズ データAIブログ データ分析基盤再整備プロジェクトの全貌 - レバレジーズ データAIブログ データ分析基盤再整備から1年：アーキ…

はじめに こんにちは。 データ戦略室データアーキテクトグループの川村です。今回は25年下半期でデータアーキテクトグループで開催している勉強会の取り組み内容についてご紹介できればと思います。 勉強会開催の背景 データアーキテクトグループでは各事業部に対して担当者をたて、データ分析基盤の構築やモニタリング作成を実施しております。日常業務に追われていると、スキルアップのきっかけとなる機会が取れないという問題がありました。これを解決するために、月に1回30分でハンズオン形式で新しい技術のキャッチアップを行うことになりました。この勉強会によって、触り程度にはなりますが新しい技術を学習するきっかけにもなっ…

こんにちは。データアナリティクスグループの丸山です。 現在、私たちのチームでは求職者の方々により納得感のある仕事探しを体験していただくため、レコメンドエンジンに「LLMを用いた推薦理由の説明」を付加するプロジェクトに取り組んでいます。 このような推薦理由の説明はTikTokなど転職支援サービス以外でも導入されており、サービスのKPIにポジティブな影響を与えるケースも多いことが知られています。 さて、LLMの生成テキストをプロダクトに組み込む際、避けて通れないのが「その説明は本当に妥当なのか？」という評価の問題です。特に、運用データがない段階ではLLM as a judgeなどで算出した指標がビ…

はじめに こんにちは。データ戦略室データアーキテクトグループの櫻井です。今回は自分がクエリレビューでいただいたコメントを今後に活かせるよう、自分なりにコーディング環境を整える話になります。以前の投稿『【VScode × Github Copilot】脱・目検チェック！社内コーディング規約レビュー自動化への挑戦』の内容と重複する部分もあるのですが、ご了承いただけますと幸いです。また、以前の投稿も是非読んでみてください！よろしくお願いします！ 背景 レバレジーズではGoogle CloudのサービスであるDataformを使用してデータの加工・変換プロセスを管理しています。Dataform上でクエ…

はじめに こんにちは！レバレジーズデータ戦略室、データサイエンティストのJacobです。 今回は、以下のような問題を考えてみましょう。 5000人の求職者と500社の企業があります。 各企業に対して、最適な候補者10名のリストを送りたいです。 企業と求職者の組み合わせに対して、0.0（マッチしない）から1.0（非常に相性が良い）までのマッチングスコアを出力するスコアリング関数（機械学習モデルなど）があるとします。 単純なアプローチは、各企業ごとに全候補者のスコアを計算し、上位10名を選ぶ方法です。しかし、この方法には「特定の優秀な候補者に推薦が集中してしまう」という欠点があります。一人の求職者…

はじめに こんにちは、レバレジーズでアナリストをしている内田です。 本記事では、施策効果を正しく測定するための手法「CausalImpact」を紹介します。後半では、TVCMの効果検証を想定した分析例もお見せします。 CausalImpactとは何か？ CausalImpactとは、Googleが開発した因果推論の手法で、「もし施策を実施しなかったら、どうなっていたか」という反実仮想（Counterfactual）を推定し、実績値との差分から施策効果を測定するアプローチです。 時系列データに対してベイズ構造時系列モデル（BSTS）を適用し、施策がなかった場合の予測値を算出します。この予測値と実…

はじめに こんにちは。 レバレジーズデータ戦略室、データアーキテクトの浅見です。 データ分析基盤としてBigQueryを活用している企業は多いと思いますが、それに伴う「権限管理」はどのように行なっているでしょうか。 レバレジーズでは、データ戦略室以外の組織でも BigQueryを活用したデータ分析を各自が行なっています。 そのためデータ戦略室では、現場の社員に対して BigQueryのデータ閲覧権限を付与する必要がありますが、この「BigQueryの権限付与オペレーション」は、データガバナンスと業務効率の観点から課題となっていました。 データ分析基盤を構築するだけでなく、データ利用における課題…

はじめに こんにちは。 レバレジーズデータ戦略室、データアーキテクトグループの鵜飼です。 今回は、1年前に私が投稿した記事『データ分析基盤再整備プロジェクトの全貌』のその後についてお話をできればと思います。 データ分析基盤を再構築していく中で、前回の記事から変わった点や、新しいアーキテクチャを導入して良かったこと・大変だったこと等を共有できればと思いますので、これからデータ分析基盤の再構築を検討している方の参考になれば幸いです！ 前回の記事から変わったこと 実装をしていく中で、想定していたアーキテクチャでは要望を実現できないことが何度かあり、都度アーキテクチャの変更を検討しながらデータ分析基盤…

はじめに こんにちは。レバレジーズデータ戦略室 データアーキテクトグループの辰野です。 皆さんは、特殊なファイル形式やカスタムルールに対するコードレビューの自動化に課題を感じたことはありませんか？ レバレジーズではGoogle CloudのサービスであるDataformを使用しているのですが、ここで採用されている独自のファイル形式「SQLX」に対するコーディングチェックは、その一つだと思います。 本稿では、私が試行的に実装した「VScodeとGitHub Copilotを用いたSQLXファイルの自動レビュー機能」について、具体的な内容と残る課題についてご紹介します。 同じような課題をお持ちの方…

はじめに こんにちは！データ戦略室でマネージャーをしている小山です。 久しぶりの投稿になりますが、実は先日第二子が産まれ、ここ最近3ヶ月ほど育児休暇を取得しており、先月に復職したところです。 せっかくなので、育休系の記事を書きたいと思いますが、「育休取ってみてどうだった？」みたいな記事はよくあるので「マネージャーが育休を取っても組織は問題ないのか説」について書きたいと思います。 そもそも自分も育休取得は2回目なので、育休取ってみたどうだった系の記事よりもこっちの方が書いていて楽しい感じはあります笑 育休をとると決める 編 2人のこどもを同時に面倒を見るルーティンの確立にはどれくらいの余裕が必要…

はじめに こんにちは、データ戦略室のブライソンです。2025年11月15日に沖縄でスパルタンという過酷なレースが開催されました。そのレースに、レバレジーズのエンジニアたちと参加してきました。本記事では、レバレジーズのエンジニア・データAI組織における、職種の垣根を超えたチームワークと、共に挑戦を楽しむ企業文化に焦点を当ててご紹介します！今回、技術や仕事の話は一切出てきません！ レバレジーズのデータAI組織は、レコメンドPJやデータ分析基盤刷新PJ、その他のPJにおいて、内部での連携が必須です。しかし、それに止まらず、他職種と仕事をすることも多いため、多種多様な職種の人と知り合いになり、今回のよ…

はじめに こんにちは！レバレジーズのテクノロジー戦略室でデータエンジニアをしている佐々木です。 みなさん業務にAIを使っていますか？私はNotebookLMをよく使っています。 自分が指定した情報源から回答を生成してくれるので、信頼度が高いのがありがたいです。 レバレジーズでは、社内で使われている独自の用語を質問できるNotebookLMも提供されており、入社直後の先輩社員が話している言葉がわからない問題の強い味方です！ NotebookLMのように、外部情報を読み込ませてAIをカスタマイズする技術を「RAG」といいます。 いつもお世話になっているのですが、「RAGって何？」と聞かれるとちゃん…

はじめに ※本記事の内容は、筆者個人の見解を含みます。 こんにちは。レバレジーズのテクノロジー戦略室でデータエンジニアをしている内山です。 日々の業務には、「ここが少し楽になれば」「すぐ確認できれば」という小さな不便が潜んでいます。 そういう課題こそ、ちょっとした仕組みでサクッと解消できると嬉しいものですよね。 最近は、Pythonだけで Webアプリを作れる Streamlit という手軽な選択肢もあり、思いついた改善をすぐ形にできるようになりました。 今回紹介するミニアプリもそのひとつで、CSVデータの差分を自動で整理して表示することで、確認の手間をぐっと軽くするものです。大掛かりな開発で…

こんにちは、レバレジーズテクノロジー戦略室で研究員をしている修です。 データ系職種の皆さんは「次に何を学ぼうかな？」「このスキルとあのスキルって、どう関係してるんだろう？」と思ったことはありませんか？ 今回、そんな疑問を解決するために、約2万件の求人データセットを使って、スキル同士の関係性を「グラフ」として可視化し、「どのスキルが一番『ハブ』になっているのか？」という観点から分析してみました。 この記事でやること データと手法の紹介：どのデータを、どんな方法で分析したのかを簡単に説明します。 スキルグラフの作成：求人データから「スキルの相関グラフ」を作ります。 グラフ分析（中心性）：作成したグ…

はじめに こんにちは！レバレジーズのテクノロジー戦略室でデータエンジニアをしている鈴木です。 半年くらい前に、kaggleのチュートリアル(タイタニックの問題)を、FastAPI MCP + Claude Desktopを使って、自然言語だけでやってみたので紹介します！ 背景 Googleのイベントに参加した際に、Looker in Geminiの対話型分析をみて、クエリを書かなくても、データからインサイトを得られる時代が来るのだなと思いました。そこで、専門的な知識を要する機械学習も、自然言語である程度やれたら、もっと身近なものになって良いな~と思い、実験してみることにしました！ 前準備 ka…