はじめにこんにちは。D2Cのデータサイエンティスト(AIエンジニア)の須田です。前回、最小限のリソースで社内向けSQL自動生成ツールを構築した話を記事にまとめました。もしまだ読んでいない方は、ぜひこちらからご覧ください▶︎ 最小限のリソースで作った社内向けSQL自動生成ツールの話今回はその続編として、社内データ探索をさらに身近に、スムーズにするための新機能をリリースしました。 テーマは「テーブルレコメンド × SQL生成」です。この記事では、新機能の中身を中心に紹介します。「こういう分析をしたいけど、どのテーブルを使えばいいの？」「社内のデータを使ってこういうこと...

こんにちは。D2Cのデータサイエンティスト（AIエンジニア）の須田です。「どのテーブルを使えばいいかわからない…」社内データ活用の現場でよく聞くそんな声に応えるため、自然言語で質問するだけで、社内データベースから必要な情報を探し、SQLまで生成してくれるAIツール「Kibidango」を開発・リリースしました。機能の詳細については以下の記事をご覧ください👇▶︎ 社内データ活用を加速する“Kibidango”の新機能！テーブルレコメンド×SQL生成で検索体験を革新本記事ではRAG（Retrieval Augmented Generation）を活用する中で得た学びをお伝えします...

1. はじめにこんにちは株式会社D2C（以下D2C）でデータサイエンティストをしている井上です。本記事では、WSDM 2019で発表された論文「Neural Demographic Prediction using Search Query」を紹介します。 1.1 記事の要約検索クエリからデモグラフィック(性別や年齢)予測を行うためのHURA(Hierarchical User Representation with Attention)モデルを提案した論文HURAモデルはWord Encorder, Query Encoder, User Classification...

こんにちはD2Cデータサイエンティストの城田です。この記事では「Python実践データ分析課題解決ワークブック」について紹介をしていきます。 はじめに私は普段、データサイエンスを活用する業務に携わっています。その中でよく参考書や専門書の統計・データサイエンスの知識を、そのまま実用に活かすことは難しいと感じることがあります。というのも、現実にある問題の多くは複雑でケースに対して参考書のように最適解を掲示することが難しいからです。参考書にあるような理想的な条件を鵜呑みにして、現実のデータをそのままアルゴリズムに当てはめても、分析結果は不明瞭になりがちで、仮に良い結果が出たとして...

I.はじめに昨日2025年2月25日、Anthropic社はClaude 3.7 SonnetとClaude Code(プレビュー版)をリリースしました[1]。素晴らしく未来を感じさせるものでしたので、感動を共有するために速報記事をしたためました。※本記事はあくまで筆者一個人の見解によるものであることをご了承ください。また、検証には私物のClaudeアカウントを利用しました。 II.リリースの概要発表のあったClaude 3.7 SonnetとClaude Codeについて簡単にご紹介します。 (1)Claude 3.7 SonnetClaude 3.5 Sonn...

はじめにこんにちは！D2Cでエンジニアとして働いている寺道です。2024年4月に新卒でD2Cに入社し、現在はプロジェクトチームに配属され、業務に携わっています。本記事では、D2Cの2024年度新卒技術研修で何を学んだのか、何を感じたのかを実際に受けた新卒エンジニアの視点から書きました。D2Cの新卒エンジニア職ではどんな研修を行っているのか、入社を検討されている方や研修内容に興味がある方に参考になれば幸いです！!※本記事の内容は2024年新卒入社の執筆者が受けた研修を基にしています。 毎年、研修内容の改善を行っているため、参考情報として活用ください 研修の概要D2C...

はじめにこんにちは！D2Cでデータエンジニアをしております、飯森と申します。今回はAWSのLake Formationの機能、LF-tagを使って、2アカウント間でDB・テーブルのクロスアカウント連携を行う方法を共有したいと思います。ここで紹介する方法はあくまで一例ですので、ご了承ください。 流れ簡単に作業の流れをざっと並べますと、GlueのData catalog settingsに設定を追加クロスアカウント連携用LF-tagを作成作成したLF-tagをDB・テーブルに付与同じLF-tagへの権限を連携先アカウントに付与Data lake locations...

はじめにこんにちは！D2Cエンジニアの廣瀬ですこの度、所属しているPJのフロントエンドチームから同PJのバックエンドチームに異動しました本記事では、エンジニア歴2年目にしてバックエンド実務経験皆無だった私が、少しでも早くバックエンドチームの一員として戦力になれることを目指して実践していること・これまでの反省点について、自身の振り返りも兼ねて書いていきたいと思います！ 異動前は何をしていたのか新規PJのフロントエンドチームに新卒で配属され、1年半ほどそこでお世話になりました開発言語としては主にTypeScriptを使用しており、ライブラリはReact、またテストコード...

こんにちは D2Cデータサイエンティストの吉岡です。先日、AnthropicよりComputer useがパブリックベータとしてリリースされました。Computer useは、生成AIが人間の代わりに直接PCを操作してタスクを遂行する機能です。例えば、ウェブ検索やアプリケーション操作などを代行するようなシーンでの利用が期待されています。「googleで「株式会社D2C」を検索して」と頼んだ結果今回は、Computer useを使って、ユーザビリティテストの自動化に挑戦してみようと思います。 ユーザビリティテストとは？ユーザビリティテストとは、製品やサービスがユーザーにと...

はじめにこんにちは。D2Cエンジニアの原尻です。私の所属する社内分析基盤のチームでは、現在認証機能にCognitoを用いています。直近のCognitoのアップデートでチームで活かせる部分があるのではないかと考え、気になったアップデート内容を調べてみました。今回は機能Tierとマネージドログインについて記事にしたいと思います。この記事では弊チームに適用できそうな部分のみ抜粋して記載しています。高度なセキュリティ機能(ASF)や詳しい料金や仕様の詳細などは公式サイトの方でご確認いただければ幸いです。https://aws.amazon.com/jp/blogs/aws/...

はじめにこんにちは、D2Cエンジニアの穐澤です。本記事では、ターミナルエミュレータのAlacritty、及びプロンプトカスタマイズツールのStarshipをUbuntu環境に導入及びカスタマイズする手順についてご紹介します。D2Cでは開発環境の一部として、AWS上の仮想デスクトップ環境である Amazon Workspaces を利用しています。私もこれまで Amazon Linux 2 ベースの仮想デスクトップマシンを使っていたのですが、Amazon Linux 2 が来年EOLを迎える[1]ことから、新たに Ubuntu Desktop for Workspaces に移行...

はじめにこんにちは、D2Cデータサイエンティストの久保田です。この記事は、Pythonを使って到達圏解析を行う方法を検討したことについて記載します。オープンソースライブラリを活用し、距離に基づいた到達圏を算出して地図上での視覚化を試みました。今回は、東京都町田市のコンビニエンスストアを対象に400m到達圏を作成しました。到達圏解析に必要なデータはすべてOpenStreetMapから取得しました。 開発環境AWS EC2 (インスタンスタイプ: r5.2xlarge)Python 3.10.12pandas 2.2.0geopandas 1.0.1requests...

はじめにはじめまして、株式会社D2C（以下D2C）で内定者アルバイトをしている正木です。今回はマーケティングでよく用いられる、コレスポンデンス分析についての調査を行いました。分析はPythonを用いています。 コレスポンデンス分析とは近年、アンケートデータや購買データ、顧客属性データなど、大量のカテゴリデータを扱う機会が増加しています。しかし、これらのデータをクロス集計表で眺めるだけでは、データ内の複雑な関係性を把握するのは困難です。特に、カテゴリ同士の関連性を視覚的に理解するには、さらに踏み込んだ分析が必要です。その課題を解決する手法としてコレスポンデンス分析がありま...

はじめにこんにちは D2Cエンジニアの羽原です。Google Cloud Storageの管理において、大量のオブジェクトの削除・クラス変更において発生したいくつかの課題とその課題を解消をする方法について共有できればと思います。記事の構成としては、Google Cloud Storage(GCS)をマルチリージョンバケットで、オブジェクトクラスを変更する際の注意点大量のオブジェクトの処理を行う際のベストプラクティスの2点で構成されています GCSマルチリージョンバケットでオブジェクトクラスを変更する際の注意点 経緯あるプロジェクトでデータを蓄積していたG...

はじめにこんにちは、D2Cデータサイエンティストの郷原です。データ分析を行う際に、aとbとcの平均値を比較してaが一番大きかったけど、これは他の二つと比べて有意な差があると言えるのだろうか？こんな疑問を持ったことはないでしょうか？上記のような疑問を統計的に検証することができるのが分散分析(ANOVA)です。本記事では、１つの因子による平均値の差を分析する「一元配置分散分析」について、Pythonを使って試してみようと思います。 一元配置分散分析とは一元配置分散分析（ANOVA, Analysis of Variance）は、複数のグループの平均値を比較し、それらの違い...

はじめにD2Cでエンジニアをしている、閃（セン）と申します。今年アドカレの2日目です。私の所属するチームでは、Argo Workflowを展開していて、より活用するための改善を行なっている最中です。Argo Workflowのアーカイブ機能を実装する際に、アーカイブについて考察してみました。考察した内容と実装の流れについて説明していきたいと思います。 Argo WorkflowとカスタムリソースArgo Workflowについて簡単に説明していきたいです。Argo Workflowは、Kubernetes上で動作するオープンソースのワークフローエンジンです。コンテナ化され...

はじめにデータサイエンティスト(機械学習エンジニア)の須田です。社内向けに、テーブルデータを考慮したSQL生成ツールをリリースしました。最小限のリソースで超絶スモールスタートで開発したため、同じような境遇にある方々に少しでも役立つ情報をお届けできればと思い、この記事を書きます。 チームの基本情報メンバー構成：PM(兼エンジニア)1名、エンジニア2名の計3名稼働: 一人最大20%（全員が複数のプロジェクトを掛け持ちしているため）目標: 半期以内にターゲット選定、課題抽出、検証環境でのPoC、本番環境へのリリース リリースまでの開発エピソード 仮説の設定と課題抽...

はじめにこんにちは、m-tech運営の須田です。社員それぞれが持つアイデアを自由に発信し合い、新たなプロジェクトや改善のヒントを見つけ出すため本部内で行われたイベント、「m-tech 妄想Week」。今回は、イベント内で集まった 7つのカテゴリ、50以上のアイデア を振り返り、注目された妄想や運営の感想も交えて、妄想Weekの様子をお届けします！ 今回発生した妄想のご紹介(カテゴリ別) Day1: AIアシスタント・クローンカテゴリ概要: 日常業務を支えるAIアシスタントの可能性についてのアイデアが集まりました。ピックアップ妄想:「協力会社さん内と...

はじめにはじめまして。D2C m-tech運営担当の山本です。今回は、「m-tech Week ～生成AIで妄想してみた～」と銘打ち実施した、当ブログ活性化企画についてご紹介します。本記事（前編）では企画概要と実施結果を、後編では注目の妄想や気づきについてご覧下さい。 企画内容生成AIという、始まったばかりでまだ正解が確立していないトピックスについて、このタイミングだからできる自由な”妄想”を膨らませ、MTGや雑談の中でアイディアを共有しあおう！という取り組みです。対象領域は、・エンジニアリング/データサイエンス/広告/分析 について・上記4カテゴリに関わる...

はじめにこんにちは、D2Cエンジニアの原尻です。D2Cには社内のデータサイエンティストのためのデータ分析基盤があります。その分析基盤でワークフローの管理ツールの一つとして、Prefectを提供しています。トラブルシューティングの経験が少なく今回の経験を通じて学びが多かったため、Prefectでjobのエラーが出た際にしたトラブルシューティングの様子をまとめます。 前提Prefect: 2.14.12環境： Kubernetes on EKSHelmChart(2023.12.20): https://github.com/PrefectHQ/prefect-hel...