はじめにこんにちは！D2Cでデータエンジニアをしております、飯森と申します。今回はAWSのLake Formationの機能、LF-tagを使って、2アカウント間でDB・テーブルのクロスアカウント連携を行う方法を共有したいと思います。ここで紹介する方法はあくまで一例ですので、ご了承ください。 流れ簡単に作業の流れをざっと並べますと、GlueのData catalog settingsに設定を追加クロスアカウント連携用LF-tagを作成作成したLF-tagをDB・テーブルに付与同じLF-tagへの権限を連携先アカウントに付与Data lake locations...

はじめにこんにちは！D2Cエンジニアの廣瀬ですこの度、所属しているPJのフロントエンドチームから同PJのバックエンドチームに異動しました本記事では、エンジニア歴2年目にしてバックエンド実務経験皆無だった私が、少しでも早くバックエンドチームの一員として戦力になれることを目指して実践していること・これまでの反省点について、自身の振り返りも兼ねて書いていきたいと思います！ 異動前は何をしていたのか新規PJのフロントエンドチームに新卒で配属され、1年半ほどそこでお世話になりました開発言語としては主にTypeScriptを使用しており、ライブラリはReact、またテストコード...

こんにちは D2Cデータサイエンティストの吉岡です。先日、AnthropicよりComputer useがパブリックベータとしてリリースされました。Computer useは、生成AIが人間の代わりに直接PCを操作してタスクを遂行する機能です。例えば、ウェブ検索やアプリケーション操作などを代行するようなシーンでの利用が期待されています。「googleで「株式会社D2C」を検索して」と頼んだ結果今回は、Computer useを使って、ユーザビリティテストの自動化に挑戦してみようと思います。 ユーザビリティテストとは？ユーザビリティテストとは、製品やサービスがユーザーにと...

はじめにこんにちは。D2Cエンジニアの原尻です。私の所属する社内分析基盤のチームでは、現在認証機能にCognitoを用いています。直近のCognitoのアップデートでチームで活かせる部分があるのではないかと考え、気になったアップデート内容を調べてみました。今回は機能Tierとマネージドログインについて記事にしたいと思います。この記事では弊チームに適用できそうな部分のみ抜粋して記載しています。高度なセキュリティ機能(ASF)や詳しい料金や仕様の詳細などは公式サイトの方でご確認いただければ幸いです。https://aws.amazon.com/jp/blogs/aws/...

はじめにこんにちは、D2Cエンジニアの穐澤です。本記事では、ターミナルエミュレータのAlacritty、及びプロンプトカスタマイズツールのStarshipをUbuntu環境に導入及びカスタマイズする手順についてご紹介します。D2Cでは開発環境の一部として、AWS上の仮想デスクトップ環境である Amazon Workspaces を利用しています。私もこれまで Amazon Linux 2 ベースの仮想デスクトップマシンを使っていたのですが、Amazon Linux 2 が来年EOLを迎える[1]ことから、新たに Ubuntu Desktop for Workspaces に移行...

はじめにこんにちは、D2Cデータサイエンティストの久保田です。この記事は、Pythonを使って到達圏解析を行う方法を検討したことについて記載します。オープンソースライブラリを活用し、距離に基づいた到達圏を算出して地図上での視覚化を試みました。今回は、東京都町田市のコンビニエンスストアを対象に400m到達圏を作成しました。到達圏解析に必要なデータはすべてOpenStreetMapから取得しました。 開発環境AWS EC2 (インスタンスタイプ: r5.2xlarge)Python 3.10.12pandas 2.2.0geopandas 1.0.1requests...

はじめにはじめまして、株式会社D2C（以下D2C）で内定者アルバイトをしている正木です。今回はマーケティングでよく用いられる、コレスポンデンス分析についての調査を行いました。分析はPythonを用いています。 コレスポンデンス分析とは近年、アンケートデータや購買データ、顧客属性データなど、大量のカテゴリデータを扱う機会が増加しています。しかし、これらのデータをクロス集計表で眺めるだけでは、データ内の複雑な関係性を把握するのは困難です。特に、カテゴリ同士の関連性を視覚的に理解するには、さらに踏み込んだ分析が必要です。その課題を解決する手法としてコレスポンデンス分析がありま...

はじめにこんにちは D2Cエンジニアの羽原です。Google Cloud Storageの管理において、大量のオブジェクトの削除・クラス変更において発生したいくつかの課題とその課題を解消をする方法について共有できればと思います。記事の構成としては、Google Cloud Storage(GCS)をマルチリージョンバケットで、オブジェクトクラスを変更する際の注意点大量のオブジェクトの処理を行う際のベストプラクティスの2点で構成されています GCSマルチリージョンバケットでオブジェクトクラスを変更する際の注意点 経緯あるプロジェクトでデータを蓄積していたG...

はじめにこんにちは、D2Cデータサイエンティストの郷原です。データ分析を行う際に、aとbとcの平均値を比較してaが一番大きかったけど、これは他の二つと比べて有意な差があると言えるのだろうか？こんな疑問を持ったことはないでしょうか？上記のような疑問を統計的に検証することができるのが分散分析(ANOVA)です。本記事では、１つの因子による平均値の差を分析する「一元配置分散分析」について、Pythonを使って試してみようと思います。 一元配置分散分析とは一元配置分散分析（ANOVA, Analysis of Variance）は、複数のグループの平均値を比較し、それらの違い...

はじめにD2Cでエンジニアをしている、閃（セン）と申します。今年アドカレの2日目です。私の所属するチームでは、Argo Workflowを展開していて、より活用するための改善を行なっている最中です。Argo Workflowのアーカイブ機能を実装する際に、アーカイブについて考察してみました。考察した内容と実装の流れについて説明していきたいと思います。 Argo WorkflowとカスタムリソースArgo Workflowについて簡単に説明していきたいです。Argo Workflowは、Kubernetes上で動作するオープンソースのワークフローエンジンです。コンテナ化され...

はじめにデータサイエンティスト(機械学習エンジニア)の須田です。社内向けに、テーブルデータを考慮したSQL生成ツールをリリースしました。最小限のリソースで超絶スモールスタートで開発したため、同じような境遇にある方々に少しでも役立つ情報をお届けできればと思い、この記事を書きます。 チームの基本情報メンバー構成：PM(兼エンジニア)1名、エンジニア2名の計3名稼働: 一人最大20%（全員が複数のプロジェクトを掛け持ちしているため）目標: 半期以内にターゲット選定、課題抽出、検証環境でのPoC、本番環境へのリリース リリースまでの開発エピソード 仮説の設定と課題抽...

はじめにこんにちは、m-tech運営の須田です。社員それぞれが持つアイデアを自由に発信し合い、新たなプロジェクトや改善のヒントを見つけ出すため本部内で行われたイベント、「m-tech 妄想Week」。今回は、イベント内で集まった 7つのカテゴリ、50以上のアイデア を振り返り、注目された妄想や運営の感想も交えて、妄想Weekの様子をお届けします！ 今回発生した妄想のご紹介(カテゴリ別) Day1: AIアシスタント・クローンカテゴリ概要: 日常業務を支えるAIアシスタントの可能性についてのアイデアが集まりました。ピックアップ妄想:「協力会社さん内と...

はじめにはじめまして。D2C m-tech運営担当の山本です。今回は、「m-tech Week ～生成AIで妄想してみた～」と銘打ち実施した、当ブログ活性化企画についてご紹介します。本記事（前編）では企画概要と実施結果を、後編では注目の妄想や気づきについてご覧下さい。 企画内容生成AIという、始まったばかりでまだ正解が確立していないトピックスについて、このタイミングだからできる自由な”妄想”を膨らませ、MTGや雑談の中でアイディアを共有しあおう！という取り組みです。対象領域は、・エンジニアリング/データサイエンス/広告/分析 について・上記4カテゴリに関わる...

はじめにこんにちは、D2Cエンジニアの原尻です。D2Cには社内のデータサイエンティストのためのデータ分析基盤があります。その分析基盤でワークフローの管理ツールの一つとして、Prefectを提供しています。トラブルシューティングの経験が少なく今回の経験を通じて学びが多かったため、Prefectでjobのエラーが出た際にしたトラブルシューティングの様子をまとめます。 前提Prefect: 2.14.12環境： Kubernetes on EKSHelmChart(2023.12.20): https://github.com/PrefectHQ/prefect-hel...

はじめにこんにちは、D2Cのデータサイエンティストの髙橋と申します。現在、キョウソウAIという広告制作に特化したAIソリューションを開発しております。先日、OpenAI社がXにて以下の内容をポストしていました。https://x.com/OpenAIDevs/status/1815836887631946015ついに、弊社の環境においてもGPT-4o miniでFine-tuningができるようになりました。!これまでは実験的なアクセスプログラムで、リクエストを送信して承諾されないと利用不可でした。ここで注意点を挙げると、今回のリリースは対象者が限定されています。...

はじめに人工知能学会全国大会2024に参加中の株式会社D2CのYです。本日は最終日4日目のレポートを現地静岡からお届けします！ 記事まとめDay1: URLDay2: URLDay3: URLDay4: 本稿 おことわり本稿はあくまで筆者の個人的・学術的関心を主としたものであり、言及した論文の著者様・企業様と当社に特定の関わり合いはございません。また、時間の都合上全てのセッションを回れていないため、一部セッションのみへの言及となることをご了承ください。ポスター発表の内容への言及にあたっては発表者の方に口頭で確認を行い、許可を頂戴できたものを取り扱っ...

はじめに人工知能学会全国大会2024に参加中の株式会社D2CのYです。過去2日間のレポート(下記)に続きまして、本日は3日目のレポートを現地静岡からお届けします！ 記事まとめDay1: URLDay2: URLDay3: 本稿Day4: URL おことわり本稿はあくまで筆者の個人的・学術的関心を主としたものであり、言及した論文の著者様・企業様と当社に特定の関わり合いはございません。また、時間の都合上全てのセッションを回れていないため、一部セッションのみへの言及となることをご了承ください。ポスター発表の内容への言及にあたっては発表者の方に口頭で確認を...

はじめに株式会社D2CのYです。昨日記事(こちら)に続き、本日も人工知能学会全国大会2024の会場からどこよりも早い速報レポートをお伝えします! 記事まとめDay1: URLDay2: 本稿Day3: URLDay4: URL おことわり本稿はあくまで筆者の個人的・学術的関心を主としたものであり、言及した論文の著者様・企業様と当社に特定の関わり合いはございません。また、時間の都合上全てのセッションを回れていないため、一部セッションのみへの言及となることをご了承ください。本稿での論文・講演に対する言及は全て筆者の理解によるものであり、誤りがある場合は全...

イノベーションは必ず学問の境界領域で起こる。 坂田 昌一 (物理学者)[1] [2]株式会社D2CのYです。現在開催中の人工知能学会全国大会2024について、現地静岡より(きっと)どこよりも早い速報レポートをお届けします！ はじめに 人工知能学会とは人工知能学会全国大会[3]は日本を代表する人工知能関連の研究発表会で、論文・ポスターから各講演・セッションまで豊富な発表から産学の研究の最先端を垣間見ることができます。第38回目(!)の今回は、事前登録者数3289名、スポンサー109件、発表件数946件(当日案内より)と過去最大の規模だそうで、静岡浜松では熱き発表が行われて...

はじめにこんにちは、D2Cのデータサイエンティスト（MLエンジニア）をやっている須田です。最近、JupyterLabのJupyterAI機能が気に入っています。開発時のわからないことや知りたいことをよく聞いているのですが、これがきっかけで起きたある出来事を今日は共有していこうと思います。怪談話生成AIバージョンのようなイメージで読み進めてもらえたら幸いです。(怪談ではないですがw) 先輩も知らない記述方法を書き出した初心者見出しの時点で違和感ですよね。笑PySparkを使用したことのない私(初心者)が改修作業を行うことになった時のことです。具体的な改修部分としてやりた...