はじめにこんにちは。ミスミグループ本社Gateway推進本部のはたはたとjwskiです。2024年12月13日、エムシーデジタル株式会社様[1]主催のデータサイエンスコンペに参加し、私たちが参加したチームが優勝しました。どんなコンペだったのか当日の様子を含めてご紹介します。ただし、問題の内容や解法は非公開のお約束のため、本記事では触れません（公開のお許しが出ましたら改めて解法編をしたためようと思います）。ミスミの検索/AIエンジニアの戦いの一コマとして、よろしければおつきあいください。今回のコンペについて、エムシーデジタル様の開催報告はこちらでご確認できます。私たちは参...

はじめに唐突ではありますが、皆さんCloud Runジョブは利用されていますか？Cloud Run ジョブは、Google Cloudのマネージドサービス「Cloud Run」の一機能で、バッチ処理や非同期タスクを実行するためのものです。Cloud Runは、コンテナ化されたアプリケーションを自動的にスケーリングして実行できるサービスですが、ジョブはその中で、指定されたコンテナを特定のタスクが完了するまで実行するための仕組みです。当社では、自動化装置・設備向けの特注部品や金型用部品、工具・消耗品を扱うECサイトを運用しており、検索のためのデータベース更新にCloud Runジョ...

皆さん、こんにちは！ミスミグループ本社 Gateway推進本部の技術統括を務めています中田です。今回は、公開から1カ月弱が経過してからのブログ掲載となりますが、先月10月10日と11日にかけて、特集記事を寄稿しました。2024/10/10 - 2024/10/11 特集「開発者なら知っておくべきベクトルデータベースの基本」 掲載先：日経クロステック当初、AI開発プロジェクトにアサインされたプロジェクトリーダーやプロジェクトマネージャー向けの内容にしようと考えていました。しかし、最終的には編集者（日経BP社）の手によって、全体のバランスと読みやすさが格段に向上しました。非常に読み...

はじめにこんにちは。ミスミグループ本社Gateway推進本部の蘇です。今回はGoogle CloudのVertex AIの気になっている機能を簡単に試してみましたので、マルチモーダルエンベディングを使用して画像やテキストをクエリとして渡し、商品画像を検索する例を紹介します。 インストール今回はPythonでの実装になりますので、google-cloud-aiplatform のPython Packageのインストールをする必要があります。以下のコマンドでインストールを実行します。pip3 install --upgrade --user "google-clou...

はじめに今回は型番を意味のありそうな単位に分割するtokenizerを作る話をします。型番は日本語や英語といった自然言語ではない独自の文字列のため、既存のtokenizerは使えません。そのような文字列に特化したtokenizerを作ります。ミスミの型番には商品の情報が詰め込まれており、その型番から情報を取り出して分析しようと思います。そのためにまず、型番を意味のある単位で分割しようとしました。型番はごりごりのドメインの話なので、前提を少し説明します。ミスミの型番（例えば"HBLTS8-6L-SET"）は、いくつかのパラメータを"-"でつなげた形になっています。直感的には"...

はじめにこんにちは。ミスミグループ本社Gateway推進本部でAIエンジニアを務めているデンと申します。今回は、SIGIR 2023で発表された次バスケット推薦（Next-basket Recommendation, NBR）アルゴリズム『Multi-view Multi-aspect Neural Networks for Next-basket Recommendation（MMNR）』について、ミスミのデータを用いた実装結果を交えてご紹介いたします。 背景NBRは、ユーザーの過去のバスケット履歴に基づいて、次に購入する可能性のある商品群を推薦する手法です。従来の推薦手法...

皆さん、こんにちは！ミスミグループ本社 Gateway推進本部の技術統括をしています中田です。2024/6に本ブログを初めて3ヵ月が経過しました。初めは本当に続けられるのだろうかと不安でしたが、軌道に乗るまではノルマ制＋別メディアへの露出ネタを使うという打算自ら頑張る方式で何とか続けられています。タイトル通り、別メディアへの露出を増やしてきたのでいったんここで振り返りを行います。ブログ記事は10本公開、3本/月のペースですね。👆で記述したようにずるい数え方してます。他メディアはこの通りです。９月でついに露出が途絶えてしまいました。が、１０月に日経クロステックにて２回に分けて...

はじめにこんにちは。ミスミグループ本社Gateway推進本部のはたはたです。私たちは日々、当社ECサイトの検索システムの改良を行っています。改良の際に重要なのが、検索システムの評価指標です。既存のアルゴリズムAと新しく導入を考えているアルゴリズムB、どちらが優れているかを的確に評価することが必要不可欠になります。この記事では、一般的な評価指標のご紹介と、ECサイトの検索システムにおける評価の難しさについてをご紹介をしたいと思います。 検索システムの概要評価指標の前に、情報検索がどのようなタスクかについてご説明します。情報検索は、入力として検索ワード（この分野ではクエリと呼...

はじめにこんにちは。ミスミグループ本社Gateway推進本部の高島です。当部門で使用するデータ整備を担当しております。新規プロダクトの試作モデルを開発しているなかで、DBのデータ増に伴いクエリ実行結果が格段に遅くなる事象が発生しました。データ要件や機能が固まっていないため、取り急ぎの速度改善を実施しました。本記事ではその方法をご紹介します。 改善前の構成クライアントからの入力キーワードに基づき、生産間接材の型番候補を付帯情報とともに返却します。企画段階のため、柔軟に対応でき簡易なプロトタイプとしてDocumentDBを選定し構成しています。 不具合と対応策不...

はじめにこんにちは。ミスミグループ本社 Gateway推進本部の飯塚です。レコメンドや検索、DB構築などを幅広く担当しています。本記事は【pgvector 入門】と題して、PostgreSQL の環境構築からベクトルデータの格納、アプリ実装までを三部構成で連載していきます。今回は ～環境構築編～ になります。10分もあればベクトル検索の環境構築が出来ますのでぜひ試してみてください。 pgvector とはベクトルデータの類似性検索機能を提供する PostgreSQL の拡張機能"int" や "varchar" のようにベクトルデータを "vector" として型で扱...

皆さん、こんにちは！ミスミグループ本社 Gateway推進本部の技術統括をしています中田です。随分と時間が経ってしまいましたが、8/2にあったGoogle Cloud Next Tokyo '24にて BtoB 大企業の内製ベクトル検索エンジン: Vertex AI Vector Search 移行と高付加価値への挑戦 と題したセッション登壇をしました。聴講された方、ありがとうございました。300名満員御礼だったようです。これだけの人数を前にした外部イベントのセッション登壇は初めてでしたので緊張しました。（壇上からは奥まで見えず、だったようですという表現で失礼いたします。）当日の...

はじめにこんにちは。ミスミグループ本社Gateway推進本部のizumiです。当社ECサイトの検索システム開発を担当しています。本記事ではVertex AI Vector Searchの近似最近傍探索に用いるパラメータの調整方法を簡単にご紹介したいと思います。なお、インデックスデータの作成方法、Vector Searchへのデプロイ方法は省略しております。 Vertex AI Vector SearchとはVertex AI Vector Searchとは、Google Cloudが提供しているベクトル検索のサービスです。Google検索、YouTubeなどのGoog...

はじめにこんにちは。ミスミグループ本社 Gateway推進本部のshimozonoです。検索システムの開発を担当しています。先日、弊社ECサイトの検索エンジンのバックエンドの一部（以下、ベクトル検索基盤と呼びます）を、AWSからGoogle Cloudへ移行しました。この記事では、その移行において取り組んだマイクロサービス化についてご紹介します。 移行前の構成移行前のベクトル検索基盤はAWS上で構築されており、以下のような構成でした。 システム構成図(移行前)API Gatewayクライアントからのリクエストを受け付け、SageMakerへ振り分け。...

はじめに当社はECサイトを運営しており、ユーザーが求める商品を迅速に見つけられるよう検索機能の改善に努めています。特に、曖昧なキーワードでの検索にも対応するためにベクトル検索技術の導入に力を入れております。この記事では、その取り組みの中で活用している技術をご紹介します。 課題検索エンジンが直面する課題の一つとして、検索したい商品名がわからず、曖昧で不明確なキーワードで検索されることがあります。文字列一致で検索する全文検索では、曖昧で不明確な検索キーワードに対応するために辞書を活用します。検索キーワードや検索対象文書の文字を辞書で拡張させて、検索にヒットしやすくさせます。...

皆さん、こんにちは！Gateway推進本部*の技術統括をしています中田です。この度、日経クロステックACTIVEに『「欲しい商品」を探せない要改善のECサイト、検索精度を高めるには？』という記事を寄稿し、2024/7/1に公開されました。この記事では、ECサイトにおける検索機能の問題点とその改善方法について従来と異なる視点となるベクトル検索観点で解説しています。ElasticSearch等を使った際の伝統的な方法での限界を感じている方は、ぜひこの記事をチェックしてください！微力でもお力添えできれば幸いです。記事はこちら『「欲しい商品」を探せない要改善のECサイト、検索精度を高め...

はじめにGoogle Cloud Platform（GCP）のStorage Transfer Service（STS）をご存知でしょうか？これはGoogleが提供する、異なるストレージシステム間でのデータ移行を自動化するためのサービスです。特に、大量のデータをGoogle Cloud Storage（GCS）に移行したい場合や、定期的なバックアップが必要な場合に適しています。STSは、単発の転送を行う「Batch」転送と、AWSなどの他のクラウドサービスのイベントを検知して転送を実行する「Event Driven」転送の二つのモードを提供しています。コードを記述することなく使用で...

はじめにこんにちは、皆さん！ ”ミスミDataTechブログ" へようこそ。Gateway推進本部*の技術統括をしています中田です。本ブログは、株式会社ミスミのGateway推進本部に所属するIT・AI技術者を中心に、私たちの技術的な挑戦や学び、最新のプロジェクトについてシェアしていきます。ECサイトを主とした接点での顧客体験を大きく変える為に、様々な実験的なPJを行っている組織です。 ミスミDataTechブログの目的このブログを始めるにあたり、二つの大きな目的があります。 ITエンジニアの採用私たちは常に新しい才能を求めています。しかしながら、エンジニア採用...