概要 背景・目的 本研究の貢献 実験 評価関数とは何か LLMベースの評価関数の区別 データのアノテーション 実験の設定 実験の結果 考察 GPT-4が勝手に任意の観点を盛り込んで、意図通りの評価をしていない とは？ データセット作成における他手法との大きな差分 まとめ 貢献 今後の展開 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 DROBEの岸本がJSAIのヒューマン・イン・ザ・ループAIのOSで発表した 「ファッションコーディネートの説明文生成における人間の評価と相関する評価関数の探索」という萌芽的な研究について内容を共有します。 概要 このブログでは、ファッション…

概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難しさ 今後の発展 DROBEで機械学習エンジニアをしております、藤崎です。 概要 大規模言語モデル(LLM)に未知の知識を獲得させることができるかを検証しました。 LLMにとっての未知の知識はモデルの重みがリリースされた日付以降に公開された、ファッションドメインにおける商品の価格や規…

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用…

こんにちは、角田です。 今回はスクラムでの失敗談です。 PBIへ取り掛かるタイミング みなさんは、プロダクトバックログアイテム（PBI）へ取り掛かるタイミングはいつでしょうか？DROBEでは以前は、 スプリントバックログへ移し、スプリントが始まったら でした。一見正しそうなのですが、肝心なことを見落としていたため、効率的にデリバリーできない状態になっていました。 遅かった影響範囲調査 というのも、スプリントバックログへ移しスプリントが始まった後で、影響範囲の調査や該当箇所の洗い出しをしていました。この影響範囲調査や該当箇所の洗い出しにより、スプリント内での作業時間が圧迫された結果、非効率になっ…

概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。 類似のファッションアイテムを検索する場面で、画像とテキストの情報を両方活用することで、検索の精度を向上させることができると推測される。 類似のファッションアイテムを検索するタスクで、両方の情報を活用した提案手法の性能を評価し、片方の情報だけを活用するよりも、大幅に性能が改善すること…

概要 背景・目的 実験 実験の概要 定量評価 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 類似商品検索の基盤となる複数の特徴抽出アルゴリズムについて、DROBEの保有するデータで評価した 定量評価によると、画像単体を入力とする ResNet-50（自己教師あり学習）とCLIPの性能が高かった 定性評価によって、取り扱うモーダルの違いによる各モデル出力の顕著な差異が確認できた 背景・目的 小売において、商品の在庫は無数に存在しています。そのため、消費者やサービス提供者が商品に紐づく情報（画像、商品の説明文など）を解釈して、特定の商品と類似したアイ…

概要 背景・目的 関連研究 提案手法 実験 終わりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションの分野ではトレンドの変化とそれに伴う属性情報の変動に対応するため、画像分類AIモデルを頻繁にアップデートする必要性がある。 しかし、既存の画像分類AIモデルのアップデートには、労力と時間が掛かる。 様々なタスクの遂行能力が高いGPT-3.5に画像処理能力を付与し、画像分類タスクに挑戦した。 既存の研究（ex. HuggingGPT）と違って、GPT-3.5自体が画像分類の推論を行う点がユニークである。 実験からは有望な結果が得られた。 今後の性能向上はプロ…

こんにちは。角田です。 DROBEは2023年10月8日（日）に開催される、PHP Conference Japan 2023で登壇します。 2000年より年に1回開催されている日本最大のPHPのイベントです。初心者から上級者まで幅広くたくさんの参加者が蒲田に集結します。今回の登壇もとてもバラエティに富んだ内容になっており、あと数日ですがワクワクが止まりません！ 登壇内容 『25分で理解する！Symfonyの魅力とその実践的活用法』というタイトルで、Symfonyの魅力についてお話ししていきたいと思います。限られた時間ですが、しっかりお伝えできればと思います。 fortee.jp ブース出展も…

背景 結論 手法の検討 実験 実験概要 実験1 : 単純なPromptを投げる 実験2 : Promptを工夫してみる 実験3 : 間違った分類を回避するには？ まとめ 参考文献 補足 DROBEで機械学習エンジニアをしております、藤崎です。 背景 商品のトップ画像はユーザーへの最初のタッチポイントとして機能し、購入を促進します。そのため、適切なトップ画像の選定は重要です。しかしながら、この選定は現在、手動に依存しており、複数の商品画像から最も効果的なものを選ぶ作業は、多大な時間と労力を消費しています。 商品の品揃えが拡大する中で、この作業のコストは切実な課題となっています。そこで、機械学習技…

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプト…

こんにちは。DROBEの角田です。 2023年9月5日に、DROBEが主催するテックイベント『DROBE Engineer Night』の第5回を開催しました。今回は、"質とスピードを追求する開発チームでの取り組み" というタイトルで、株式会社リンケージ・ピクシブ株式会社と弊社の3社合同で開催しました。 drobe.connpass.com 現地・オンラインとも非常にたくさんの方にお越しいただき、盛況な会となりました。 弊社からは、『素早いバリュー提供のための DROBEの新戦略』というタイトルで、現在行なっている顧客へ素早く価値を届ける試行錯誤についてご紹介させていただきました。 speak…

はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は LLM を利用して長文から構造化データを抽出する手法について記載します。 構造化データの抽出 LLM を利用して構造化データを抽出することを Extraction と呼びます。 Extraction は以下のようなユースケースが考えられます。 テキスト情報から構造化したデータを抽出し DB にインサートする 外部 API を呼ぶために入力を解釈してパラメータを抽出する Extraction は非常に有用ですが、元となるテキストの最大長は利用する LLM の最大 token 数に依存します。 LLM と長文…

はじめに EMの加川(@shinpr_p)です。 ここ数週間で、DROBEの開発チーム体制に変化がありました。今回は体制変更の背景や考慮した事、どのようにチーム体制を考えたかを記事にしてみました。 チームを取り巻く状況によって選択肢は異なりますが、1つの事例としてチーム体制の参考となれば嬉しいです。 ※ 余談ですが、この文章は社内向けに体制変更を説明した際に書いたものとある程度同じ内容になっています。 体制変更の背景 現在のDROBE開発チームは、組織観点においてふたつの課題を抱えています。 ひとつは、開発チームメンバーの多さです。 全員が集まるMTGとなると参加者が10名を超えてきます。10…

EMの加川(@shinpr_p)です。 DROBE は PyCon APAC 2023 にシルバースポンサーとして協賛します。 PyCon APACは、プログラミング言語「Python」を中心としたボランティアによる非営利の年次カンファレンスです。このカンファレンスの目的は、Pythonプログラミング言語とその周辺技術を探求し、議論・実践できる場を提供することです。日本での開催は2013年以来の10年ぶりとなります。 DROBEからも数名のメンバーが参加します。ブース出展も行い、ノベルティも現在鋭意製作中です！当日は現地で交流できることを楽しみにしています。 PyCon APAC 2023 の…

はじめに こんにちは、DROBE の都筑です。 この記事では Go 言語によって動的に画像を生成する Micro service の開発について解説します。 モチベーション Web サービスを運用していると、メディアサイトなどで SNS の共有のための OG Image の生成などを行うために、動的に画像を生成したいというニーズが出てくるがあると思います。 DROBE でも通知などに使うために動的な画像生成のニーズがあります。 画像の生成方法 画像を動的に生成するには技術的にはいくつかの選択肢がありますが、画像処理系のライブラリを利用して画像生成を行うというのがまず思いつくと思います。 php…

はじめに LLM で校正してもらう DROBE でのユースケース 機能の概要 プロンプト パフォーマンスに関して 検証方法 さいごに 参考にさせていただいた資料 はじめに こんにちわ、DROBE の都筑です。 この記事では LLM で行う独自シソーラスに対応した校正機能について解説します。 LLM で校正してもらう 文章校正とは文章内の誤字・脱字・誤植や文法ミスを修正して正しく書き直すことを指します。 一般的には文章の「てにをは」やタイポなどを修正する機能をイメージされる方が多いと思いますが、実際に業務の現場では独自の言い回しや単語などがありライティングのガイドラインがある場合も多いと思います…

はじめに 作るもの 解説 Lambda 関数の設計 CI/CD 環境の構築 設定のポイント Timeout について API Key をどこから取り出すか Datadog との接続 ハマりポイント Lambda 関数の event について さいごに はじめに こんにちわ、DROBE の都筑です。 OpenAI の提供する API を始めとして LLM をサービスで活用されている、もしくはこれから活用しようとしている方は多いと思います。 一方で、OpenAI が公式に提供している Library は Python と Node.js のみなので既存のサービスに直接インテグレーションする事が難し…

この記事を書いた人 DROBE の都筑 (@tsuzukit2) です 簡単なプロフィールはこちらをご覧ください はじめに 機械学習系の機能を開発していると、GPU を利用してトレーニングを行いたいケースが多々あると思います。 この記事では、ECS で GPU を使った ML 系 Task の実行環境のセットアップについて記載します。 作りたいもの 作りたいものの概要はこのようなものです。 ECS で構築する GPU を利用した Task の実行環境 GPU は高価なので、常時起動しているインスタンスは 0 としておきつつ、Task が作られたらインスタンスを起動、Task を実行、Task …

EMの加川(@shinpr_p)です。 DROBE は PHP Conference Japan 2023 にゴールドスポンサーとして協賛します。 PHPカンファレンスは、2000年より年に一度開催されている日本最大のPHPのイベントです。WEBサーバにインストールされているシェア8割を超える人気言語のイベントとして、初心者から上級者まで幅広い層のWEB系エンジニアが参加します。 今回はオフラインでの開催となる予定ですので、DROBEからも数名のメンバーが参加します。ブース出展も行いますので、ご参加される皆さまぜひ交流させてください。 PHP Conference Japan 2023 の概要…

はじめに CTOの都筑(@tsuzukit2)です。 DROBE では様々な外部サービスを利用していますが、事前に設定しておく事で外部サービス側で特定のイベントが発生した際に DROBE 側に HTTP のリクエストを送ってくれる仕組みを多く利用しています。 Webhook のわかりやすい例としては、例えば SendGrid のような外部サービスでメールの配信を行っている場合に、実際にメールの配信結果がどうだったかをアプリケーションで確実に検知したいといった場合に、SendGrid での配信完了イベントをトリガーとした Webhook を設定します。 SendGrid の Webhook を使…

こんにちは。EMの加川(@shinpr_p)です。 本記事は、開発プロセスの変更を残したADRを眺めながら、スクラムの適用など開発チームの改善と向き合ってきた2-3ヶ月を振り返ります。 はじめに 前提知識としてADRについて説明します。 ADRは Architecture Decision Records の略で、アーキテクチャの決定を記録したドキュメント群です。 「意思決定の過程を残すこと」が特徴で、「検討したが導入しなかったもの」や「運用を進めることで適切ではなくなったため廃止したもの」、「技術選定の過程で選ばれなかった選択肢」など、よく歴史的経緯と言われがちな過程の情報が残ることが好きで…

はじめに CTOの都筑(@tsuzukit2)です この記事では PyTorch の Embedding の挙動について記載します Embedding とは何か 公式の仕様書はこちらになります Embedding - PyTorch 1.9.0 documentation 公式の説明は以下となっており、非常に的を得ていると思います A simple lookup table that stores embeddings of a fixed dictionary and size. 意訳すると、 固定長の辞書埋め込みを保存するシンプルなルックアップテーブル になるんじゃないかなと思います。Em…

こんにちは、EMの加川(@shinpr_p)です。 今回は、DROBE開発組織におけるエンジニア職のキャリアパス定義、評価の方針やプロセスについてお伝えします。 個人が目指したいキャリアと会社の方針のマッチ度が高ければ、効率的なキャリアアップを実現できる可能性が高まります。 会社ごとに評価方針は異なります。そこで、DROBEの開発組織としての考え方を明らかにし、ご自身のイメージするキャリアとフィットするか判断可能な状態を作りたいと考えました。 今後アップデートされる可能性はありますが、現時点での定義をお伝えしていきます。 ご自身のキャリアイメージと照らし合わせ本記事を参照いただけると幸いです。…

EMの加川(@shinpr_p)です。 DROBEはこの度、NLP若手の会 (YANS) 第18回シンポジウム / YANS2023 にシルバースポンサーとして協賛します。 NLP 若手の会は、自然言語処理、計算言語学および関連分野の、若手研究者および技術者の学問研究および技術開発の促進をはかり、参加者の相互交流および成長の場を提供し、培われた学問研究および技術開発の成果が実社会に応用されることを奨励し、この分野の学問および産業の進歩発展に貢献することを目的に、年に1度研究シンポジウムを開催されています。 今年は4年ぶりの現地開催ということで、DROBEからも数名のメンバーが参加します。ブース…

LLM を DROBE のサービスに活用するためにセットアップした環境を紹介します。LLM をサービスに応用していきたいという方の参考になればなによりです！