Overview of this Part In the previous sections, we discussed the importance of evaluating RAG and introduced the calculation methods used in Ragas, a library for automated RAG evaluation. In this part, in order to examine the usefulness of Ragas, I (Hirokazu Suzuki) will quantitatively assess how cl…

RAG Evaluation: Necessity and Challenge RAG Evaluation: RAG Metrics and Calculation Methods in Ragas (This Part) RAG Evaluation: Assessing the Usefulness of Ragas Overview of this Part In the previous part, Do Not Forget, we discussed the usefulness of automated quantitative evaluation of RAG. In th…

This Blog is Recommended For People who are developing applications using RAG (Retrieval Augmented Generation) and are interested in evaluation Those interested in evaluating hallucinations of LLMs (Large Language Models) and RAG Those interested in the behavior of Ragas (Retrieval augmented generat…

本パートの概要 これまでのパートでRAGの評価の重要性と、自動評価の代表的なライブラリであるRagasにおける計算方法の紹介を行ってきました。本パートでは、私（鈴木）がマニュアルでつけたスコアとRagasの評価の数値をの相関を取ることでRagasの評価値は私の感覚とどれほど近しいものなのかを定量評価し、Ragasの有用性を調べました。 RAGの評価：評価の必要性と問題点 RAGの評価：RAGの計算指標とRagasでの計算方法 RAGの評価：Ragasの有用性の評価 (本パート) Ragasの評価の実験 この記事では前回紹介したRagasが実際にどれくらい有用なのかを評価するために、Ragasの…

本パートの概要 前回のパートではRAGの自動での定量評価の有用性について述べさせていただきました。今回は、 RAGの一般的に用いられる評価指標 評価の代表的なライブラリであるRagasで上記評価指標の計算方法 に注目して紹介していきたいと思います！ RAGの評価：評価の必要性と問題点 RAGの評価：RAGの計算指標とRagasでの計算方法 (本パート) RAGの評価：Ragasの有用性の評価 RAGの評価 : Ragas RAGの評価には生成を評価するFaithfulnessとAnswer Relevancyと検索・取得を評価するContext PrecisionとContext Recall…

本ブログはこんな人におすすめ RAG (Retrieval Augmented Generation)を使ったアプリケーションを開発しているけど評価に関心のある人 LLM (Large Language Model)やRAGのハルシネーションをどう評価するのかに関心のある人 Ragas (RAGの評価ライブラリ：Retrieval augmented generation assessment)の挙動に興味がある人 こんにちは。私はBeatrustのML周辺のお手伝いをしている鈴木宏和と申します。今回はこれから3つのパートに分けて紹介させていただきますが、LLMの応用として特に注目を集めている…

This Blog is Recommended For What is Flowise? Vertex AI PaLM 2 (Google Cloud PaLM 2) Trial Keyword Extraction (LLM model) Character Creation (Chat model) Blog Article's QA BOT (LLM model, Chat model, and Embedding model) Summary Appendix How to Experience Flowise This Blog is Recommended For Those w…

English version is here 本ブログはこんな人におすすめ Flowiseとは Vertex AI PaLM 2 (Google Cloud PaLM 2) 検証 キーワード抽出 (LLM model) キャラクターの作成 (Chat model) ブログ記事のQA BOT (LLM model, Chat model and Embedding model) まとめ Appendix Flowiseの体験方法 本ブログはこんな人におすすめ Vertex AI PaLM 2 の検証をGraphical User Interface (GUI)を使って行ってみたい人 Verte…

2023年エイプリルフール企画として、期間限定のゲーム"Do you know me?"を開催しました。その結果報告とゲーム結果の振り返りをBeatrust の PdM が普段行っているユーザー分析やペルソナ作成のアプローチから共有したいと思います。

はじめに Beatrust VPoEの Ryo（長岡 諒） です。 先日、ユニファさんとWealthParkさんと共に「日本にいながら多国籍チームで働けるスタートアップエンジニアトーク！！」というタイトルで登壇してきました。Beatrustでは2022年夏頃から全社で英語化を進め、開発チームでは基本的に英語で議論を行っております。 本ブログ記事では、どういった背景で英語化を進め、開発チームが多国籍で基本的に英語コミュニケーションとなるのはどういうことなのか、どういったことをお互い気をつけているのかをまとめています。登壇自体はパネルディスカッション形式で進んでいたのですが、その流れに合わせて当時…

Beatrust で SRE をやっている Yuta (中川 裕太) です．運用がラクにできるように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Row Level Security (RLS) 下で現実的なレイテンシで大量データを扱うためにクエリをチューニングした結果とそこから学んだプラクティスを紹介します． モチベーション Beatrust ではセキュリティ向上のために，顧客 (テナント) ごとにデータを論理的に分離する RLS を用いています． tech.beatrust.com tech.beatrust.com おかげさ…

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできるように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログではご縁があって登壇させていただいた Google Cloud 主催の Born Digital Summit でのサマリと振り返りをしていきます． Born Digital Summit 登壇 「事業成長とともに歩む Cloud Run→GAE→GKE Autopilot の旅路」というタイトルで Google Cloud 主催の Born Digital Summit で登壇してきました． B…

Author: Neo Chiu Background We use Prisma + Postgres from prototype and start to migrate all data with RLS ( Row Level Security ) last year. We are managing multi-tenants data in one database, and we don't want data be accessed cross tenants. RLS restricts data with security policies at database eng…

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできるように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 世の中的には SRE NEXT 2022 が開催され SRE に対する機運が高まってきているこのタイミングで，ブログという場を用いて Beatrust にジョインしてから約1.5年間 SRE として実践してきた筆者自身の Try とその振り返りをしたいと思います． 創業期スタートアップに SRE は必要なの？ SRE はある程度成熟した企業が持つもので，そもそも創業期スタートアップに SRE を設置する必要が…

Beatrsut 創業前から現在までの約3年分の軌跡です。リモートワーク主体の環境でチームの拡大や役割の変化に伴いどういった課題が生まれ解決していったか、各人がオーナーシップを持ちつつ議論と共有のバランスをとりつつどう意思決定して進めてきたかに関してまとめています。

こんにちは、Beatrust で Machine Learning Lead をしている Tatsuya （白川 達也）です。 以前、下記の記事でキーフレーズ抽出機能のご紹介をしましたが、その後の試行錯誤をした結果、以前に比べて軽量化・高精度化に成功したので、これまでにどのような工夫をしたのかをご紹介しようと思います。 tech.beatrust.com 下記は今回ご紹介する現状のキーフレーズ抽出における知見です。 多言語BERTモデルを使っておくと、キーフレーズ抽出用に fine tune しても結構多言語転移できてしまう。 キーフレーズ抽出において、BERTはフルレイヤーである必要はなく、…

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します． モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 …

こんにちは、Beatrust で Data Scientist をやっている Ouyang（欧陽 江卉）です。 Beatrust では、ユーザー情報を匿名化した上でプロフィールデータや行動ログなどの様々なデータを蓄積・活用しています。また、クライアントや内部向けにデータ分析・レポーティングも行っています。それらのほとんどは手に馴染んだツールを使って内製しているのですが、近年モダンなデータスタックを用いたデータ利活用もトレンドになっています。今回は、そのトレンドをキャッチアップし、有用なツールがあれば積極的に導入していこうと考え、下記のツールを試用しそれぞれの強みをまとめてみました。 データの探…

4 月 1 日、Beatrust の世界中のユーザーたちと協力して、野生のトラたちに募金をする企画を開催。世界中から 1,389 個もの「お肉」が届き、正式に募金をいたしました。

2022 年 4 月 1 日、寅年のエイプリルフールは、Beatrust の開発メンバー総勢 8 名が心を込めてリリースした特別プロジェクト Belle（ベル）ちゃんプロジェクトを実施します。

BeatrustのEngineering ManagerをしているRyo（長岡 諒）です。 みなさま年末はどのようにお過ごしでしょうか？ 春にこのBeatrust Tech Blogを立ち上げたのですがわたしはまだ１記事も書いたことがなかったので、12月の頭に「年内に１記事も書いてなかったら過去に1回以上書いたことある方に焼き肉おごる」と宣言して締め切りに追われていました。 みんなに焼き肉をごちそうする機会は持ち越しになってしまいましたが、Beatrustの変化や創業初期のプロダクトにおいてスピードと品質のバランスをとりつつ進めるにあたりどのようなプロセス・環境を整備してきたかをまとめました。…

Beatrust の Product Manager、元グローバルファームの UX デザイナーが、初心者でも経験者でも、改めてインタビューする際のコツや注意点がまとまってた方が実用的なのでは、いう考えから作った資料をもとに記事を書いてみました。

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，データガバナンスをもってセキュアにお客様のデータを扱いつつ，データ分析者にとっても使いやすいことを目指して実装してきた Beatrust のデータ分析基盤について紹介します． モチベーション Beatrust では組織の中にある人びとの情報の構造や，協業に至るまでのプロセスに着目して BtoB SaaS を開発しています．まだ誰も答えが分かっていない領域で PMF を目指す中で，プロダクト上で…

Beatrust の tatsuya（白川）です。Beatrust は 人々の経験や強みを可視化して、自由に繋がり、協業・共創できる環境を作る という Mission を達成するためのサービスづくりとお客様への提供・活用促進活動を行っています。 beatrust.com キーワード抽出は Beatrust の基礎技術のひとつなのですが、これまで Beatrust で開発していたキーワード抽出器は辞書を用いたルールベースのものだったので、辞書外のキーワードを抽出できないというデメリットがありました。Beatrust のお客様は様々な業界に渡っており、それぞれ固有の専門用語や社内でのみ通用する社内…

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Beatrust のセキュリティ向上施策の一つである Row Level Security（RLS）について，実装時に課題になった点とその解決策，また RLS を適用して約3ヶ月運用してくる中で課題となった点とその解決策について紹介します． TL;DR 大企業に求められるセキュリティ要件を満たすためデータを論理的に分離しました．その実装方法として，実装・運用コストやセキュリティ向上効果などから…

2021 年 4 月 1 日にリリースされた Beatrust のマスコットキャラクター「Shearch（シャーチ）」のプロフィールを紹介します。

Beatrust の ML Lead の Tatsuya（白川 達也）です。 機械学習はデータからの学習プロセスを経てデータに最適化した機能を提供する技術ですが、新しい機能の導入前の段階ではユーザーの行動ログデータなどが蓄積されていないため、機械学習ベースの機能を新規提供することには本質的な困難さがあります。 本記事は、Beatrust People における Tag Suggestion 機能を例に、そのような状況においてどのように機械学習ベースの機能を構築していったのかを記したものです。 本記事で書いたこと Beatrust における Tag Suggestion 機能の紹介 データがない…

Beatrust techBlog をはじめます。ミッションを達成するため、さまざまな技術的な課題に挑むデザイナーとエンジニアの戦いの記録です。