LLM API監視におけるDatadog Inferred Services活用法株式会社IVRyでAIエンジニアとして働いているMoriyaです。弊社は、電話上で動くAI自動音声サービスを提供しています。ECSで動くApplicationからLLM APIを呼び、sidecarとしてDatadog Agentを使っています。弊社のようにLLM APIをリアルタイムで扱うサービスでは、latencyやerrorの把握が重要です。弊社では、色々なLLM API監視ツールを試しましたが、いろいろな課題がありました。本記事では、これらの課題を解決するために、Datadog Infe...

こんにちは。SRE 兼 Development Infrastructure の komtaki です。IVRy では、2024 年 4Q から開発者体験の整備の「Development Infrastructure」が発足しました。組織とプロダクトが急成長する成長する中で、CI/CD や各種開発基盤の整備は今後のプロダクト開発に大きく影響してきます。まだまだ人数が少ないので全員 SRE と兼務なのですが、CICD 以外にも AI コードエディターの Cursor の試験導入など、いろいろな改善が進んでいます。その一環として GitHub の整理をしたので紹介します。 導入の背景...

背景株式会社IVRyでAIエンジニアとして働いているMoriyaです。弊社では、ECS上で動くapplicationからLLM APIを呼びだしており、sidecarとしてDatadog Agentを使っています。LLM APIの監視ツールとして、これまでDatadog LLM observability機能を使っていました。しかし、LLM observabilityだと、OpenAI以外のLLM APIを監視することができませんでした。そこで、さまざまなLLM APIを監視するツールとして、OpenTelemetryに則ったライブラリであるOpenLITの導入を検討し始めま...

はじめにこんにちは。株式会社IVRyでSREをやっている渡部です。前職ではMySQLをやっていたのですがIVRyに来てからは専らPostgreSQLで色々な違いを楽しみながら学んでいます。本記事では、Amazon Aurora PostgreSQLのパフォーマンスをより引き出すための監視ツール、Amazon CloudWatch Database Insightsについてご紹介します。 概要Amazon Aurora PostgreSQLは、高性能でスケーラブルなリレーショナルデータベースサービスとして多くの企業に利用されています。しかし、そのパフォーマンスを最適化し、問題...

こんにちは、株式会社IVRyでコーポレートITをやっているまゆかずです。以前にOkta > DatadogのSAML Group Mappingsに関する設定手順を書きましたが、縁があってMicrosoft Entra IDでも同じ設定をする場面に遭遇したので、こちらも備忘録的に残しておきます。Oktaの設定手順は↓をご覧ください。https://zenn.dev/jyosysmiler/articles/b41d344551e75c 設定手順 Entra ID側の設定手順Microsoftの公式ドキュメントにも設定手順が記載されているので、その手順に沿って設定して...

はじめにこんにちは。株式会社IVRyでSREをやっている渡部です。入社して3ヶ月が経過しようとしており、そろそろプライマリーオンコールのローテーションに入れそうでワクワクする日々を送っています。先日、IVRyのSREチームのメンバーと一緒にSRE Kaigi 2025に参加してきました。本記事では、そのイベントの模様をレポートしたいと思います。 SRE Kaigiとはhttps://2025.srekaigi.net/SRE Kaigi 2025は、「More SRE !」をテーマに開催される、SREを中心として知見の共有と参加者との交流を楽しむ技術カンファレンスです。現...

こんにちは。2024年11月にIVRyにSWEとしてジョインした渡部です。最近は肉うどんとコーヒーにハマっています。会社には肉うどん部とコーヒー部があって日々レベルの高い(?)議論がされておりとても面白いです。https://x.com/ryuichi_1208/status/1878819196194476455 概要https://ivry.jp/IVRy では目に見える機能開発の他にも、サービスレベルを高めクライアントに提供するシステムが安定稼働し続けることを目指して、様々なシステム改善を日々実施しています。今回は、IVRy のSREチームが行っている取り組みについて紹...

こんにちは、株式会社IVRyでソフトウェアエンジニアをしているtsutouです。AndroidのCoordinatorLayoutやFlutterのSliverAppBarは、ユーザーのスクロールに応じて、ページの表示領域を柔軟に広げ、ユーザー体験の向上に大きく寄与します。https://www.youtube.com/watch?v=R9C5KMJKluEしかし、FlutterでWebViewを使用する際に、上記のようなスクロール連動型AppBarを実現しようとすると、WebViewとスクロールが干渉し、思ったように動作しませんでした。さらに、同様の事例がWeb上ではあまり見受け...

!本記事はIVRy Advent Calendar 2024 紅組の3日目の記事です。白組は、otsukyさんの「JSConf JP初スポンサーとして参加しました！」を公開しています！ぜひ読んでください。4日目は、コーポレートITのendoさんの「会社のセキュリティを向上させるなら従業員体験も向上させようぜというお話」が公開予定です。お楽しみに！こんにちは。電話AI SaaS IVRyのQAエンジニアの関( @IvryQa )です。アドベントカレンダーの3日目を担当します。IVRyの自動応答機能では、Text-to-Speech（TTS）という音声合成を使用しています。...

ウェブページのパフォーマンス向上を目指す場合、ウェブフォント（特に和文フォント）の使用は避けるべきと言われます。これは、ウェブフォントのファイルサイズが大きく、ページの読み込み速度に大きな影響を与えるためです。しかし、デザイン上の要件やブランディングの観点から、ウェブフォントの使用が必要不可欠なケースもあるでしょう。本記事では、ウェブフォントを使用しながら、できる限りパフォーマンスを最適化するためのヒントをご紹介します。 検証環境使用フォント: Google Fonts の Noto Sans JP開発環境: Next.js測定ツール: Lighthouse説明の都合上...

こんにちは。株式会社IVRy（アイブリー）のデータアナリストの wada です。IVRy ではデータモデルの管理のために dbt Core を導入し始めているのですが、今回はプロダクトへのデータ転送パイプラインに dbt を導入した事例を紹介します。 プロダクトについてIVRy は電話業務を効率化する対話型音声 AI SaaS です。https://ivry.jpプロダクトには、自動対応した着電件数や IVRy を使うことによって削減した時間などの統計情報を確認できる機能があります。「台所ようは」様の導入事例からちょうど今月、閲覧できる統計情報を大幅にアップデートしたダ...

はじめに株式会社IVRyのMoriyaです。IVRyではAI対話システムのサービス提供を行っており、このサービスの安定性を担保するためのE2E testを用意しています。しかしながら、これまでの開発環境ではE2E testを気軽に実行できず、本番環境にリリースする直前で、E2E testを実行していました。そのため、E2E testでエラーが検知できても、複数のPRが混ざっており、どのPR起因のエラーなのか分からないという課題がありました。そこで、この問題を解決するために、CI/CD pipelineを整備しました。PRがmain branchにmergeされたタイミングで、...

2024年10月からIVRyで働いている @abnoumaru です。10といえば...TVアニメ「SHIROBAKO」10周年おめでとうございます！🍩😭🌙🎉🐻👏 はじめにIVRyのメンバー数は、ここ1年で急激に増加しています。人数増加に伴い、コーポレートエンジニアによるEntra IDを利用したユーザ管理が迅速に進んでいます。また、エンジニアメンバーについても例外なく増えており、Q毎の人数の推移は以下のようになっています。エンジニアが増えるということは、各種XaaSへアクセスするメンバーも増えてきていて、アカウントやユーザの管理、オンボーディング等が煩雑になります。このため...

株式会社IVRyでソフトウェアエンジニアをしているIgarashiです。昨年末のnoteでデプロイ頻度(記事ではリリース頻度と表現しています)を上げたい旨の記事を書きました。それから10ヶ月ほど経ってIVRyのバックエンドで利用されているコードのデプロイ頻度がどのように変化したかを見てみたいと思います。 結果発表以下は、去年の10月から今年の9月末までの1週間ごとのデプロイ数をグラフにしたものです。バックエンドのデプロイ数/週去年の12月頃までは、基本的に週1回、mainブランチにコミットされたものをQAエンジニアが確認したのち、みんなで集まってデプロイしていました。今思い...

こんにちはべいえりあです。いきなり煽りタイトルで申し訳ないのですが、今回はLiteLLMについて書いてみようと思います。 LiteLLMとは？LiteLLMは様々なLLM APIをOpenAIフォーマットで呼び出せるサービスです。https://www.litellm.ai/LLM APIを共通のフォーマットで呼び出せるサービスとしては他にもLangChainなどもあると思うのですが、APIの呼び出し共通化が目的だとLangChainをインストールすると不要な機能／ライブラリも併せて大量にインストールされるので、必要最小限の機能があれば良いのであればLiteLLMがオススメです...

はじめにこんにちは。電話AI SaaS IVRyのAIエンジニアの町田です。IVRyは従来のプッシュ型の自動応答システムに留まらず、LLMを積極的に活用したAI音声対話システムを開発しています。2023年初頭にAI対話システムの開発を開始してから1年半、多くの企業に実際に導入され、ほぼ毎週新機能や改善のリリースを行うまでに成長しました。https://ivry.jp/pr/20240123/しかし、実際の音声対話をベースとしたAI電話アプリケーションの開発は、従来のWebアプリケーション開発とは異なる独自の課題を抱えています。毎週の新機能や改修を安定的にリリースすることは、決...

はじめにこんにちは。株式会社IVRy(アイブリー)のコーポレートエンジニアのueda(chama)です。いわゆるゼロトラストモデルな社内ITを構築するためにはID管理やSingle Sign-On(SSO)、SAMLに対応したIDaaSがもっとも重要で、IVRyではMicrosoft Entra IDを採用しています。管理者がEntra IDを操作する手段はいくつかありますが、Webブラウザで管理センターからポチポチするのが面倒になってきた方がまず行き着くのはPowerShell(Microsoft Graph PowerShell)なのではないかと思います。ただ、Power...

株式会社IVRyのMoriyaです。OpenAI APIなどのLLM APIの監視を行うために、Datadog LLM Observabilityを試してみました。このブログでは、Datadog LLM Observabilityの導入方法・出来ることなどをまとめました。https://www.datadoghq.com/ja/product/llm-observability/ 背景IVRyは、AI対話システムを利用した電話自動応答を開発している会社です。https://ivry.jp/company/当社では、LLM APIを使う機会が多い一方、LLM APIの監視には...

はじめにこんにちは。株式会社IVRyのエンジニアの@kikuivryです。IVRyでは半年に1回のペースで開発合宿を行っています。8月中旬に第3回IVRy開発合宿に行ってきたので、その様子をシェアします。IVRyの真剣ながらもわいわいとしている雰囲気が伝われば幸いです。動物の像の前で集合写真を撮るのが慣わしです。みんな良い笑顔。今回は23名のメンバーが参加しました。回を経る毎に合宿の参加者数が増加しており、会社の成長を感じます。参加者数の推移。今回は一気に増えました。 IVRy開発合宿とはIVRy開発合宿は、オフィスのある東京から離れ、海を望める三浦のホテルで泊まり...

こんにちは。株式会社IVRy（アイブリー）のエンジニアのsagawaです。IVRyでは現在、自社記事を部分的にContents Management System(以降CMS)にて管理・編集しています。今回はこのCMS導入の背景、それに伴う課題と対策、またその構成について紹介したいと思います。 CMS導入の背景 これまでの自社記事の運用IVRyでは導入事例やお役立ち記事といった自社記事が多数存在します。この取り組みはマーケティング施策の大きな柱となっており、IVRyのユニークなポイントの一つです。https://note.com/teru_ivry/n/na8b676ae9...