はじめに こんにちは。Algomatic CTO室 でインターンしている藤巻（@makiart13）です。 普段は、さまざまな業務の改善やPoCを行っています。 弊社Algomaticでは、定期的に技術系ミートアップやカンファレンスを開催しています。イベント運営は開催の1ヶ月前から準備を始め、登壇者とのコミュニケーション、会場手配、資料作成など多岐にわたるタスクが発生します。これらの作業は運営側のマインドシェアを恒常的に割きがちです。これら問題を解決するために、LLMの活用はもちろん、Slack、Notion、GASなどを活用した、イベント準備効率化ツールを作成、運用しています。 本記事では、…

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、これから LLM プロダクトを開発する方に向けて『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します🌻 ゆるく書くつもりなので、役に立つかどうかは分かりません 🙏

LLM APIの最強の一角であるAnthropic Claudeにprompt cachingが実装されました。簡単に言うとプロンプトの先頭から指定の位置までをキャッシュしてくれて、キャッシュを利用できた場合はAPI使用料金と、APIでかかる処理時間が大幅に改善するというものです。 キャッシュ書き込みではコストが1.25倍（つまり25%アップ）になってしまいますが、キャッシュ読み込みではコストが1/10（ただしHaikuの場合だけは$0.25/1Mtokensが$0.03になるので厳密には違う）になります。 速度に関しても、コストのうち処理時間が支配的なLLMにおいて値段が1/10になることか…

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します🌻 といいつつ今回は文量が多くなってしまいました...。 ゆるく書くつもりなので、役に立つかどうかは分かりません 🐈

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、『LLMプロダクト開発のことはじめ』をテーマとした 3分で読める コラムを紹介します🌻 ゆるく書くつもりなので、役に立つかどうかは分かりません 🙏

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、7月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 LLM から望ましい出力を得るための評価については、評価セットを用いた定量評価などが挙げられますが、本記事では システムへのLLM導入 という側面から動作検証に焦点を当てた話をコラムとして記述します。 LLM の評価に関する紹介は、以下のブログで紹介しているのでこちらもご参照いただけると嬉しいです。

こんにちは。NEO(x) の宮脇（@catshun_）です。 2024/07/18 に行われた『Tokyo AI Talks, 応用機械学習と人工知能セミナー: AIエージェント』で登壇いたしましたので、本記事では簡単にイベント概要を振り返りいたします。

はじめに はじめまして、Data Scientist の山内（@jof_5）です。 本記事では、先日、社内で開催した Dify ハッカソンの様子について紹介します。

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、6月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では弊社 podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一つとして "Claude 3.5 Sonnet Model Card Addendum" を読んだので、その備忘を共有いたします。

はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必要性と課題 2. 自動プロンプト最適化について 2-0. 最適なプロンプトとは何か？☕ 2-1. 自動プロンプトの概要 2-2. 自動プロンプト最適化のアーキテクチャ ①Task Executor: LLMによるタスクの実行 ②Output Evaluator: 出力の評価 ③ Prompt Improver: 最適なプロンプトの生成 3. 実験…

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、5月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。

本記事では LLM を用いたブラウザ操作を目的とした WEBエージェントとその周辺記述について紹介します。

こんにちは、Algomatic NEO(x) カンパニーCEOのDory (@dory111111)です。 Algomaticは、JSAI2024（人工知能学会全国大会 第38回） にプラチナスポンサーとして協賛させていただきます！ www.ai-gakkai.or.jp 会期中はAlgomaticブースにてノベルティ配布などもさせていただいておりますので、参加される方はぜひお越しください！

こんにちは、Algomaticのnaotoota（@OTA57）です。現在はChief of Staffとして横断的にさまざまな支援を実施しています。 今日は先日5/8に行われた生成AIカンファレンス2024の運営のレポートになります。 生成AIカンファレンス2024とは？ gen-ai-conf.org 生成AI Conf実行委員会が主催する年に一度の大型イベントで今回が初の開催でした。 生成AI Conf実行委員会は有志のコアスタッフにより成り立っており、Algomaticからも何名かがコアスタッフとして参画しています。 ※「生成AIカンファレンス」はイベントの名前で、「生成AI Conf…

最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは…

はじめに 2024/5/14 日本時間の午前2:00にOpenAI社が「Spring Update」と評した発表を行いました。 その中ではGPT-4oという新しいモデルや、無料ユーザー向け機能の拡充、デスクトップアプリ等についての発表がありました。 今回、それを受けて、弊社の機械学習エンジニア宮脇（@catshun_）とCoSの大田（@OTA57）が緊急でpodcastを収録しました。 この記事はその内容をLLMによってQ&A記事風にまとめ直したものになります。 ※速度優先で手直しをそこまでできていないので、日本語が一部おかしかったり、記事の内容が一部話した内容と違ったり、漏れていたりしますの…

本記事では BGE M3 Embedding を用いた検索方法について論文解説するとともに、dense, sparse, multi-vec の 3 つの functionality について紹介します。

LLM やプロンプトの性能評価を気軽に行うことができる評価ツール promptfoo を解説します。特にアサーションタイプの種類に着目してまとめます。

Devinの公開から注目を浴びているAIソフトウェアエンジニアについての紹介です。Devika, Open Devin, SWE-agent, AutoDev の他、MetaGPT, ChatDev, Data Interpreter などの関連情報を紹介しています。

tech.algomatic.jp 2024年3月24日 (日) 開催の Object-Oriented Conference2024にて、ランチセッション登壇させていただきました。 登壇資料 登壇資料はこちらです。 speakerdeck.com

こんにちは、Algomaticのnaotoota（@OTA57）です。現在はChief of Staffとして横断的にさまざまなカンパニーの支援を実施しています。 LLM STUDIOにおいてはPOの役割を担っているのですが、今日はLLM STUDIOのチーム運営における生成AIを活用したちょっとした取り組みをご紹介します。 LLM STUDIOではリモートのメンバーもいるため、メンバーが毎日の勤怠ややること、相談事項等をSlackにて毎日投稿（dailyスレッドと呼んでいます）しているのですが、 そこに生成AIを絡めてちょっとした楽しみを加えてみたという事例です。 【この記事に書いてあること…

こんにちは、Algomatic シゴラクAIカンパニーCTOの菊池 (@_pochi)です。 Algomaticは、3月24日 (日) 開催の Object-Oriented Conference 2024 (OOC2024) にて、ランチスポンサーとして参加させていただきます！ ooc.dev ランチセッションの登壇に加えまして、ノベルティアプリの配布や、公式ガイドブックへの技術記事の寄稿もさせていただいておりますので、その内容についてご紹介させていただきます！

はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などな…

LLM エージェントにおける基本機能の一つである計画立案について、タスクリストを並列に実行する LLM Compiler について解説します。逐次的にタスクを処理する ReAct よりも高いトークン効率とレイテンシを実現しつつ、ReAct よりも一貫して高い正解率を達成しています。

LLM エージェントにおける基本機能の一つである計画立案について、計画と実行の2段階による推論を行う ReWOO について解説します。ReWOO では Decomposed-first な推論を行うため ReAct よりもトークン消費の効率が良く、同程度の正解率を実現します。

LLM エージェントにおける基本機能の一つである計画立案について、その先駆けとなる Plan-and-Solve Prompting について解説します。Zero-shot Prompting (step-by-step に答えて）よりも一貫して正解率の高いプロンプトを提案しています。

大規模言語モデル（LLM）の日本語運用性能を評価するための内容をまとめました。評価方法を人手評価・LLM-as-a-judge・自動評価指標に分類し、JGLUEやMT-Benchなどのツールの利点や課題を解説します。