はじめに モデルのデプロイ 1. ワークスペースの作成 2. サーバーレスエンドポイントの作成 3. エンドポイントの詳細 Azure AI Foundryで作成したエンドポイントとの比較 langchainからの呼び出しコード 実行結果 モデルの精度と推論速度 ストリーミング 使用トークン数の取得 おわりに はじめに 昨今、小規模言語モデル(SLM, Small Language Model)の話が生成AI界隈で賑わせています。 SLMはgpt-4oのような大規模言語モデル(LLM, Large Language Model)と比較して小型軽量である故に以下のような特徴があるとされています。…

はじめに NoSQL の利用を促進したいという意識のもとこの記事を作成しました。 今迄、数多くの案件に関わってきましたが、DB といえば大体 RDB でした。NoSQL を扱っている案件もあるのですが数少ないです。 NoSQL にしておけばこんなに苦労することはなかったんだろうなというケースも多々あったので、とりあえず使い慣れた RDB を使うといった風潮に異を唱えたく思いました。 ロールの多様化によって DB に触れる機会があまりないエンジニアも増えてきた昨今、利用促進には情報発信したり説得材料を作るのが肝要だと思います。ビギナーでも手軽に試せるクイックスタート、どういった局面で利用すべきか…

はじめに インストール 実行結果 気づいたこと 思考言語 既存システムへの組み込み おわりに はじめに GraphRAGはLLMによってナレッジ(知識)グラフを生成することで、複雑な情報のドキュメントから質疑応答を行う際の精度を向上させることができる手法ならびにソフトウェアです。 GraphRAGはマイクロソフトが開発しましたが、先日オープンソース化が発表されましたので、早速試してみました。 GraphRAGはAzureで動作させる方法(GraphRAG Accelerator)もありますが、今回はローカル(手元のMac)で動作させました。 GraphRAGが使用しているナレッジグラフは、ドキ…

はじめに 前回の記事 『BRIDGE』掲載記事 『Microsoft Azure』の情報収集 『Microsoft Build』 『Microsoft Build Japan』 『Microsoft Ignite』 『Microsoft Ignite Japan』 『Microsoft (有志)』の記事 『Azureの新機能』 『Microsoft Learn』 『Azure コマンド ライン インターフェイス (CLI)』 『日本マイクロソフト サポート情報』 最後に はじめに こんにちは、HEROZ ASK の開発チームです。 herozask.ai 今回のポストでは、このプロダクトの開発…

HEROZ ASKのプロトタイプに今年(2024年)に来ると言われているマルチモーダル(Multi modal) RAGを組み込みましたので、その結果について書いていきたいと思います。

はじめに GPT-4oとは テキストの性能 日本語のRAGの性能 RAG（Retrieval-Augmented Generation）とは データソース AIアシスタント作成 モデルごとのRAGの性能確認 GPT-3.5 GPT-4 GPT-4o まとめ はじめに 当社では、ChatGPTのAPIを活用した「HEROZ ASK」というサービスを提供しています。この度、リリースされたばかりのGPT-4oに対応したことで、RAG（Retrieval-Augmented Generation）機能を大幅に強化しました。本記事では、GPT-4oの特徴や「HEROZ ASK」における具体的な活用方法、…

はじめに 知識抽出におけるRAGの役割 RAGの限界 LLMによるクエリ拡張 Multi Query Retrieverによるクエリ拡張 Multi Query Retrieverを利用したクエリ拡張時の性能とコストの評価 まとめ はじめに こんにちは、HEROZ ASK の開発チームです。 herozask.ai 今回のポストでは、このプロダクトの開発で活用している検索精度の向上技術についてお話します。 知識抽出におけるRAGの役割 そもそも現在公開されているLLMをそのまま用いて社内ナレッジについて質問すると、事実に基づかない文章を生成してしまう、いわゆる『ハルシネーション』が起きてしまい…

はじめに 『Azure OpenAI Service リファレンスアーキテクチャ』の賛同パートナーについて 『Azure AI Hub』について 『HEROZ ASK』アーリーアクセス版について 正式サービス開始に向けて 最後に はじめに こんにちは、HEROZ ASK の開発チームです。 herozask.ai 今回のポストでは、このプロダクトの開発で活用しているインフラ技術を紹介したいと思います。 『Azure OpenAI Service リファレンスアーキテクチャ』の賛同パートナーについて 日本マイクロソフト株式会社が公開する『Azure OpenAI Service リファレンスアー…

はじめに HEROZ ASKについて そもそもHEROZはどのようなBtoB事業をやってきたのか 生成AIの登場と、Solutionとの両立 HEROZ ASKが目指す開発の方向性 最後に はじめに こんにちは、HEROZ ASKの開発チームです。先日、私たちが新しく開発しているSaaS型プロダクト、HEROZ ASKの新バージョンがリリースされました。 heroz.co.jp 今回のポストでは、このプロダクトの開発に何故我々が注力しているのか、ビジネスとしての意義を説明したいと思います。 ※技術的なこだわりポイントはまた別のポストで随時発信したいと思います HEROZ ASKについて いつで…

はじめに 評価対象 評価方法 プロンプトの中身 0.2: FintanPrompt 0.3: AlpacaPrompt 0.4: RinnaInstructionSFT 0.5: RinnaBilingualInstructionSFT 0.6: Llama2 評価結果 おわりに はじめに LLMの日本語に関する評価にはJGLUEデータセットを使用するlm-evaluation-harness というプログラムがあります。(提供してくださった方々、ありがとうございます) 弊社でもこのlm-evaluation-harnessを使用してファインチューニング用のLLMの評価や事後の劣化具合評価に使…

Geminiの性能を宅建試験でGPT-4やClaude2と比較してみました。その結果は...

はじめに HEROZについて なぜTech Blogを立ち上げるのか? Tech Blogについて はじめに こんにちは、HEROZです。今日は皆様に大切なお知らせをお届けしたいと思います。それは…HEROZのテックブログが新たに開設されました! 私たちが日々取り組んでいる技術の一部を皆様に直接お伝えし、より深く理解していただけるようになることを願っています。 HEROZについて HEROZは以下のようなサービスを提供するAIテックカンパニーです。 将棋ゲームアプリの将棋ウォーズ プロフェッショナル向け将棋AI解析の棋神アナリティクス エンタメ・金融・建設向けのAIソリューション エンタープラ…