はじめに こんにちは一史です。 先日神代植物公園に行きました、まだ藤の花が残っておりとても綺麗で癒されました。昨今、開発支援のAIエージェントとしてClineが話題になっています。 github.comClineはVisual Studio Code(VSCode)の拡張機能であり、単なるコード生成だけでなく、コマンド実行や動作確認・デバッグまでを一貫して行ってくれる点が特徴です。Clineは任意の生成AIモデルを指定し、コードを生成させることができます。 このためセキュアで実際の開発現場でも活用されるAmazon Bedrockと組み合わせることでビジネスシーンでの活用も可能となります。 今…

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 (YAMALEXについて詳細はこちらをぜひご覧下さい。) www.acroquest.co.jpつい先日Phi-4-reasoningというモデルがMicrosoftから発表されました。 軽量な事前学習済み言語モデル（SLM）も性能が上がってきて利用されることが増えてきています。 SLM は量子化などを施すことで、ハイエンド GPU を使わずとも動かせる点が利点です。 そのため、外に出せないデータを扱ったり、通信できない環境で利用されることが多いとされています。SLMを扱う場合に必要になるのはFine Tu…

こんにちは。大塚です。AIの進化スピードに驚かされる毎日です。 生成AIだけでなく、データ活用の仕組みもどんどん進化していますね。今回は、昨年12月にサポートされたBedrock Knowledge Basesのカスタムデータソースとドキュメントの直接取り込みAPIを試してみたいと思います！aws.amazon.com 1. はじめに 2. カスタムデータソース＋直接取り込みAPIの概要とメリット カスタムコネクタとは？ ドキュメントの直接取り込みとは？ 3. 実際に試してみる 事前準備（ナレッジベースの作成） AWSマネジメントコンソールからドキュメントを投入 APIからドキュメントを投入 …

はじめに データ分析エンジニアの木介です。 AWSの公式ドキュメントで欲しい情報を探そうとしても、なかなか目的のページが見つからなかったりすることってありませんか？ AWSから「AWS Documentation MCP Server」が公開されたため、本記事では、それを利用して、最新のAWSドキュメントに基づき、質問に回答してくれるFAQアシスタントの作成方法について紹介したいと思います。MCP Serverの呼び出しには、Claude Desktop および dolphin-mcp を利用します。github.com はじめに 概要 1. MCPとは MCPのしくみ 2. AWS Docu…

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 (YAMALEXについて詳細はこちらをぜひご覧下さい。) www.acroquest.co.jpMCP（Model Context Protocol）が登場して少し時間が経ちましたが、その間にMCPに対応するサービスが増え、LLM 用ツールとしてその利用も拡大しています。 ツール提供側・クライアント側のどちらのサービスも増えており、今後さらに対応が広がりそうです。そのような中で、MicrosoftがAzure MCP ServerというAzureリソースをMCP経由で操作できるMCP Serverを公開しま…

はじめに こんにちは、一史です。 暖かくなりベランダに出している金木犀が新芽を出してきました、春ですね。さて、ストレージサービス間でファイル転送を実現するサービス、AWS Transfer Familyの新機能として、web appsというものがあります。 aws.amazon.comこの機能を使うことで、S3のWebUIをノーコードで作成することができるようになりました。 今回はこの新機能を用いて実際にWebUIを作成し、ユーザー単位のアクセス制御が行えるかを試していきます。 はじめに AWS Transfer Family web apps とは AWS Transfer Family w…

こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、RAG（Retrieval-Augmented Generation）の台頭などを背景に、ベクトル検索の重要性が増しています。 ベクトル検索は、テキストや画像などの高次元データをベクトル空間に埋め込み、類似度に基づいて検索を行う技術です。 これにより、従来のキーワード検索では捉えきれなかった、意味的な類似性に基づいた検索が可能になります。(RAGでElasti…

はじめに こんにちはデータ分析エンジニアの木介です。 今回は、Hugging Faceより公開されたオープンソースのAIエージェントOpen Deep Researchを実際に動かしていきたいと思います。huggingface.co はじめに 1. 概要 Open Deep Researchの仕組み 2. Open Deep Researchを動かす 準備 構築方法 検索実行 OpenAI Deep Researchとの比較 まとめ 1. 概要 Deep Researchとは、ウェブ検索をしながら自律的に情報を収集し、詳細なレポートを出力してくれるサービスのことを指します。 現在、「Deep …

皆さんこんにちは Acroquestのデータサイエンスチーム「AcroYAMALEX」のチームリーダ、@tereka114です。 AcroYAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 （詳細はこちらをご覧ください。）私は長崎で開催されているNLP2025に3/12（木）〜参加していました。 私自身はNLP2025、長崎ともに初でワクワクでした。 会場前のNLP2025看板 NLP2025 「言語処理学会」は、言語処理に関する研究を行う日本の学術団体で、自然言語処理、計算言語学、言語情報処理などの分野を扱います。 今回の『言語処理学会 年…

1. はじめに こんにちは、りょうたです。 先週、ついに待望のDify v1.0.0が正式リリースされて、生成AIを利用したサービスや基盤開発に関わる身として大変ワクワクしております！ github.com 本バージョン注目の機能として、エージェントノード と プラグインシステム が導入されています。 エージェントノードとは、予め定義されている「エージェント戦略」を用いて、質問に応じたツールの呼び出しや複数ステップにわたる推論を自動的に実行する、新しいノードです。 今回は、Dify公式が出しているエージェンティック戦略を用いて、チャットフローを作成してみます。 1. はじめに 2. エージェン…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は AWS が提供するオープンソースツール GraphRAG Toolkit を使って、 GraphRAG に入門しようと思います。 GraphRAG Toolkit を使うと、 Amazon Neptune と Amazon OpenSearch Serverless を使用した GraphRAG システムをローコードで実装できます。 なお、2024年12月から B…

こんにちは。大塚です。今回は、Amazon Bedrock Knowledge Basesを使い、ベクトルDBとしてAmazon Aurora PostgreSQLの利用を試したいと思います。 昨年の12月にはBedrock Knowledge BasesのベクトルDBとしてAurora PostgreSQLをクイック作成できるようになり、セットアップ手順が大幅に簡素化されました。 このクイック作成機能も活用してセットアップをしてみます。aws.amazon.com 1. ベクトルストアとして Aurora PostgreSQL をセットアップする 事前準備 Knowledge Basesの作…

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 （詳細はこちらをご覧ください。）LLMやVLMをはじめとした基盤モデルが近年、多く公開されています。 画像や自然言語処理といったものとは異なりますが、時系列モデリングでも基盤モデルが利用されようとしています。本記事では、時系列基盤モデルの一つである「Chronos-Bolt」を紹介します。 Chronos-Boltについて Chronosは端的に言えば、予め様々な時系列を…

はじめに こんにちは一史です。 冬にもかかわらず、自宅のモンステラが新芽を出しており、生命力に驚いています。さて最近、Amazon Bedrock Flowsの新機能としてマルチターン形式の会話機能がサポートされました。 aws.amazon.com従来は、ユーザーが1回のプロンプトで処理に必要な情報を全て入力する必要がありましたが、マルチターン形式の会話により不足している情報を適宜AIが聞き返すことが簡単に実現できます。 今回はこのマルチターン形式の会話機能により、対話的なフローを行ってみます。 はじめに 概要 Amazon Bedrock Flowsとは？ マルチターンの会話機能とは？ A…

はじめに 最近OSSのLLMサービスが気になっているデータ分析エンジニアの木介です。 今回は2024年12月に発表された、Amazon Bedrockの「Multi Agent Collaboration」について実際にサンプルコードを動かしながら解説していきます。aws.amazon.com Multi Agent Collaborationとは 1. 概要 Multi Agent Collaborationとは、Amazon Bedrockが提供する新機能で、複数のAI Agentが協力してタスクをこなすことができる機能です。 AWS公式ブログにあったソーシャルメディアキャンペーンの例では…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 突然ですが、動画を検索したくなることってありますよね。 それも、動画のタイトルにはなっていないんだけど、こんなことを話してたんだよな、というざっくりとした記憶しかなく、どうしても見つけることができないこと、あると思います。 あるいは Google 検索などができれば良いのですが、自社内にある動画や、仕事で使う動画となると、そう簡単にはいきません。 そんな困りごとを解決する…

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はLLMのFine Tuningに夢中の日々です。昨年のMicrosoft Ignite 2024にて、Azure Content Understandingというサービスが発表されました。 このサービスはOfficeドキュメントや画像、音声、動画などのファイルをもとに、RAGシステムなどで使いやすいように生成AIなどを活用してユーザーが定義した構造にデータを取り込むサービスです。 今までだと、音声はSpeech Service、画像はAI Visionなどのサービスをそれぞれ使ってデータ処理する必要が…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） RAG（検索拡張生成：Retrieval-Augmented Generation）で正しい情報をユーザーに提供する際に特に重要になるのが検索精度です。 そして、検索精度を上げる方法のひとつが「リランク」です。 リランクを行い、検索で取得した結果を関連度で並び替えなおすことで、ユーザーの求めている情報を回答しやすくなります。 そんなリランクを行うモデルがAmazon Be…

こんにちは、バックエンドエンジニアの前田です。 前回はbolt.newを用いて、画面イメージからどこまで画面を生成できるかを試してみました。 acro-engineer.hatenablog.com 画像を読み込み、ほぼイメージ通りに生成してくれることが分かったので、今回はシーケンス図を画像にしてbolt.newに渡し、どこまで生成してくれるかを試してみます。 1. 今回作成するアプリ 2. アプリ作成 2.1. シーケンス図を指定してアプリを生成させる 2.2. 生成結果の詳細 3. まとめ 1. 今回作成するアプリ 今回作成するアプリは、砂時計アプリです。 以下の画像のようなシーケンス図を…

こんにちは、バックエンドエンジニアの前田です。 正月お餅を食べすぎたので、体重が跳ね上がっていないか心配です。さて今回は、bolt.new に対して、画面イメージを元に、どこまで画面生成を簡単に行えるか、試してみました。 画面のレイアウトがあっても、イメージしづらい部分はありますが、実際に動く画面を素早く作れるならイメージもしやすいと思います。 bolt.newに関しては、以下を参考にしてください。 acro-engineer.hatenablog.com 1. 今回生成する画面について 2. 画面イメージを元に、画面を生成させる 2.1. 図書検索画面と新規追加ポップアップの生成 2.2. …

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。今年も、アドベントカレンダーとして、9つの記事を本ブログで投稿しました。 本記事では、今年の記事の傾向や、私個人が特に面白いと感じた記事を紹介します。 本ブログの今年のアドベントカレンダー記事投稿傾向 特に読んで欲しい記事3選 ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 PDFドキュメントを画像のまま検索できるColQwen2でマルチモ…

こんにちは。データサイエンスチームYAMALEXの@Ssk1029Takashiです。 完全に年末ですが、最後まで油断せずに年を越したいですね。このブログは、LLM・LLM活用 Advent Calendar 2024の25日目になります。 qiita.com今年は1年間RAGを扱う多くの事例に触れさせていただきましたが、どこでも難しいのが図や画像が使われているドキュメントですね。 ただのPDFであれば、pdfminerなどのライブラリを使用して文字を読み取り検索すればよいですが、画像が使われるとそう簡単にもいきません。 画像部分からはOCRを使って文字を取り出すなど、工夫が必要になります。今…

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。大規模言語モデル（通称：LLM）は近年、非常に注目される技術となりました。 ただ、7Bや13Bといった巨大モデルのパラメータは推論時間も長時間で計算時間の面からも運用が非常に難しいです。 しかし、vLLMを使えば、高速化できます。本記事では、推論をどこまで高速化できるのかを検討したいと思います。※本記事はLLM・LLM活用のAdvent Calendar 24日目の記事です…

こんにちは、技術イベントに参加してきてアウトプット欲が高まっているハヤトです。 この記事は Dify Advent Calendar 2024 のシリーズ2、24日目の投稿です。最近も精力的にアップデートが重ねられているDifyですが、 その中心的な機能であるワークフローとノードについて改めて基本的な内容を確認していきたいと思います。実際に動作するワークフローを構築しながら説明するので、 Dify初心者の方も是非ご一読ください。 ※本記事はDifyバージョン0.13.1時点のものです。 Difyについて Difyの「ワークフロー」とは Difyワークフローの種類と使い分け ノードについて ナレ…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） この記事は Amazon Bedrock Advent Calendar 2024 23日目の投稿です。 Amazon Bedrock Knowledge BaseのデータベースとしてRedshiftを指定して、構造化データを検索し、その結果を元に回答を生成することができるようになりました。 現在のところ、データベースとしてはRedshiftのみに対応しています。 Red…

はじめに こんにちは一史です。 最高気温も10℃を下回る日も出てきて、外出する際には、マフラーをするようになりました。 皆様も体調にはお気を付けください。さて、OpenAIのChatGPTではFunction callingという会話の流れからAIが判断して関数（メソッド）を呼び出す機能がありますが、Amazon BedrockでもTool Useという機能により関数呼び出しをすることができます。 docs.aws.amazon.com今回はこのTool Useを使って、旅行プランの提案・予約を行う生成AIチャットを作ってみます。 AIエージェントで実現されるような内容ですが、ToolUse（…

こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、生成AIの発展により、RAG（Retrieval-Augmented Generation）が注目を集めています。RAGは既存の知識ベースから関連情報を検索し、それを基に生成AIが回答を生成する手法です。本記事では、多くの企業ですでに利用されているElasticsearchを使って、シンプルなRAGシステムを構築する方法をご紹介します。 RAGの基本概念 RA…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） この記事は Amazon Bedrock Advent Calendar 2024 17日目の投稿です。 re:Invent2024 ではたくさんの新機能が発表されて、あんなこともできるようになった、こんなことも……と興奮が止まらない日々です。 今回はそんなre:Inventで発表されたAmazon Bedrock Knowledge Baseの新機能の一つである、クエリ…

はじめに 急に冬らしい寒さを感じるようになってきました。 データ分析エンジニアの木介です。Amazon Bedrock Advent Calendar 2024 シリーズ２の16日目のブログ記事になります。qiita.com今回は12月のAWS re:Invent 2024にて発表のあったAWSの最新LLMモデルAmazon Novaを触っていきたいと思います。www.aboutamazon.com はじめに 概要 Novaとは Novaで出来ること 使い方 他モデルとの比較 Amazon Nova の精度を確認してみる 1.特殊な日本語の理解 2.画像認識 3.画像生成 4.動画生成 まとめ…

Elastic Cloudを利用してAWSのリソース・メトリック監視／ログ監視／死活監視(Observability)を簡単に始める方法について手順ベースで紹介します。