はじめに株式会社ファースト・オートメーションCTOの田中(しろくま)です！弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とはここで"Excel文書"と呼んでいるドキュメントは、「構造化されたテーブルを保存しているExcelファイル」ではなく、「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」のことを呼んでいます。そもそも一般的な文書作成においてはExcelではな...

はじめに株式会社ファースト・オートメーションCTOの田中(しろくま)です！弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、RAGが普及してきた昨今においてまだまだ課題があるなと感じているのが、 マニュアルのような画像と文書の複合したドキュメントの読み取り です。例えばPC操作の説明書などは良い例かなと思うのですが、画面スクショに矢印が入っていたり、それに対して説明が入っている文書は通常のRAGとの相性が悪いです。以下は経産省が提供しているgBizINFOというサービスの操作説明資料を抜粋したものです。元のPDF資料はこちらこのように、図と文書が...

はじめに株式会社ファースト・オートメーションCTOの田中(しろくま)です！生成AIによる文章生成が発展してく中で、入力に関して文章だけでなく様々な入力を扱えるようになってきています。音声や画像だけでなく、 GoogleのGemini 1.5 Proでは最大で1時間程度の動画を入力として扱うことができます。弊社では製造業向けの生成AIを活用したプロダクト・サービス展開を行っており、この動画入力の技術を用いて、 製造現場での作業動画から作業手順書 を作るということを今回試してみたいと思います。以下の2つのモデルで作業手順書の作成を行います。Google Gemini 1.5 ...

はじめに株式会社ファースト・オートメーションCTOの田中(しろくま)です！前回、Open WebUIというツールを使って、日本語ローカルLLMが動く環境を作る記事を書いたのですが、今回はその環境を使って、最近発表された各日本語ローカルLLMの比較を行ってみたいと思います。https://zenn.dev/firstautomation/articles/0b7a4b1bb2daf0今回比較するローカルLLMの一覧は以下になります。日本語に特化したモデルじゃないのも含まれてます。使用するPCがRTX4090を一枚載せたPCなので、それぞれGPUに全部載せられるサイズに量子化を...

はじめに株式会社ファースト・オートメーションCTOの田中(しろくま)です！先日、 OpenAIからGPT-4oがリリース されました。https://openai.com/index/hello-gpt-4o/いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。https://qiita.com/sakasegawa/items/45947b0a1c1abb963d0ahttps://zenn.dev/...

はじめに株式会社ファースト・オートメーションCTOの田中(しろくま)です！今回は完全ローカルでRAGも使えるAIチャットアプリ「Open webui」のセットアップを行っていきたいと思います。弊社は製造業向けのChatGPTを用いた技術文書生成アプリ「SPESILL」を開発しているのですが、製造業の工場などはとてもセキュリティが厳しく、クラウド上への社内文書のアップロードやそもそもインターネットが禁止されているという状況も珍しくありません。そういった環境でも生成AIを使うために、弊社ではローカルLLMの導入も行っており、その中でもRAGが使えるものをいろいろと探していたところ...

作ったもの株式会社ファースト・オートメーションCTOの田中(しろくま)です！ChatGPTを使って、「いらすとや」の画像をいい感じにレイアウトする「れいあうとや」を作ってみました。これまで、「いらすとや」っぽい画像生成AIはあったと思うのですが、 既存の「いらすとや」の画像をいい感じにレイアウトして新たな画像を生成するAI は無いかも、、と思い作ってみました。(最近LayerDiffusionなるものが出てきて、画像とレイアウトも一気に生成できるようになったみたいですが、、)pythonでStreamlitを使っており、Gitでコードを取ってきて、ローカルで試すことができま...

はじめまして、株式会社ファースト・オートメーションCTOの田中(しろくま)といいます！https://first-automation.jp/株式会社ファースト・オートメーションでは 製造業のDX を進めるべく、以下のようなサービスの提供に取り組んでいます。技術文書(仕様書など)生成ツールの提供文書・工程管理ツールの提供LLMコンサルティング工場自動化コンサルティング製造業DXに関連する情報発信この中でも今弊社が最も力を入れているのがChatGPTを用いた 技術文書生成ツール「SPESILL」 です。(下のサンプル画像参照)今回は株式会社ファースト・オートメーション...