Qwen-Image-Edit-2509をdatabricks notebookで動かしてみました。

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 もう11月です。寒くなってきて体調を崩しやすくなってきているので、体調管理には気を付けないと・・・と思っています！ "MCP"というワードを頻繁に聞くようになりました。私も以前調べたことがあって、その内容についてはこちらの記事にまとめています。 techblog.cccmkhd.co.jp 最近databricksが"managed MCP server"というMCP serverをBeta版で提供していることを知りました。これを利用するとdatabricksのworkspaceに構築したvector searchやgenie …

はじめに こんにちは。テックラボの井上です。 現在、AI開発の活発化は業種・企業規模を問わず見られる現象ですが、弊社テックラボでも様々なAI関連プロジェクトが進行しています。そして、これらのプロジェクトを推進する中で、私たちはある共通の、かつ本質的な課題に直面しています。それは、「ドキュメント管理」の重要性です。 🤖 AI開発の「前処理」としてのドキュメントの存在 機械学習やデータ分析の世界では、データの前処理に多くの工数が割かれます。これは、RAG（Retrieval-Augmented Generation）のようなAIアプリケーション開発においても同様です。 RAGの精度向上というと、モ…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 だいぶ寒くなってきました。近所の街路樹は少しずつ紅葉をはじめたようです。 前回MicrosoftのGraphRAG(MS GraphRAG)というKnowledge GraphとLLMを組み合わせたフレームワークをご紹介しました。 techblog.cccmkhd.co.jp 前回は主にGraphRAGでどのようにKnowledge Graphを構築しているのかに焦点を当てて調べましたが、今回はどのようにKnowledge Graphから情報を検索するのかに焦点を当てて調べたことをまとめてみたいと思います。 MSのGraphRA…

GraphRAGの動作の仕組み Entity/Relationshipの抽出 Knowledge Graphの構築 Communityの生成とReportの生成 Community Reportを使った情報の検索 GraphRAGでKnowledge Graphを生成してみる Knowledge Graphを生成時に使用するPromptのTuning Knowledge Graphの可視化 まとめ こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 最近AIに参照させるデータの持ち方としてKnowledge Graphについて調べていました。AIに参照させるデータの持たせ方ではV…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 最近急に寒くなってきました。長袖の服を出さなきゃ・・・と思いつつ、バタバタしていてまだ出すことが出来ていません。。。 10/20にdatabricksのユーザー会"JEDAI Meetup! AI Readyへの道のり"に参加し、"AI-Readyを目指した非構造化データのメダリオンアーキテクチャ"というテーマで発表の機会をいただきました。 jedai.connpass.com 今回はmanabian様と一緒に登壇させていただきました。資料の準備等含めてご一緒させていただいたのですが、自分一人では気づかないような視点やアイデアに…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 私は体力維持のために朝走る習慣を続けているのですが、続けててよかった、と思ったことが最近1つ見つかりました。それは旅先でホテルから少し離れたところにある観光名所であれば電車やタクシーを使わずに走って訪れることが出来るようになったことです。直線距離では5kmほどの距離なのに交通手段が無くて訪れることが難しかったところでも、走ってちょっと見に行く、ということが出来るようになりました。 さて、私は以前からAIによって人の行動をどれだけ予測することが出来るのか、というテーマに興味を持っています。鏡を見て自分について分かることがたくさんあ…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 だんだん過ごしやすくなってきて、なんだかどこかに行きたいな、という気持ちになることが増えてきました。自分が知らない場所に行ったり知らない人に出会ったりすることは、自分にとってとてもよい経験なんだと思っています。 最近、Databricksで非構造化データの扱い方をいろいろと調べていて、その中でDeltaテーブルに格納されたドキュメントデータをベクトル検索するために、2種類の検索エンジン（Databricks Vector SearchとFaiss）を使ってインデックスを構築する方法を試していました。 今回はDatabricks …

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 私たちの部門では毎週LT会を開催していて、各自が持ち回りで資料を作って発表をしています。私も発表しているのですが、数年続いていることもあり、かなりの量の発表資料になってきました。これらの資料はとりあえず社内のストレージ内に保管しているのですが、せっかくならこれまで自身が築いてきた知見をもっと活用できるような形にしたいな、と考えるようになりました。 たとえば「LLMのFine-Tuningのやり方ってどこに書いてある？」とか、「画像解析についてこれまでどれくらい発表したっけ？」なんていう問い合わせに答えることが出来る仕組みです。 …

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 9月下旬になり、朝晩は少しずつ涼しさを感じるようになりました。私は四季の中で秋が好きなので、これからがとても楽しみです。 最近マニュアルや提案書といったドキュメントをAIで活用するため、どのようにそれらのデータを加工したらいいんだろう、ということを考えていました。 先日参加したSnowflakeのイベントでエンジニアの方々と情報交換させていただいた際にSnowflakeのAISQL関数"AI_EXTRACT"が使えるんじゃないか、といったアイデアをお聞きし、それ以来色々と試してみています。 そんな中、「このアプローチはいいかも」…

テックラボが開発した「AI増田宗昭」の記事が日本経済新聞に掲載されました。 www.nikkei.com 「AI増田宗昭」は、こちらのCCC40周年サイトで公開中です。 www.ccc.co.jp

こんにちは。データサイエンスグループの木下です。 今回は、レコメンド×AIエージェントに関する論文である、 iAgent: LLM Agent as a Shield between User and Recommender Systemsという論文を紹介したいと思います。 1.Instruction 背景と課題 現在の推薦システムは「ユーザー-プラットフォーム」型であり、以下の問題が存在している プラットフォームが商業的目的を過度に追求した結果、ユーザーの真の関心から逸脱してしまう可能性がある マタイ効果（強者がより強くなる現象）により、発言力の弱いユーザーが無視されがちである エコーチェン…

Snowflake World Tour Tokyoに参加しました！ AISQLによるドキュメントの構造化 Streamlit in SnowflakeによるUIの実装 とりあえず作ってみたもの AI_EXTRACT Streamlit in Snowflakeによるアプリ実装 課題 まとめ Snowflake World Tour Tokyoに参加しました！ こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 9月11日～9月12日に開催されたSnowflakeの日本でのイベント"Snowflake World Tour Tokyo"に参加しました！ Snowflake Wor…

こんにちは、テックラボの井上です。 テックラボでは毎週1回、メンバーが集まってLT会（Lightning Talk会）を開催しています。一昨年度からスタートしたこの取り組みも、気がつけば3年目に突入。1時間の枠を2名でシェアして、それぞれ30分ほどの発表を行うスタイルで運営しています。 おおよそ月1回のペースで自分の発表順が回ってくるのですが、自分に限って言うと、「次は何を話そう…」とネタ探しに頭を悩ませることが多いです。 ちなみにこれまで登場したテーマを振り返ると： 定番の技術系 - AI・機械学習 - プログラミング関係 - 統計分析 - ソフトウェア開発手法 ちょっと意外な分野 - 会計…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 OpenAIがリリースしたオープンウェイトの言語モデルgpt-ossをカスタマイズ、つまりFine-Tuningするにはどうするんだろう？と最近調べていました。色々情報が見つかり、トライしてみた中で一番わかりやすかったのがOpenAIのCookbookで紹介されている方法でした。 cookbook.openai.com gpt-oss-20bはリーズニングモデルで回答の前にリーズニング(論理的な思考・推論の過程）が実行されます。gpt-oss-20bはデフォルトの状態だと入力が英語以外の言語であってもリーズニングは英語で実行され…

こんにちは、CCCMKホールディングス三浦です。 最近は色々な画像生成モデルが出てきています。その中にはHugging Faceで公開されているものもあります。そういったモデルを試すことが出来る環境が欲しいな、と考えていました。 このブログでも何度か紹介しているdatabricksのModel Servingでは、T4もしくはA100が搭載されたサーバを選択することが出来、それらを使うことで画像生成モデルをModel Servingで動かしてAPI経由で利用することも出来るのでは、と考え、今回実際に試してみようと思いました。 結果、狙い通りにModel Servingで画像生成モデル(stab…

CCCでは全社で利用される単機能のAIチャットボットと、 その他各種ドキュメント参照機能のついたRAG(Retrieval-Augmented Generation)機能を持った チャットボットを絶賛運用中です。

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 ファイルを読み込み、その内容について回答が出来るLLM Agentを作ることが時々あるのですが、毎度ファイル読み込み処理を作るのが面倒だな、と感じることがありました。PDFやPPTXファイルからテキストデータを抽出したいというニーズはLLM Agentに限らず色々なシーンで発生するので、WebAPIにして様々なアプリケーションから利用できるようにしてみようと考えました。 稼働する環境はdatabricksのModel Servingで構築しました。Model Servingを利用することで、databricksを利用できる環境さ…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 日中はとても暑いのですが、朝早い時間に外に出るとほんの少し涼しさを感じることがあります。8月も後半に入ったんだなぁと改めて思いました。 以前databricksのModel Servingを使ってRAG AgentをAPIで提供する方法についてご紹介しました。 techblog.cccmkhd.co.jp この時はdatabricksのPlaygroundで作ったAgentをModel Servingにデプロイしたのですが、最近LangGraphで独自に作ったAgentをModel Servingにデプロイする方法を調べていまし…

こんにちは、CCCMKホールディングス AIエンジニアの三浦です。 最近のAIに関する出来事で特に印象に残っていることがOpenAIによるオープンモデルgpt-ossのリリースです。OpenAIはWhisper⁠やCLIPといったオープンなモデルをリリースしていますが、オープンソースの言語モデルのリリースはgpt-2以来です。 openai.com サイズは120bと20bが提供されており、特に20bは12GBのメモリがあれば動くと紹介されており、エッジコンピューティングでの利用が期待できます。 エッジコンピューティング、と聞くと、私はNvidiaのJetsonが思い浮かびます。Jetsonは…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先週末はたくさん花火大会が開催されたようで、私の住む街でも花火を見ることが出来ました。打ち上るたびに次はどんな花火になるんだろうと想像するのが楽しくて、いつまでも見ていられるなぁと思いました。 はじめに 今回読んだ論文 検証における比較対象 Test-Time Scalingによって精度が落ちるタスク Simple counting tasks with distractors(気を散らす情報を含む単純な数え上げ) Regression tasks with spurious features(目的変数に関係ない特徴量を含む回帰…

こんにちは。データサイエンスGr.の木下です。 昨今、生成AIが急速に業務に浸透しています。 その中で、Vibe Codingという、自然言語のみでプログラミングをする技術が話題になっています。 Vibe Codingによるアプリケーション作成の事例は多々見受けられる一方、 データサイエンスの文脈で使用されている事例は見かけません。 そこで、SIGNATEの分析コンペを対象に、 Vibe Codingのみで（すなわち、コードを一切書かずに）どこまで精度が出るのか検証してみました。 Github Copilot Agent Mode 正式名称「Copilot Coding Agent」として、2…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先日サンフランシスコで開催されたSnowflakeの年次サミット"SNOWFLAKE SUMMIT25"のキーノートセッションの動画がアップされていて、最近そちらを閲覧しました。面白いアップデートが紹介されていたのですが、その中で特に印象に残ったのが"Cortex AISQL"です。 Cortex AISQLはSQLの中でLLMを呼び出し特定の処理を実行することが出来る関数セットです。LLMを使った特定の列の変換処理や、潜在的な意味に基づいたテーブルの結合処理を実現することが出来ます。 本記事では、現在利用できるAISQLを一通…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先日、今年6月に開催されたdatabricksのDATA+AI Summit2025を振り返るdatabricksのユーザー会に参加し、LT枠で登壇させていただきました。 jedai.connpass.com 大分前からLLMアプリケーション開発フレームワーク"DSPy"をテーマにしてお話したい！と考えていました。DSPyは"Programming-not prompting-LMs"というメッセージを掲げた、AIアプリケーションの構築をプロンプトエンジニアリングに頼るのではなく、Moduleの組み合わせ (プログラミング) と…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 生成AI周りの機能がアップデートされたMLflowに、ベータ版の機能で"Prompt Registry"が搭載されていました。この機能はプロンプトエンジニアリングの効率化を目的とした機能で、生成AIアプリに搭載するプロンプトの編集、バージョン管理、タグ付け等を行うことが出来ます。Prompt Registryに登録されたプロンプトはコマンド一つでダウンロードすることが可能です。 今回の記事では、現在ベータ版であるPrompt Registryを触って調べてみたことをまとめたいと思います。おそらく今後様々なアップデートが行われ、現…

こんにちは、CCCCMKホールディングスAIエンジニアの三浦です。 毎日とても暑いですね・・・。体調を崩さないように気を付けないと、と思います。 databricksのDATA+AI Summit2025に参加したとき、ブレークアウトセッションで"DSPy"というAIアプリケーション開発フレームワークを取り扱っているものが結構あることに気づきました。 DSPyは以前このブログの中でも触れたことがあります。 techblog.cccmkhd.co.jp 投稿した日付を見ると、ちょうど一年前でした。今回久しぶりにDSPyを使ってみたのですが、当時よりも使いやすくなった印象を受けました。もちろんDS…

こんにちは。テックラボの中岸です。 テックラボではAIの研究開発を行っていますが、その周辺情報として、今回のエントリーでは会社全体でのAI利活用の取り組みや体制についてご紹介します。 CCCグループ AI倫理ポリシーの策定 2025年1月、CCCグループはAIの利活用における基本的な考え方と行動指針を明文化した「AI倫理ポリシー」を公表しました。 このポリシーは、AIを活用するすべての社員が「人間中心」「透明性」「プライバシーの保護」「公平性」「安全性」といった価値観を共有し、責任あるAIの実装を進めるための基盤となるものです。 AI技術の進化とともに、企業としての倫理的な姿勢が問われる今、私…

LangGraph Supervisorを使ったMulti-Agentシステムの構築

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先日参加したdatabricksのDATA+AI Summitというイベントでは様々なdatabricksの新しい機能が発表されました。 techblog.cccmkhd.co.jp その中で個人的にとても気になったのが"Agent Bricks"という機能です。 Agent BricksはプロダクトレベルのAI Agent開発をノーコードで実現することが出来るdatabricksの新しい機能です。現在一部のリージョンでbeta版で利用することが出来る状態です。私はAzure Databricksの"eastus"リージョンで試…

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先週一週間、アメリカのサンフランシスコに出張してきました！目的はdatabricksのData+AI Summitというイベントに参加をするためです。 今回の記事では現地の様子をいくつかご紹介をした後に、2日間に渡って行われたキーノートセッションで紹介されたdatabricksのアナウンスについてまとめていきます！ Data + AI Summit 2025 現地の様子など 会場付近 キーノートセッション 街中の広告 会場で配布されていたご飯 キーノートセッションでの新機能の発表 Lakebase Databricks Apps…