こんにちは、SB Intuitions株式会社の高山隼矢, 大萩雅也です。1月19-24日にアラブ首長国連邦(UAE)のアブダビで開催された、自然言語処理における代表的な国際会議の一つであるCOLING 2025にて発表を行いました。 本記事ではCOLINGに参加して感じたことや気になった論文について紹介いたします。 COLING 2025の概要 COLING (International Conference on Computational Linguistics) は、自然言語処理および計算言語学に関する国際会議であり、幅広い言語処理技術とその応用に関する研究が発表される場です。今年のC…

R&D 本部 Responsible AI チームの黒澤です。Responsible AI チームでは、チーム名にある通り「責任のある AI」を目指し、特に大規模言語モデル (LLM) の倫理観や安全性を向上させるための取り組みを行なっています。 本記事では、言語処理学会第31回年次大会 (NLP2025) で発表した「大規模言語モデルのための日本語安全性境界テスト」について紹介します。 予稿は学会ホームページで閲覧することができますが、こちらでは予稿に載せきれなかった日本語安全性境界テストの特徴や、予稿提出後にリリースされた新しい LLM を対象に、本データセットによる評価結果について議論を…

概要 SB Intuitionsでは、日本語や日本の文化・慣習に強い大規模視覚言語モデル（Vision-Language Model; VLM）の開発を進めており、2025年3月にオープンな日本語向けVLMであるSarashina2-Vision-8B, 14Bをリリースしました。 本記事ではVLM評価チームが行ったSarashina2-Vision-8B, 14Bの性能評価について解説します。 Sarashina2-Visionのモデル構成および学習の詳細については別記事をご参照ください。 本記事におけるSarashina2-Visionの性能評価では、以下の観点で評価を行いました。 日本語…

概要 SB Intuitionsでは、日本語や日本の文化・慣習に強い大規模視覚言語モデル（Vision-Language Model; VLM）の開発を進めており、2025年3月に弊社の日本語大規模言語モデル（Large Language Model; LLM）のSarashina2をベースに開発したVLMであるSarashina2-Vision (8B・14B)を公開しました。 Sarashina2-Visionは、日本に関連する画像に基づいた専門的タスクの処理能力を測るベンチマークや日本語の複雑図表の理解能力を測る内製ベンチマークなど、複数の日本語ベンチマークにおいて国内最高の性能を実現し…

はじめに こんにちは、東北大学修士2年の守屋彰二と申します。この度、SB Intuitions株式会社 R&D本部 Foundation dev部 Dialogチームにて、インターンシップに参加させていただきました。 本記事では、インターン中に取り組んだ「マルチエージェントによる複数制約充足プランニング」について、その概要と成果を紹介いたします。 大規模言語モデル（LLM）の登場により、さまざまな分野でその可能性が注目されています。その一例として、プランニングタスクにおける活用があります。プランニングタスクとは、与えられた目標を達成するための一連の計画を策定するタスク [Huang+,24] …

概要 Tuningチームの清野舜、小林滉河、馬越雅人、入亮介です。 SB Intuitionsでは日本語に特化した大規模言語モデル（Large Language Model; LLM）の開発に取り組んでおり、これまでにSarashina1、Sarashina2シリーズや国内最大規模のMoEモデルを公開しています。 また、本記事に先立って、Sarashina2を更にブラッシュアップした事前学習済みモデルを公開しました。 この度、アカデミアや産業界におけるLLMの研究開発に更に貢献することを目的として、事後学習1を行った0.5B、1B、3Bモデル（Instructモデル）をMITライセンスのもとで…

概要 Pretrainingチームの高瀬翔と李凌寒です。 弊チームでは日本語能力に主眼を置いた大規模言語モデルの構築に取り組んでおり、Sarashina2-70BやSarashina2.1-1Bのように、いくつか事前学習モデルも公開してきました。 これまで公開したモデルは日本の知識を問う質問応答タスクでは高い性能を達成している一方で、数学タスクやコーディングタスク、すなわち、文章題のような自然言語で提示された計算問題や、与えられた指示を満たすコードを生成するタスクの性能は芳しくありませんでした。 これは、CommonCrawlのようなウェブ文書の中に、数学・コーディングタスクの性能向上に寄与す…

基本編はこちら→Sarashina-Embedding-v1-1B: 日本語LLMをベースにしたテキスト埋め込み(1/2)~基本編~ TL;DR 10億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデルを学習。 弱教師あり学習と教師あり学習の二段階の対照学習。 JMTEBベンチマークで最高水準のスコアを達成。特にRetrieval、Classification等でハイスコア。 弱教師あり学習と教師あり学習の二段階学習によってモデル性能が向上。 事前学習のトークン数を増やすと後段のテキスト埋め込みモデルの性能が向上。 弱教師あり学習…

TL;DR Sarashina-Embedding-v1-1Bという日本語特化テキスト埋め込みモデルを開発し、モデルを公開. 12億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデル。 コンテキスト長は8192トークンで、日本語特化モデルとしては最大。 JMTEBベンチマークで最高水準のスコアを達成。特にRetrieval、Classification等でハイスコア。 公開ページ: https://huggingface.co/sbintuitions/sarashina-embedding-v1-1b 図1: JMTEBベンチマ…

概要 SB IntuitionsのSeng Pei Liew、李凌寒、高瀬翔です。 弊社では日本語能力に主眼を置いた大規模言語モデルの構築に取り組んでおり、パラメータの大規模化のための施策として、学習済みの70Bパラメータ*1をMixture-of-Experts（MoE）モデルに拡張し、事前学習を行ったモデルをSarashina2-8x70Bとして公開しました。 言語モデルの100Bパラメータ以上までの大規模化はまだ弊社でも試行錯誤の段階にあり、引き続き大規模なモデルの学習を行っていますが、 本記事では先日公開したSarashina2-8x70Bの性能やMoE、学習済モデルのMoEモデルへの…

はじめに 東京科学大学情報理工学院 修士1年の山辺翔二郎と申します。2024年8月19日より、SB Intuitions株式会社 R&D本部 Responsible AIチームにてインターンシップを経験させていただきました。本記事では、インターンシップ中に取り組んだ研究テーマである「大規模言語モデルの知的財産保護のためのフィンガープリンティング手法」について、その概要と成果をご紹介いたします。 なお、本研究の詳細については、arXivにて論文を公開しております。 LLMの盗用防止の重要性 近年、大規模言語モデル（LLM）の開発には、膨大なデータセットと計算資源が必要となっています。その結果とし…

こんにちは、SB Intuitions株式会社の高山隼矢, 大萩雅也, 山崎天, 泉健太, Liu Lianboです。9月18-20日に京都で開催された、対話システム・談話研究に関する代表的な国際会議であるSIGDIAL2024にゴールドスポンサーとして協賛・参加いたしました。 本記事ではSIGDIALに参加して感じたことや気になった論文について紹介いたします。 目次 目次 SIGDIAL2024の概要 参加記 気になった発表 最後に SIGDIAL2024の概要 SIGDIAL (Meeting of the Special Interest Group on Discourse and D…

はじめに 慶應義塾大学理工学研究科修士1年の今井悠人と申します。この度、SB Intuitions株式会社 R&D本部 Foundation dev部 VLMコア構築チームにインターンシップとして参加させていただきました。 今回のインターンシップでは、既存のVLM (Vision-Language Model) ベンチマークを社内の計算基盤で動作するようにホストし、内製VLMモデルの評価、各VLMベンチマークの実装ごとの特徴を詳細に調査、比較するなどの開発を担当しました。その中で、既存のVLMベンチマークの実装には気になる点がいくつも存在することがわかりました。本記事では、その中でも多肢選択形…

こんにちは、SB Intuitions株式会社の大萩雅也と吉川克正です。9月1-5日にギリシャのコス島にて開かれた音声系では最大規模の国際会議の一つであるInterspeech 2024に参加し発表を行いました。 本記事では発表の内容、また国際会議の様子について紹介していきます。 目次 目次 Interspeechってどんな会議？ 発表論文 参加記 気になった論文 最後に 参考文献 Interspeechってどんな会議？ Interspeechは音声処理分野における世界最大の国際会議で、International Speech Communication Association（ISCA）が主…

こんにちは、SB Intuitions株式会社の大萩雅也です。8月11-15日にバンコクにて開かれたNLPでは最大規模の国際会議の一つであるACL 2024(The 62nd Annual Meeting of the Association for Computational Linguistics)に参加しワークショップでの発表を行いました。 本記事では発表の内容、また国際会議の様子について紹介していきます。 目次 目次 ACLってどんな会議？ 発表論文 参加記 気になった論文 最後に 参考文献 ACLってどんな会議？ ACLは自然言語処理の国際会議の中では最も有名かつレベルの高い会議の一…

SB Intuitionsの李凌寒、高瀬翔です。 日本語に強い大規模言語モデル（LLM）Sarashina2-70Bを公開しました。 国内でフルスクラッチで学習をしたLLMの中では、大規模な70Bパラメータを持ち、日本語性能もトップクラス、かつオープンな MIT ライセンスで公開されています。 以下のHugging Face Hubのページからダウンロード可能です。 sbintuitions/sarashina2-70b なお、本モデルは指示チューニングといった事後学習は行われておらず、対話形式での使用はできないことにご注意ください。 Sarashina2は7Bと13Bのモデルも公開されており…

SB Intuitions の 岡 照晃、李 凌寒、水本 智也、柴田 知秀 です。 本記事では Sarashina の性能評価について解説します。 Sarashina は SB Intuitions で開発している日本語の大規模言語モデル（Large Language Model; LLM）です。 LLM の学習は一般に事前学習のステップとチューニングのステップから成ります。 事前学習では、大規模テキストを用い、与えられたテキストの続きを予測していく次単語予測の性能が上がるように学習を行います。 チューニングでは、ユーザ発話とシステム応答がペアになったチューニング用データから対話的にタスクを遂…

こんにちは、SB Intuitions株式会社の大萩雅也、水本智也、高山隼矢です。6月29日、30日に金沢にて開かれた第260回自然言語処理研究発表会 (NL研)にて発表を行いました。 本記事では発表の内容、また発表会の様子について紹介していきます。 目次 目次 発表論文 大規模言語モデルの音声タスクへの応用と分析 感想 JapanionQA: 大規模言語モデルの意見調査のための日本語データセット 参加記 面白かった論文 発表論文 大規模言語モデルの音声タスクへの応用と分析 著者: 水本 智也, 山崎 天, 李 凌寒, 吉川 克正 本研究では大規模言語モデル (LLM)を音声タスクに応用してい…

以下の論文がINTERSPEECH 2024に採択されました。 Investigation of look-ahead techniques to improve response time in spoken dialogue system Masaya Ohagi, Tomoya Mizumoto, Katsumasa Yoshikawa 論文の概要 本論文では大規模言語モデルを用いた音声対話システムにおける問題の一つである応答速度の遅さを改善するために、ユーザーの返答を先読みする手法を提案しています。 提案システムのユースケース 提案システムは大きく分けて先読みモジュールとマッチングモジ…

概要 SB Intuitionsの清野舜，李凌寒，高瀬翔です。 弊社では高品質な日本語大規模言語モデルの構築に取り組んでいます。 大規模言語モデルの構築は理論的にも経験的にもまだまだ発展途上の領域であり，学術界・産業界の日本語大規模言語モデルの研究開発促進のために，7B，13B，65BパラメータのモデルからなるSarashina1および，7B，13BパラメータのモデルからなるSarashina2を公開しました。 この記事ではSarashina1・2の詳細について解説します。 使い方 Sarashina1・2共にHuggingFace Hubにて，商用利用も可能なライセンス（MIT）のもと公開し…

TL;DR JMTEB とは 評価結果 はじめてのJMTEB ベンチマークを用いた分析例: 正規化に関する考察 おわりに 付録 TL;DR 日本語テキスト埋め込みベンチマークJMTEBを構築・公開しました。2024年5月現在，6タスク・16データセットで構成されています。 データセットをHuggingFaceで公開しています: https://huggingface.co/datasets/sbintuitions/JMTEB 使いやすい評価コードをGitHubで公開しています: https://github.com/sbintuitions/JMTEB ぜひ使ってみてください！ JMTEB …