どうも、スプラで見かけた「ふくやまはさまる」のネーミングセンスに感服した@ksterxです。Claude OpusさんやChatGPT大先生にこの意味をご説明願ったら、頓珍漢な答えが返ってきました。この辺が解せるようになったらAGIであるとかなんとか。 はじめに前置きはさておき、近年、自然言語処理（NLP）の分野は、ディープラーニングの進化とともに大きく変化しています。初期の深層学習アプローチではリカレントニューラルネットワーク（RNN）に焦点を当てていましたが、2017年の「Attention Is All You Need」という論文の登場により、それまでのアーキテクチャとは...

こんにちは、わいけい です。突然ですが、私は日々FastAPIを使った開発をしているのですが認証周りで時々面倒を感じることがあります。それは、せっかくFastAPIがOpenAPI形式の動的ドキュメント（Swagger UI）を自動生成してくれているのにも関わらず、ログインが必要なエンドポイントに関しては毎度認証トークンを取得しないと叩くことが出来ないということです。セキュリティ上「まあ、それはそうだよね」という話ではあります。 が、ローカルでコンテナ立てて開発しているときには地味に面倒なのもまた事実です。長期的に開発を続ける想定であれば、開発チーム全体で何千回もローカル環境...

はじめにLLMの進歩著しい昨今、AIを使ってキャラクターとの会話ができるサービスも数多く出てきました。今回の記事では、Spiral.AI株式会社のTwinRoomというサービスを使い、Slackで独自カスタマイズしたAIと簡単に会話してみます。この記事で紹介する機能を活用すれば、開発者・企業独自のアプリケーションやサービスに独自カスタマイズしたAIキャラクターを簡単に組み込むことができます。一例として、今回は自分たちで作ったAIキャラをTwinRoomのAPI経由でSlackに登場させて、会話させてみます。記事監修： わいけい（@yk_llm_gpt）https://ze...

こんにちは、@raksparadoxです。AIの開発速度が非常に速いため、全てのトレンドを追いかけることはほぼ不可能に思えます。数十の新しいオープンソースの基盤モデルがあり、さらにこれらのモデルを基にして、マージング、ファインチューニング、コンテキスト拡張など様々な技術を用いて数千の洗練されたバージョンが構築されています。Hugging Face、オープンソースモデルのハブでは、現在500,000以上のモデルをホストしています！この記事では、次に「Goliath-longLORA-120b-rope8–32k-fp16-GPTQ」のようなものに出会ったとき、その特徴を理解できるように...

年度末いかがお過ごしですか。(時候の挨拶)社内で「ロリババアといえば」みたいな話をしていたのですが、真っ先に「ゆのは」を思い浮かべた自分は限界ヲタク。冬になるとイチゴサンデー7つくらい食べないといけない謎の焦燥感に駆られる皆さん、こんにちは。 SFT Trainer内のdatasetの取り扱いどうも、限界ヲタクの@ken11です。この季節になるとローソンで流れるone more time, one more chanceで発作を起こします。嘘です。今回は唐突ですがSFT Trainerの話、特にdatasetの話をしたいと思います。 Dataset format supp...

こんにちは。わいけいです。最近エンジニアとしてマネージング寄りの業務をすることが増えてきました。今回の記事では、その中で自分の考え方がどう変わってきたかをメモしておきます。私の場合は、まずフリーランスエンジニアとしてこの業界に入ってきました。それもあって、今までは基本的にあくまで「良いコードを書く」ことが仕事であり目標でした。以前からいわゆる上流工程にも全く興味関心がなかった訳ではありません。しかし、これまで私が経験したのはシステムの要件定義（ビジネス的な視点も含む）は社員が行うフリーランスは（やったとしても）技術的な設計のみ担当するという切り分けの現場が多かったん...

こんにちは Spiral.AI株式会社というスタートアップでアプリケーションエンジニアをしている@hndrです。普段はフロントエンド/デザイン周りのエンジニアをしています。Flutterの記事は年1ぐらいでZennにあげていたのですが、本業のフロントエンドの記事は初めてなのでちょっと緊張しております。 はじめにshadcn/uiはスタイルのついていないHeadlessなUIライブラリであるRadix PrimitivesにTailwind CSSでスタイリングしたReactコンポーネントのテンプレート集です。[1]基本的にスタイリングはTailwind CSSのutilityC...

みなさん、確定申告の季節ですね。（時候の挨拶）納税、してますか？先日この記事を見かけて、RAG-Fusion発想は面白いけど遅くなりそうだしどうなんだろう？と思ったので、実際に動かしてみることにしました。せっかくなので僕が勝手にプッシュしているAmazon Bedrockを使ってやってみるか〜というのが本記事の趣旨です。 RAG-Fusionとはどうも、AWS大好き芸人の@ken11です。AWS確定申告というサービスが生まれてCloudFormationでe-taxしてくれたらいいのになって思います。嘘です。今回はRAG-Fusionの実装を試してみます。RAG-Fusio...

はじめにこんにちは、@raksparadoxです。今日はSpiral.AI株式会社のエンジニアブログとして、Mistralモデル にllama-adapter ファインチュニングしていきたいと思います。Mistralモデルは、2023年9月にMistral AIによってリリースされた強力な言語モデルです。これは、多くのタスクでLlama13bのようなより大きなモデルを上回る、SOTAの7bモデルでした。後に、Stability AIは同じモデルの日本語指示にファインチューニングされたバージョンであるjapanese-stablelm-instruct-gamma-7bをリリース...

こんにちは。わいけいです。今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とはまず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に...

こんにちは。バックエンドエンジニアの わいけいです。今回、業務の中でAWS RDS Serverless v1からv2へのアップグレードを行ったのでその備忘録です。DBに大きな更新が生じるときは、サービスへの影響度が大きくうっかりミスが致命的な損失を生むこともあります。かなりドキドキしながらの作業でした。 Serverless v2へのアップグレードが必要になった背景 Serverless v1のサポートが2024年で終了きっかけはAWSから以下のようなメールが送られてきたことでした。差出人: "Amazon Web Services, Inc." no-reply-...

どうも、@ksterxです。現在はSpiral.AIという会社でインターンをしています。いきなりですが、みなさんはモデルの生成で次のような事象を経験したことはないでしょうか？###質問:富士山の高さは？###回答:3776 m###追加の質問:では、エベレスト山の高さは？本当は###質問:富士山の高さは？###回答:3776 mと回答してほしいだけなのに、、、毎回、「###」で始まるなにかを出力するんだよなあ、、、そこで今回は、Transformersを使ったテキスト生成で、特定の文字列（###とか）が出力された際に、生成を停止する方法について話した...

少し遅くなりましたが、あけましておめでとうございます。先日弊社のMission/Challenge/Valueについて代表が語るnoteが公開されましたが、僕自身も引き続きひたすらいろいろなことにチャレンジしていきたい所存です。そして早速、新年のチャレンジとしては面白いことができたのでお話ししたいと思います。 Graviton2 + NVIDIA GPUなインスタンスどうも、AWS大好き芸人の@ken11です。AWSが好きすぎて毎日目黒経由で通勤してます。嘘です。 G5g皆さんAWSのG5gインスタンスファミリーはご存じでしょうか？https://aws.amazon....

こんにちは、@ken11です。今日はSpiral.AI株式会社のエンジニアブログとして、70BのLLMをホスティングした話をご紹介したいと思います。 70B春先に「とりあえず6B、話はそれからだ」と言った人がいたような気もしますが、たしかに最近のLLMはパラメータ数が7B/13B/70Bというのが多いのではないでしょうか。そうですね、Llama2をファインチューニングしたものも多いので、余計にそういったパラメータ数を見かけることが多くなった気がします。さて、みんな大好きOpenAIのGPT-3.5が175BだとかGPT-4はおそらく500B~だとかいろいろ言われており、Lla...

こんにちは、@ken11です。ご無沙汰している間に転職し、今はSpiral.AI株式会社というスタートアップにいます。今日はそのSpiral.AIの記念すべき最初のエンジニアブログとして、ArgillaとSlackを使った生成モデルのブラインドテストの話をしたいと思います。 そもそもなぜブラインドテストが必要なのか？ブラインドテストというのは、商品名などの情報を隠した状態で性能などを評価する手法ですが、わかりやすく言えば格付けチェックとかGACKTのいる部屋とかまあそんなようなやつです()生成AIと昨今呼称されるもの、生成系の機械学習モデルというのは、そもそもその成果物(出...