こんにちは！ABEJAの中村です。 今回は、私がABEJAでQAエンジニアとして6年間にわたり取り組んできた経験、特にユーザー視点を活かしたQAエンジニアリングについてお話したいと思います。 ユーザー視点重視のQAエンジニアとは QAエンジニアの構成要素 説明 顧客理解 ユーザーの行動やニーズを深く理解し、体験を向上させるための洞察力を養う コミュニケーション能力 ユーザーの意見や課題をステークホルダーにわかりやすく伝える 広い視点 ユーザビリティを考慮し、製品の改善に活かす視点を持つ プロダクトライフサイクル アイデアの段階からリリース後まで、プロダクト全体を横断する視点を持つ チームとの協…

ABEJAでデザイナーをしている小林です！ 現在、「ABEJA Insight for Retail」という小売業界向けのDXツールに関するダッシュボードのバリューアップを進めております。 来店から購入までの行動を分析するこのツールには、いくつかの課題があり、より使いやすくなるようアップデートを目指しています。 課題を一部挙げると 技術的な混乱を招いていたライブラリの混在（ReactとVueの併用）により、既存ページの改修が難しい。 画面全体でUIコンポーネントがバラバラに使用されており、統一感の欠如が見られる。 ダッシュボード設計において、UXコンセプトが明確でないことでユーザー体験が不十分…

タイトル こんにちは、ABEJA Platform に搭載しているアプリケーション、「ABEJA Insight for Retail」の開発と運用を担当している森永です。 今回は LangChain 社より公開されている local-deep-researcher という、ローカル LLM で動作する Deep Research を簡単に作成できる OSS を動かして、その構造について解説します。 ※ 本記事では Linux と Mac 向けの動作手順を記載しています。 Windows 向けの環境構築手順は下記レポジトリの README をご参照ください。 github.com こちらの O…

TL;DR SO-101はAI（VLAなどの基盤モデルやACTなどの模倣学習）の指示からモーター内部の制御によって指定した位置に移動している。 指示通りの位置へ移動できることは外乱、構造、制御の特性の影響があるので当たり前ではない。 SO-101はAIが指示した位置にアームが完全に移動しきれていないことがある。 現在のモーター制御は実質的なPD制御（I=0）であり、アームを伸ばした時など重力下で定常偏差が発生する。 解決策として、特に重力の影響が大きいモーターにIゲイン（積分要素）を導入し、モーターごとの負荷に合わせたPID制御の最適化を検討した。 LeRobotのコードはSTS3215の使い…

ABEJAでデータサイエンティストをしている岩城です。 今回は株式会社ハイレゾ様のGPUクラウドサービス「GPUSOROBAN」を利用させていただき、NeMo 2.0を用いて大規模言語モデルの事前学習を行いました。 本検証では、あえてNVIDIA公式のDockerコンテナを使用せず環境構築してみたので、その詳細についてお伝えできればと思います。 その理由としては、NeMo関連のライブラリは絶賛開発が進められている中で、新たな昨日や新たなLLMへの対応などが日々進められています。 そうした新規機能が出たとき、柔軟に取り込んで試してみたいと考え、uvで関連ライブラリのバージョン管理をしたいなと思い…

データサイエンティストをしている服部です。 OpenAIからgpt-ossというオープンモデルが登場しました。 早速ですが、このモデルを使いながら中身を理解していきたいと思います。 gpt-ossのモデル特徴 vLLM上で動かす 通常のtokenizerで動かす 最終出力と思考部分 chat templateも見てみる Tool Useを試す Built-in toolも試す Python blowser 複数のツールを同時並列で使えるか？ まとめ We Are Hiring! gpt-ossのモデル特徴 openai.com 他にも紹介している記事はたくさんあるため手短に... 今回Open…

こんにちは！ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。 以下の記事では、Cosmos を実際に動かしてみながら Cosmos により物理法則が考慮されたフォトリアリスティックな動画生成（合成データ生成）が可能であることを確かめました。 tech-blog.abeja.asia しかしながら Cosmos 単体では単に動画生成を行うだけなので、これだけではロボティクスモデル（VLAなど）用の学習用データセットとしては利用できなく、実際のロボティクス開発において Cosmos を活用できません。 そのため本記事では、Cosmos と NVIDI…

本記事は、以下の記事の後編記事になります。 tech-blog.abeja.asia NVIDIA Cosmos の概要や Cosmos Predict に関しては、上記の前半記事をご確認ください。 後編記事では、Cosmos Transfer を実際に動かしながらその機能を確かめていきます Cosmos Transfer による合成データ生成 環境構築 エッジ情報からの合成データ生成 深度マップ情報からの合成データ生成 セグメンテーション情報からの合成データ生成 マルチモーダルでの合成データ生成 Cosmos Transfer によるデータ拡張 まとめ We Are Hiring! Cosm…

こんにちは！ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。 今年の CES2025 にて、 NVIDIA から Cosmos という自動運転やロボティクス用のプラットフォームをリリースしたという発表が大々的にありました。 blogs.nvidia.co.jp CES 2025での NVIDIA 発表動画は、以下を見ていただければと思います（Cosmos以外にも色々発表しています） youtu.be Cosmos は、NVIDIA が提唱している「フィジカル AI」の開発を促進するプラットフォームであり「世界基盤モデル」なるものを使っているとのこ…

はじめに SmolVLAとは タスク設定とデータセット作成 タスク概要 環境 データセット作成 SmolVLA のファインチューニング 評価と結果 汎用性の評価 考察とまとめ We Are Hiring! はじめに こんにちは！ABEJAでエンジニアをしている宇留嶋です。2025年5月にオープンソース化されたSO‑101ロボットアームとHugg­ing FaceのLeRobotライブラリを活用し今回Vision‑Language‑Action(VLA)モデルSmolVLAをファインチューニングして「色付きキューブを所定エリアに運ぶ」タスクに挑戦しました。本記事では、データセット作成から学習・評…

ABEJAでデータサイエンティストをしている藤原です。 今回は、株式会社ハイレゾ様のGPUクラウドサービス「GPUSOROBAN」で H200 GPU × 8基構成のシングルノードサーバを用いて、大規模モデルを使用した検証を実施しました。本記事では、その検証でのGPUサーバの使用方法や、検証内容の一つである Qwen2.5-VL-72B-Instruct を用いたOCRの結果についてご紹介します。 highreso.jp はじめに GPUクラウドサービス「GPUSOROBAN」について GPUサーバの使い方の方針と事前準備 Qwen2.5-VL-72B-Instruct を使った OCR を試…

はじめに ABEJA 新卒エンジニアの和田です。 趣味で購入した Raspberry Pi が使われずに眠っていたため、USB 接続の Web カメラでリアルタイム映像を取得し、何か面白いことをしたいと思い立ちました。本記事では、低コストかつシンプルに映像入力環境を整える方法として、Raspberry Pi と USB カメラを用いたリアルタイム物体認識ストリーミングの構築手順を解説します。必要なのは Raspberry Pi 4 Model B と USB カメラだけ。数十分で映像のキャプチャから物体検出、ブラウザ配信までを一気に実現できます。この仕組みを作ることで、まず自宅に設置したカメラ…

はじめに SmolVLAとは 非同期推論のメリット 非同期推論スタックの仕組み 全体構成 AsyncInference ServiceのRPC設計とデータフロー 実験 タスク定義 実行コマンド Policy Server起動コマンド Robot Client起動コマンド 実験結果 アクションキューサイズの経時変化 成功・失敗動画 考察とまとめ We Are Hiring! はじめに こんにちは、ABEJAでエンジニアをしている宇留嶋です。今回は Vision‑Language‑Action (VLA) モデルSmolVLAをSO‑101ロボットアーム上で非同期推論してみた結果と、その仕組みをア…

こんにちは！ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。 先日の記事では、NVIDIA のロボティクス用３Dシミュレーター「Isaac Sim & Lab」を使用して、物理演算が考慮された3Dシミュレーター上でロボティクスモデルを学習させたり推論させたりしながらロボットを動かす方法を紹介しました。 tech-blog.abeja.asia 今回の記事では、同じく Isaac Sim & Lab を使用して、シミュレーター上でのロボット遠隔操作や Isaac Lab Mimic により、ロボティクスモデルの学習用データセットを生成したり、生成し…

こんにちは。CTO室の村主です。 Claude Codeを日々使う中で思っていることをGeminiに言語化してもらいました。 Gemini製作物ですので、超最新トレンドを掴んでいなかったり、書き味がイマイチなところも敢えて残していますので、読み物として楽しんでください。 宣言的AIコーディングのススメ AIがコードを書く時代が本格的に到来しつつあります。しかし、「AIにコードを書かせたけどうまくいかない」「毎回指示の仕方に悩む」といった声も聞かれるのではないでしょうか。その問題の根底には、AIへの「指示の出し方」があるのかもしれません。 この記事では、AIコーディングの効率と品質を劇的に向上さ…

はじめに TPUフィラメントとは TPU製コンプライアントグリッパーの設計 グリッパーのプリントと完成品 卵の把持・搬送を実験 タスク設計 実験結果 考察とまとめ We Are Hiring! はじめに こんにちは！ABEJAでエンジニアをしている宇留嶋です。今回は、SO‑101ロボットアームのグリッパー先端（エンドエフェクター）を柔軟性の高いTPUフィラメントで3Dプリントし、「卵をつかんでも殻が割れない」コンプライアントグリッパーを作成しました。柔らかい指先を与えることで高精度な制御がなくても扱えるようになり、その効果をPLA製グリッパーと比較した結果を紹介します。 SO‑101アームの組…

こんにちは！ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。 先日の記事では、いずれも Gymnasium というライブラリを使用して簡易的な環境でモデルを推論させながらロボットを動かしてみました。 tech-blog.abeja.asia tech-blog.abeja.asia しかしながら実際のロボティクス開発においては、できるだけ現実世界に近くなるように物理演算が考慮された3Dシミュレーター上で動かしながらシミュレーションする必要があります。 このような3Dシミュレーターには、MuJoCo, Isaac Sim, Genesis, Pyb…

こちらは「ロボティクスモデルの精度向上の挑戦」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前編では、データオーギュメントの改善によりモデルの汎化性能を向上させることを実現しましたが、今回の記事では前処理モデルを追加することにより、モデルの Max 品質を向上させることを目指します。 前処理モデル追加によるモデル改善 深度マップ用の前処理モデル追加 まとめ We Are Hiring! 前処理モデル追加によるモデル改善 今回の方法では、コアのAIモデル（今回の場合はロボティクスモデル）とは別の前処理用のAIモデルを追加する方法でのモデル改…

こんにちは！ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。 先日の記事で、LeRobot で公開されているロボティクス領域の VLA モデル「π0」をファインチューニングした上で Gymnasium シミュレーター環境上で動かす方法を解説しました。 tech-blog.abeja.asia 前回の記事では、ただ単に公開されている学習用データセットでモデルをファインチューニングして推論させるだけの簡単な内容でしたが、今回はもう少し踏み込んでモデル自体の改善をやってみようと思います。 また前回はロボティクスモデルとして π0 モデルを動かしましたが…

2025年6月14日から15日にかけて、LeRobot Worldwide Hackathonが開催され、ABEJAのロボット好きメンバーも参加しました！ このハッカソンでの挑戦内容や学びについてまとめていきます。 そもそもLeRobotとは LeRobotは、Hugging Face社が主導するオープンソースのロボティクスフレームワークです。フレームワークといってもその範囲はソフトだけでなくハードにまで及び、学習済みモデルだけでなく、そのデータセットやシミュレーター、学習用のパイプライン、そしてSO-101ロボットアームなどの公開されたハードウェアで構成されます。 従来のルールベースやモデル…

ABEJA 新卒エンジニアの和田です。 ロボット開発では、各種センサやアクチュエータ、制御アルゴリズムなどを組み合わせる必要があります。ROS（Robot Operating System）はこうした複雑な要素を「分散システム」としてまとめ、開発を効率化するための通信ミドルウェア的フレームワークです。ROS 1 Noetic は公式サポートが2025年5月に終了しており、ROS 2は進化したリアルタイム制御やマルチプラットフォーム対応、セキュリティ強化が魅力です。まずはROS 1 Noeticを理解することで、ROSの基本的な概念や開発フローを学びやすいため、本記事ではROS 1 Noetic…

ABEJA 新卒エンジニアの和田です。 LeRobot Worldwide Hackathonに ABEJA の有志チームとして参加しました。ハッカソンでは模倣学習をテーマにロボットアームの動作を再現したかったのですが、実機を揃えられなかったため、MuJoCo 上でのシミュレーション環境構築を試みました。本記事では、macOS 環境でオープンソースのロボットアーム「SO-101」を MuJoCo 上で動かすセットアップ手順をご紹介します。実機をお持ちでない方でも、手軽にシミュレーションを始められるよう、スクリーンショットやコマンドを交えて丁寧に解説します。 huggingface.co 前提と…

はじめに 設計まわり 構造・機械 電源回路 制御回路 制御処理 制御用SDK周り アーム作成の様子 今回の学び 技術面 その他：ロボット作りはお金がかかる 3Dモデル・ソースコードについて 追記：開発合宿で利用しました We Are Hiring! はじめに ABEJA大田黒です。前回は以下の記事を執筆しました。今回はロボットアームを作ったので、そのお話になります。 tech-blog.abeja.asia ロボットアームを自作しようと思ったきっかけについて触れます。 将来的に家事をすべてロボット化したい。その為に、比較的安価で関節トルクが強いロボットアームがほしい VLAの研究開発環境が自宅…

t-Expertsとは 開発合宿概要 コンテストのルール 各チーム配布物 その他備品 評価基準 合宿の様子（全体） スケジュール 食事、温泉、そして・・・ 開発の様子 コンテストの様子 チームA：「画像認識×機械学習の王道アプローチ」 チームB：「人間の知恵を活かす探索型」 チームC：「確実性と挑戦性のハイブリッド戦略」 チームD：「LLM活用×コスパ重視の現代的アプローチ」 結果と表彰 合宿のまとめとその後の様子 We Are Hiring! こんにちは！ABEJAでプロジェクトマネージャーをしている服部です！今回はABEJA社内で開発合宿の企画・運営をしましたので、レポートを記そうと思いま…

はじめに 先にまとめ 全体 事前準備 パーツの入手 uvのインストール その他あると便利なもの 組み立て手順 LeRobotのインストール モーターの設定 電源の接続 各モーターバスに関連付けられたUSBポートを見つける 設定ファイルの更新 モーターIDの設定 ジョイントの組み立て ファームウェアの更新(Windows PCのみで可能) キャリブレーション フォロワーアーム/リーダーアームの手動キャリブレーション ロボットの制御 テレオペレーション おわりに We Are Hiring! はじめに こんにちは。 株式会社ABEJAのシステム開発部でエンジニアをしている中島です。 以前にロボット…

こんにちは。CTO室の村主です。 みなさん、Claude Code や Cursor で色々なアプリを Vibe Coding していると思います。いきなり本番環境をゴリゴリ Vibe Coding している人は限られていると思いますが、ひとまず社内系のアプリケーションなら品質は置いといて爆速で作っていけると思います。 そこで、要望からデプロイまでを爆速にするツールを作ったので公開します。 背景 Claude Code で開発するとサクサク機能追加できます。でも非エンジニア含めてみんながみんな Claude Code を使いこなせるわけじゃないです。 そこで Claude Code Actio…

こんにちは、ABEJA 新卒エンジニアの和田です。 PyTorchで学習したResNet18ベースの年齢・性別推定モデルをCore MLへ変換する際に遭遇した「形式エラー」と、その回避策として、Core MLを使ってiOSアプリを作成している人や .mlmodel と .mlpackage の使い分けがわからない人に向けて、実際のコードの解読まで深掘りしていきます！ 背景：なぜCore MLなのか 私が直面した“モデル形式エラー” 1. Core MLフォーマットの内部構造を覗く 2. .mlmodel 深掘り：Protocol Buffers仕様 メリット／デメリット 3. .mlpacka…

はじめに μP（Maximal Update Parametrization）とは μPが解決する根本的な問題 なぜハイパーパラメータ転移が困難なのか：SPの根本問題 μPの仕組み 順伝播における「初期状態」の安定化 学習を支配する「パラメータ更新」のスケーリング ハイパーパラメータの計算例 μPの実装 Qwen2.5で実験 まとめ We Are Hiring! はじめに こんにちは。Labsチームの藤本です。ABEJA Qwen先生にタイトルを作ってもらったら割と強いタイトルになってしまいました。 大規模言語モデル（LLM）の学習を始め、Deep Learningにおいては最適なハイパーパラ…

はじめに 1. Celery のアーキテクチャと三大要素 1.1 Broker の選び方 1.2 Worker の実行モデル 1.3 Backend の選択と結果管理 2. シンプルタスクとリトライ戦略 2.1 タスクの定義と呼び出し方 2.2 タスクの呼び出し方法：.delay() と .s() の違い 2.3 障害耐性：自動リトライ 3. 複雑ワークフロー：Chain・Group・Chord 3.1 よくある落とし穴とその回避法 4. 定期ジョブ：Celery Beat 5. 可観測性とアラート 5.1 JSON ログ 5.2 メトリクス 6. ローカルモック＆スケーリング（Docker …

ABEJAでデータサイエンティストをしている服部です。 弊社は、経済産業省とＮＥＤＯが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1期に続き、2期にも採択され、そこで大規模言語モデルの開発を進めています。 その中でQwen2.5をベースとして継続事前学習を行なったモデルをいくつか開発し、公開しています。 tech-blog.abeja.asia tech-blog.abeja.asia tech-blog.abeja.asia 1月に公開した32Bモデルのブログにも記載したのですが、時々…