はじめにTuringのインフラチームで、クラウドGPUクラスタの構築・運用を担当している大戸（おおど）です。先日、Platform Engineering Kaigi 2026（PEK2026）で、マルチクラウドとオンプレミスにまたがるGPU基盤についてお話ししました。構成管理の方針は公開した登壇資料にまとめています。Amazon SageMaker HyperPodは、障害ノードの自動交換などを担うマネージドサービスで、私たちの運用負担を減らしてくれています。一方、サービスが行う初期化や設定更新の流れを把握していないと、独自に加えた設定が想定外の形で変わることがありました。この...

はじめにTuring の mlops 3 チームの加藤です。2026 年 3 月に Turing に入社し、自動運転モデルの学習基盤の開発ワークフロー改善を担当しています。最近は主に学習を高速化しています。今回は、学習時に S3 から直接データを読み出すことで、学習データ容量の制限と、クラスタへの学習データのステージングを無くした時の話をしたいと思います。 この記事の内容学習データを S3 から直接読む構成に変え、学習に使えるデータ量をクラスタのストレージ容量から切り離した。S3 の帯域は十分だったが、1 回の読み出しにかかる時間が課題だった。先のバッチを先読みする...

はじめにTuringのインフラチームで、クラウドGPUクラスタの構築・運用を担当している大戸（おおど）です。先日、Platform Engineering Kaigi 2026（PEK2026）で、マルチクラウドとオンプレミスにまたがるGPU基盤の構築・運用についてお話ししました。この記事は登壇後の補足として、AWSでのストレージ運用を詳しくまとめたものです。 この記事を3行でまとめるとGPUは認識されているのに、学習が進まない。Turingの学習環境で起きたFSx for LustreのI/O問題を追いました。ノードを作り直しても再発。AWSの担当者とログ・メトリクス・...

チューリングの MLOps エンジニアの岩政です。以前、Databricks の Declarative Automation Bundles を用いた機械学習データセット作成基盤の構築をまとめました。この記事はその続きにあたるので、まだご覧になっていない方は先に読んでいただけると嬉しいです。https://zenn.dev/turing_motors/articles/46b5560dce0e3aこの中で「4.5.2 Python のライブラリの依存解決を高速にする」を紹介しました。Databricks の Serverless compute では、依存パッケージのインストー...

CUBE ZERO — ルービックキューブを一撃で解く専用LLMをゼロから育てた 1. なぜ作った？事前知識ゼロから育ち、ルービックキューブを一撃で解くLLMがあったら、かっこいいですよね。ということで、CEOの夏休みの自由研究として作りました！完成したモデルは、現在のキューブと過去の手順を受け取り、次の1手を自己回帰的に生成します。学習後は、初めて見る局面の99.83%を1回の生成で解けました。 2. ルービックキューブはどれくらい難しいのかルービックキューブには、約 4.3 × 10^19 通りの状態があります。ただし、すべての状態が同じ難しさではありません。完...

はじめにTuring では、日々たくさんの自動運転モデルを開発し、これを実車にデプロイして検証する開発サイクルを回しています。実世界でMLモデルによる自動運転システムを成立させるためには、モデル推論のレイテンシが非常にクリティカルな要素になってきます。モデルを高速に推論させるためには、低精度化や量子化、あるいはモデルの構造によってはKV Cacheなど、様々な手法が考えられます。しかし、色々なアーキテクチャのモデルを大量に開発するTuring において、そのすべてにこうした技術を適用できるソフトウェアスタックを構築することは容易ではありません。今回の記事では、高速化技術を適用する...

チューリングの MLOps エンジニアの岩政です。チューリングでは、センサ入力から車両の将来の行動を一貫して推定する学習ベースのモデルとして End-to-End (E2E) 自動運転 AI を開発しています。E2E 自動運転 AI の学習にはデータセットが必要です。私の所属する MLOps チームが、これを作成するためのデータ基盤の開発を行っています。MLOps チームでは車両に搭載したカメラなどのセンサから走行データを収集し、Data Lake に格納しています。更に ETL (Extract, Transform, Load) パイプラインを通じて、数千時間以上の走行データに相...

はじめにTuringのインフラチームで、クラウドGPUクラスタの構築・運用を担当している大戸（おおど）です。前回の記事を書いた当時はMLOpsチームに所属していましたが、兼務期間を経て、現在はインフラチームの専任になりました。Google Cloud Next Tokyo 26では、CTOの山口が「End-to-End 自動運転開発を加速するデータ - セントリックな GPU 計算基盤」を発表しました。そこで紹介したのが、Google Cloud上に構築したA3 Ultra（NVIDIA H200 × 8）30ノード、合計240 GPUのSlurmクラスタです。2026年3月に構...

はじめにTuring foundation-AIチームに所属している東京科学大学の川村です。NVIDIAからAlpamayoとあわせて、自動運転向けのシミュレーション環境である AlpaSim が公開されました。AlpaSimは、実走行ログから3D Gaussian Splatting (3DGS)を用いて再構成されたシーン上で、自動運転モデルをクローズドループ（closed-loop）で評価できるシミュレーターです。本記事では、Alpamayoなどの公式で用意されているモデルだけでなく、自分たちで開発した独自モデルをAlpaSim上で動かすために必要な手順を紹介します。独自モ...

はじめにIntegrated GradientsによるE2E自動運転モデルの判断根拠の可視化の様子。深層学習モデルは画像認識、自然言語処理、自動運転における行動予測など幅広い分野で人間を超える精度を達成しつつありますが、その判断根拠は依然としてブラックボックスです。「なぜこの予測になったのか？」をモデル自身に説明させる技術は XAI（Explainable AI / 説明可能なAI） と呼ばれ、モデルのデバッグ・信頼性向上・安全性担保の観点でますます重要性が高まっています。本記事では、XAI手法の中でも理論的な裏付けが明確で、実装もシンプルな Integrated Gradi...

はじめにチューリングでは毎日、データ収集車両による走行データと走行実験による実験結果データが蓄積されていきます。私たちはこれらを可視化するツールに非常に力を入れて開発しており、充実した可視化ツールはAIモデルを開発するエンジニアにとってもデータ収集を担うドライバーにとっても多くの洞察と気付きを提供します。本記事では、それらのデータ可視化実装の中から、走行動画と各種メトリクスを同期再生する「走行データビューア」を取り上げ、その実装事例と、Next.jsやMPEG-DASH、Databricks Lakeflow SDP(旧Delta Live Tables)などの技術スタックにつ...

1. はじめにジョブスケジューラは、限られた計算資源でタスク順序を整理するためのツールです。実行待ち、資源の競合、状態管理、履歴の追跡などを一貫して扱えるジョブスケジューラは、共有の計算サーバを使うHPC環境（High Performance Computing, いわゆるスパコン）では昔から使われてきました。計算処理が長時間になり、試したいパターンが複雑になるケースでは、多数の計算ジョブを登録・管理することで効率的に実験を回すことができます。一方、最近ではClaude CodeやCodexなど、Coding Agentの進化と開発速度の加速により、個人の開発環境でもこのような...

はじめにチューリングのVLAチームでエンジニアをしている横井です。経済産業省およびNEDOが推進するプロジェクト「GENIAC」第3期の支援のもと、自社で開発したVLM「Heron」を土台に将来の走行軌跡を出力する 自動運転VLAモデル「DriveHeron」 をチームで開発しました。本記事では、DriveHeronを自動運転システムに統合し、リアルタイムで車両を制御できるようにした取り組みを紹介します。https://youtu.be/bv90MHM74IY E2EモデルからVLAモデルへ自動運転で難しいのはカメラに映る情報を解釈し、交通規範や状況に照らして次の行動へ落と...

はじめにこんにちは、チューリングのVLAチームでインターンをしています、法政大学 M1 の永井です。本記事では、自動運転のVLA (Vision-Language-Action; 視覚-言語-アクション)モデルを学習するための RACER: Rationale-Aware Captioning of Edge-Case Driving Scenarios (エッジケース運転シナリオに対する根拠付きキャプション生成) データセットの概要と構築方法について紹介します。(日本語訳）自車は、現在の車線を制御している赤信号に従う必要があるため停止を決定した。前方の白い車両が完全に停止...

はじめにチューリング株式会社 MLOpsチーム の @stu3dio_graph です。チューリングでは毎日データ収集車両を走らせ，数万時間を超える大量の運転動画データを収集しています。しかしデータが増えるほど 「ほしいシーンが見つからない」問題が深刻化 していきました。日時や車両 ID でフィルタリングすることはできても，「交差点で歩行者が横断しているシーン」「道路工事を避けて車線変更するシーン」のように，映像の中身に基づいてシーンを探す手段がなかったのです。 運転動画を探すためのシステムこのたび，NVIDIA が公開した映像-テキスト埋め込みモデル Cosmos-Emb...

はじめにTuring株式会社 E2E先行開発チームの尾㟢です。私たちの開発しているAIモデルの一つに、画像情報を入力として車両が進む目標経路を出力するものがあります（参考）。Turingでは、目標経路の教師データ作成やそれに追従するための車両制御も独自に開発しています。本記事では、自動運転に欠かせない自己位置推定の技術についてご紹介します。 自動運転の自己位置推定における課題自己位置推定で一般的な方法は、GNSS（Global Navigation Satellite System）を用いた手法です。近年は、RTK（Real Time Kinematics）という、GNSS測...

はじめにこんにちは。Turing MLOpsチームの海老澤です。自動運転AIを作るためには大規模なデータセットが必要です。Turingでは「データセントリックAI」の考え方のもと、膨大なセンサーデータを活用し、大容量、高品質かつ多様性のある学習データセットの構築に取り組んでいます。この大規模なデータセットで学習されたE2E自動運転は都内でも30分ほど走行できるレベルに到達しています。https://zenn.dev/turing_motors/articles/bc6436727234adしかし、データセットの容量やファイル数が指数関数的に増加するにつれ、「ただファイルの...

TuringのMLOpsチームでは、自動運転モデル開発の開発生産性を向上させるプラットフォームの開発を行っています。このチームが作られた背景については、この記事をご覧下さい。https://zenn.dev/turing_motors/articles/af10c5e32ea013自動運転モデル開発では、実験の進め方や前提条件がチームやフェーズごとに変わり、一つのUIやワークフローに最適解を固定することが難しい場面が多くあります。本記事では、そうした前提のもとで、MLOps基盤をなぜ「APIファースト」で設計したのか、その背景と得られた変化、そして今後の展望について紹介します。...

はじめにチューリングのMLOpsチームに所属する大戸（おおど）と言います。2025年10月に入社し、クラウド上のGPUクラスターの構築・運用や、大量のデータセット管理システムの設計・開発など、MLOps領域の業務を幅広く担当しています。今回は、実際に都内を30分程度走行させることに成功したモデルの開発を支えた GPUクラスター基盤 の話を書こうと思います。https://zenn.dev/turing_motors/articles/bc6436727234ad大規模なクラウドGPUクラスターの話を、構築から運用からクロージング(削除)まで、一貫してやったという記事は少ない...

VLM学習のための「Text-Printed Image」手法。テキストを画像化することでモダリティギャップを緩和しより効果的に学習できるようにする。 はじめにチューリングでインターンをしている東京科学大学(Institute of Science Tokyo)の山辺です。インターンでは、「画像を一切使わずに VLM を学習できるか？」というテーマで研究を進め、その成果を論文としてまとめて arXiv に投稿しました。画像付きデータを大量に集めるのではなく、テキストだけをうまく活用して VLM を学習させる、という少し変わったアプローチに取り組んでいます。論文はすでに公開されて...