はじめにこんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 RerunとはRerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。記録、可視化...

はじめにこんにちは。チューリングのDriving Softwareチームのマネージャーを務めている渡邉（@sangotaro）です。Driving Softwareチームは、チューリングの自動運転システムの開発を担当するチームで、自動運転AI以外の領域、例えばシステム制御やソフトウェアインフラの構築などを手掛けています。先日、チームで栃木県の那須に開発合宿に行き、「約3時間でテックブログを書き上げる」というユニークな企画に挑戦しました。いくつかのチームに分かれ、それぞれが記事のテーマを決めて執筆した結果、公開までこぎつけることができた記事がなんと5本も完成しました！今回お届けする...

はじめにこんにちは！チューリング株式会社のドライビングソフトウェアチームに所属している堀ノ内です！今回は弊社で導入を検討している自動運転開発用シミュレータについてお話させて頂きます。以前のブログにて自動運転開発におけるシミュレータの必要性についても言及しておりますので合わせてご覧ください。これまでチューリングではCARLAというシミュレータを使っていたのですが、レンダリング処理が重く高性能なGPUを搭載したデスクトップPCでないと動かせないという問題がありました。そこで今回は比較的軽量なMetaDriveと呼ばれるシミュレータについて調査してみました。MetaDriveはCAR...

Python Advent Calendar 2024の7日目です。この記事ではuvについて、v0.5.3までのアップデートで個人的に便利だった機能を依存関係に焦点を当ててまとめました。uvは高速なPythonパッケージとプロジェクト管理ツールです。2024年8月20日にuvのバージョンがv0.3.0にアップデートされて以来、広く使われるようになりました。以前に以下の記事をまとめています。これからuvを使いたい方などに参考になれば嬉しいです！また、公式のドキュメントがしっかりと整備されているのでhttps://docs.astral.sh/uv/getting-started/から...

はじめにチューリング生成AIチームの荒居です。この記事は生成AIアドベントカレンダー2024の4日目の記事です。この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。そこで...

1. はじめにこんにちは。チューリングのDriving Software チームで車両制御の開発をしている相澤です。チューリングではTokyo30に向けて、E2E自動運転チームが車両の経路を直接出力するAIモデル(TD-1)を開発しています。一方で、実際にその経路に沿って車を動かす制御部分は、私たちDriving Software チームが開発しており、本記事では、その制御の概要と直面している課題についてご紹介します。 2. MPV制御に立ちはだかる壁とは？自動運転技術は近年、目覚ましい進歩を遂げています。TeslaのAutopilotやWaymoのシステムは、低重心EVをプ...

はじめにTuring の生成 AI チームでインターンをしている塩野 (@onely7_deep) です。生成 AI チームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。本記事では、Turing からリリースされた盛り沢山な GENIAC の成果物 の中の１つである The Cauldron JA と Wikipedia Vision JA データセットを紹介します！ The Cauldron JA データセットhttps://huggingface.co/datasets/turing-motors/Cauldron-JA The...

1. はじめにこんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している嶋谷です。本記事はE2Eチームの取り組みを知ってもらう連載企画の最終回として、センサキャリブレーション技術とその精度を高めるための様々な工夫についてご紹介します。 2. キャリブレーションの必要性自動運転の文脈において、キャリブレーションとはセンサ間の位置関係 (外部パラメータ) を求めたり、センサ自身のパラメータ（内部パラメータ）を推定し、センサの値を補正することを意味します。私達のデータ収集車両においてもカメラ、GNSS、IMU、LiDARといった多くのセン...

1. はじめにE2E自動運転の開発を手がけるTuringでは、１日に20TBのデータを、データ収集車を使って集めており、これを使って自動運転のMLモデルを学習しています。データ収集のスピードは加速しているため、2025年末にはおよそ8PB（4万時間分に相当）のデータが蓄積される予定です。この記事では、我々が、日々20TBずつ増えていくデータをいかにハンドリングしているか、そのデータエンジンの概要について紹介します。その前に、そもそも何故8PBものデータを集めようとしているかについて簡単に説明させて下さい。我々のゴールは、東京のような複雑なシーンでも自動運転可能なNeural N...

チューリングのE2E自動運転チームの岩政(@colum2131)です。2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。以前の2024年7月にまとめた記事では、将来的には、uvがRyeに代替されるようと書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。https://zenn.dev/t...

1. はじめにこんにちは、TuringのEnd-to-End自動運転チーム（以降E2Eチーム）で自動運転システムを開発している加藤です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第四弾として、End-to-End自動運転における三次元物体検出のあり方と、三次元物体検出の代表的な手法を紹介し、Turingの開発状況についてお話します。Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。私達が目指すE2E自動運転の基本概念については、連載企画第1回の...

チューリング株式会社の岩政 (@colum2131) です。近年は、Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) といった一連の2次元画像から複雑な3次元再構築が可能な技術が多く発展しています。これらの技術は自動運転にも活用されつつあります。例えば、オープンソースの自動運転ソフトウェアのAutowareの開発を主導している株式会社ティアフォーでは、NeRFを活用した技術としてNeural Simulatorの構築を目指すというプレスリリースがありました。これは車載カメラやLiDARなどのセンサデータからNeR...

1. はじめにTuring生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し予測する動画生成AI、「世界モデル」の開発に取り組んできました。前回の私の記事では、その取り組みの中で調査したGAIA-1の紹介を行いました。今回は、Turingが開発した世界モデル"Terra"で利用している技術や課題・展望などについて紹介をしたいと思います。 この記事で解説している内容世界モデルTerraは何ができるのか世界モデルTerraはどのような仕組みで動いているのかどのような課題が残されているかTerraで生成した動画。Te...

はじめにこんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している堀ノ内と塩塚です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第二弾として、End-to-end自動運転におけるマップ認識のあり方と、実際のTuringの開発状況についてお話します。Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。私達が目指すE2E自動運転の基本概念については連載企画第1回の以下の記事を参照ください。https://z...

はじめにTuring の End-to-End(E2E) 自動運転チームでチームマネージャをやっている棚橋です。今回はE2E自動運転チームでブログの連載企画を行います。本連載企画ではEnd-to-End(E2E)自動運転の最新技術やTuringの取り組みを紹介します。第一回はTuringで取り組んでいるE2E自動運転の概要と課題について取り上げます。 End-to-end自動運転とは？Turing が取り組んでいる自動運転の方式はE2E方式と呼ばれるもので、従来の自動運転の仕組みとは大きく異なっています。従来のシステムでは、緻密に設計された無数のソフトウェアモジュールが複雑に...

チューリングのE2E自動運転チームの岩政(@colum2131)です。最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。[2024-08-25追記]2024年8月20日にuvのマイナーバージョンがアップデートされました。変更点もいくつかあり、以下のページにまとめました。https://zenn.dev/turing_motors/articles/594fbef42a36ee 1. ...

はじめにTuring 生成AIチームの佐々木 (kento_sasaki1)です。生成AIチームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。先日、6月17日から6月21日にシアトルで開催されたコンピュータビジョン・機械学習系のトップカンファレンスCVPR 2024に参加し、Vision Language Model (VLM)のワークショップThe 3rd Workshop on Computer Vision in the Wildにて日本語VLM評価ベンチマークHeron-Benchの発表を行いました。Heron-Benchについては...

1. はじめにTuring 生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し未来を予測するAI、「世界モデル」の開発に取り組んでいます。世界モデルは、生成AIによって様々な交通状況や歩行者の行動をシミュレーションすることを可能にし、安全かつ効率的な自動運転を実現するための重要な鍵となると私たちは考えています。 この記事で解説している内容:世界モデルとは何か世界モデルの開発はなぜ自動運転に重要なのか世界モデルGAIA-1について 2. 世界モデルとは世界モデルとは、現実世界の物理法則や因果関係、物体間の相互作用...

言語モデルを高位合成でFPGAに実装してみたTuring株式会社のリサーチチームでインターンしているM1の内山です。Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。Generative AILLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。https://tur.ing/ より引用しかしな...

はじめにTuring Researchチームの佐々木(kento_sasaki1)です。Researchチームでは、完全自動運転の実現に向けて、マルチモーダル基盤モデルの開発に取り組んでいます。先日、私たちは日本語Vision Language Model (VLM) のベンチマーク「Heron-Bench」を新たに公開しました。本記事ではHeron-Benchについて解説し、日本語VLMの現状と今後の展望について述べます。詳細についてはarXiV論文 「HERON-BENCH: A BENCKMARK FOR EVALUATING VISION LANGUAGE MODELS ...