はじめにOpenAI からすばらしい API が発表されましたね。その少し前に ChatGPT アプリでも音声でのやり取りが劇的に向上したアップデートがありました。Realtime API はそれをアプリケーションから利用できるようにしたものです。今回はこの Realtime API を Unity で利用する方法を紹介します。特に今回解説するのは「音声入出力」の部分についてです。!念のために補足しておくと、Realtime API には音声による入出力の他にテキストでの入出力の方法も用意されています。実際に Unity を使って XREAL という AR グラスで利用...

はじめに今回は Android の CameraX API を用いて、Unity アプリにカメラ撮影機能を実装する方法について書きたいと思います。これを実装した背景は、Google が主催する Gemini を利用したコンペに応募するためのアプリ開発に必要だったからです。実際に動かしてみた動画は以下です。Unity アプリが起動し、画面にはカメラのプレビューが表示されていませんが、実際に動画撮影が出来ていることが分かります。https://x.com/edo_m18/status/1820597679388525032Android Studio を利用した通常の And...

はじめにvisionOS 2.0 から、エンタープライズ向けアプリ限定ではありますがカメラへのアクセスが許可されました。Swift を用いた実装の場合は特に問題にはならないのですが、MESON では基本的に Unity を用いて開発を行っています。その関係で、Swift <-> Unity 間でやり取りしないとならず、取得したテクスチャを C# 側に持ってこようとするとコピーが発生してオーバーヘッドが発生してしまいます。そこで、ネイティブプラグインを書いて、ネイティブで取得した画像をそのまま Unity で使えるようにしたのでその解説記事を書きたいと思います。ち...

はじめにChatGPT などの AI API を活用し、AI エージェントなどを構築しやすくしてくれるフレームワークである LangChain 。これの最新のバージョンである v0.2 の使い方について、内部の実装なども交えながら解説していきたいと思います。内部構造も把握しておくことで、どういうときにどこを見たらいいかなども分かるようになります。それ以外でも、LangChain Expression Language（LCEL）と言われる記法があり、それがどうして実現しているのかについても書こうと思います。なお、今回扱うのは Python 版の解説となります。https:/...

概要!この記事は「MESON Apple Vision Proアドベントカレンダー # 2」24日目の記事です。前日の記事はこちらです。visionOSのRealityKitにはPortalMaterialという、奥に別の空間があるような表現ができる機能があるのですが、PolySpatialでは使用できるようになっていません。そのため、今回はPortalMaterialの代わりにインテリアマッピングを使用して、Unityでも簡易的に奥行き感が出るような表現を行なっていきたいと思います。 インテリアマッピングとはインテリアマッピングとは視線位置から擬似的に奥行きのあ...

はじめにMESONで実施中の MESON Apple Vision Proアドベントカレンダー #2 22日目の記事となります。前日の記事はこちらになります。この記事は、これからApple Vision Proで開発(visionOS向けの開発)を始める方向けに、開発の第一歩を踏み出す一助となるような内容をまとめたものです。!Apple Vision Proは、visionOSというオペレーティングシステムで動作しています。まず、開発に必要なものを紹介し、次に開発環境の準備を2つのパターンで説明します。最後にプロジェクトの作成から動作確認までの手順を、MixedRe...

はじめにこの記事は「MESON Apple Vision Pro アドベントカレンダー # 2」13日目の記事です。前日の記事はこちらになります。MESON では、Apple Vision Pro の日本発売を記念して、MESON 内で培ってきた Apple Vision Pro 関連の知識を公開し広くみなさんに興味を持ってもらうという取り組みをしています。今回は iOS エンジニアの方たち向けに、iOS プロジェクトを調整し Apple Vision Pro 上で専用のアプリとして動かすまでを解説していきたいと思います。いちおうなにもしなくとも Window アプリとしてビ...

はじめにこちらはMESONで実施中のMESON Apple Vision Proアドベントカレンダー #2 ３日目の記事となります！前日の記事はこちらWWDC2024でvisonOS 2の発表があり、Apple Vision Proが日本でも発売されました！今回は WWDC2024で追加されたRealitKitのリリースノートを見ていこうと思います。発表では注目されていなかったアップデートなどもありますので、自分が気になった部分を中心に紹介できればと思います。https://developer.apple.com/documentation/updates/realit...

はじめにStabilityAIが新しい音声生成モデルをリリースしたようなので早速使ってみました。https://huggingface.co/stabilityai/stable-audio-open-1.0!本モデルを利用するためには、対象モデルページにアクセスして使用許可をリクエストする必要があります。このモデルを利用して「スタバのBGMのような、リラックスムードの曲を作って」とお願いして作ってもらったのが以下の音声です。わりとリラックスムードのBGMになっていると思います。音声サンプル今回作成するのに利用したGoogle Colabも公開しています。さっ...

はじめに上記のようなエフェクトをプロジェクトで作成する機会があり、いくつか発見があったのでそれを紹介しつつ、実装方法を解説していきたいと思います。なお、ここで解説している実装は以下のGitHubのリポジトリにアップしてあるので、詳細は合わせてこちらも確認ください。https://github.com/MESON-inc/BubbleWaveSample コンセプトと実装方針まずは全体を俯瞰する意味で、実装方針とそのコンセプトについて解説します。 コンセプトまずコンセプトは、シャボン玉のような球体を使ってエリアを表現することでした。そして触れた際に、触れた位置を中心...

1. 概要Meta社がMeta Quest向けに提供しているShared Spatial Anchor（共有空間アンカー）の利用方法について説明します。この機能を使うことで、複数のユーザー間で空間の位置情報を共有し、同じ場所に仮想オブジェクトを配置することが可能になります。Meta社が公開している公式サンプルを参考にしながら、個人的にポイントと感じた部分を紹介します。!この記事は、こちらの続編となります。公式サンプルは、以下で公開されています。https://github.com/oculus-samples/Unity-SharedSpatialAnchors!M...

概要最近はAIの発展が早すぎて目が話せませんね。つい先日もOpenAIがGPT-4oを発表したと思ったら、GoogleがGemini 1.5 ProやAI Teammateを発表したり。どんどんと便利になっていくAIにワクワクが止まりません。この記事は、ホットトピックである「マルチモーダル」な機能を使ってみた記事です。Google Colab上で動くものを作ったので、ぜひご自身でも試してみてください。https://colab.research.google.com/drive/1Xkx5KRJO4p9q_vPNkoGQTrFGYeDvEMUm?usp=sharing今回作...

1. 概要Meta社がMeta Quest向けに提供しているSpatial Anchor(空間アンカー)およびShared Spatial Anchor(共有空間アンカー)を使用する方法を説明します。Unity向けにMeta社が提供しているSDKの機能であるBuilding Blocksを利用することで、空間アンカーをノーコードで使用することができます。共有空間アンカーはコア機能のAPIが提供されています。使用するにはアプリケーションへの組み込みは必要ですが、公式サンプルが提供されており、参考にすることができます。この記事では、Building Blocksを利用して空間ア...

Apple Vision Pro では SharePlay でペルソナを使用することができます。SharePlayで会話相手にそっくりなアバターが表示され、そこから声が聞こえたり、身振り手振りや表情が反映されていると、実際に会って話しているのと同じような感覚を得ることができます。https://twitter.com/AR_Ojisan/status/1776242198872531241今回はそんなペルソナをアプリケーション側から使用する方法について調べたので解説していきます。!実際に確認するためには実機が必要なためシミュレーターでは確認できません。 環境設定現在は映...

概要UnityでMeta Quest向けアプリを開発する際、Oculus Integration v57以降で提供されているBuilding Blocksを利用することで、 パススルー、シーンモデル、インタラクション、空間アンカーなどある程度シーンを自動生成することができるようになりました。この記事では、インタラクションの構築に焦点を当て、なぜか自動生成されないコントローラーのインタラクションをどのように構築するかを説明します。!2024/4/18 追記SDK V64のリリースで、コントローラーのインタラクションが自動生成されるようになりました。V63では、コントローラ...

概要Apple Vision Pro向けアプリの開発にはReality Composer Proを利用してシーンを構築していくのが一般的です。一方、PolySpatialを用いてUnityで開発を行う場合、基本的なシーン構築についてはUnityが出力したコードおよびアセットですべてが管理されており、Reality Composer Proのアセットは含まれていません。しかし、PolySpatial 1.1.4からはSwiftUIとの連携機能が追加されるなど、Xcodeで行う開発フローを取り込むことが可能となりました。これを利用しようと思い、自分が開発しているUnityプロジェ...

概要PolySpatial 1.1.4が発表されました。アップデートの中で注目なのが、SwiftUIの連携部分が追加された点です。ただ、visionOSの仕組み上ちょっと癖のある実装となっています。今回は新しく追加されたSwiftUIと連携する方法について解説したいと思います。 SwiftUIはネイティブ実装いきなり、Unityで開発するんちゃうんかい、という話ですがSwiftUIを利用するにはSwiftによる実装を行わないとなりません。しかし、visionOSの特徴である磨りガラス風のUIを利用できることを考えると一考の余地はあるでしょう。Unityのオブジェクト...

概要今月はApple Vision Proの発売記念ということで1ヶ月記事チャレンジを行っています。この記事はその2/22の記事です！2/21の記事はこちら (Apple Vision Pro で変わる体験)MESONでは「SunnyTune」という天気を体感できるアプリを開発し、Apple Vision Proのローンチに合わせてリリースしています！https://prtimes.jp/main/html/rd/p/000000055.000032228.html今回はMR表現でよくある天井に空を描画する方法をVisionProでどうやって実装するかについて解説し...

概要MESONではApple Vision Pro向けの開発を積極的に行っています！今月はApple Vision Proの発売記念ということで1ヶ月記事チャレンジを行っています。この記事はその2/19の記事です。2/18の記事はこちら（純粋くんと西田はかせ ⋆ 第一話 ⋆）ちなみにアプリ開発も行っていて、第一弾として「SunnyTune」という天気を体感できるアプリを開発し、Apple Vision Proのローンチに合わせてリリースしています！https://prtimes.jp/main/html/rd/p/000000055.000032228.html空間コ...

概要MESONで実施中のApple Vision Pro 1ヶ月記事投稿チャレンジ の2/13の記事となります。2/12の記事 : VisionProを着けて歩いてみたら、フリーwifiのログイン画面にぶつかった。そして考えた未来の情報表示について。visionOSアプリで、3Dオブジェクトの衝突検知を試してみました。衝突検知とは、二つ以上のオブジェクトが互いにぶつかったかを検出するプロセスです。https://developer.apple.com/documentation/realitykit/collision-detection Collision Mode...