今年はじめ(2021年1月)Looking Glass Factory社から、光線再生型ディスプレイLooking Glassの最新モデル 「Looking Glass Portrait」がリリースされました。
Looking Glass Portraitとは一体どのようなものなのか、またRealSenseデプスカメラと併用することで、どのようなことができるのかを紹介します。
※本記事は以下のWEBページを参照しています
Looking Glass and Intel RealSense Depth Cameras
Looking Glass Portraitとは？
Looking Glass Portraitは、一見 「デジタルフォトフレーム」 のように見えますが、実際にはアーティスト、デザイナー、開発者、映画製作者、写真家、そして3Dコンテンツのキャプチャや創作を模索している愛好家まで、幅広い人々に向けてデザインされた個人用の光線再生型ディスプレイです。
従来の3Dコンテンツの表示に必要なVRヘッドセット (VRヘッドマウントディスプレイ) が必要で、見る人の動きや視覚によってコンテンツの見え方が変わります。しかし、Looking Glass Portrait を活用すれば、VRヘッドセットなしで、複数の人とリアルタイムで立体的な3Dコンテンツを共有し、さまざまな角度から一貫した視覚体験を楽しむことができます。
※Looking Glass Portrait についてはこちらの記事も参考にしてください
光線再生型ディスプレイってなに？
「光線再生型ディスプレイ」は、様々な視点から異なる画像を再生することで立体的な効果を生み出します。例えば、3Dの立体物としてリンゴが画面に表示されている場合、正面からはリンゴの前面が見え (視点1)、少し左に移動するとリンゴの左側が少し見える映像 (視点2)、さらに左に移動するとリンゴの左側面が見える映像 (視点3) が表示されます。
これには、複数の光線を使い、視点ごとに異なる映像が表示される仕組みが組み込まれています。通常の2D画面は「同じ映像」をあらゆる角度から同じように見えますが、光線再生型ディスプレイでは「角度に応じた映像の違い」が生じます。これにより、右目と左目で異なる映像を自然に受け取り、裸眼で立体感を感じられるのです。
Intel RealSense テクノロジーとどのように協働するのか？
私たちの多くは、すでにビデオ会議や通話ソフトに慣れ親しんでいますが、ホログラフィックコミュニケーションが実現すれば、それらとは全く別のものになる可能性を秘めています。ある統計では、他者とのコミュニケーションを図る上でボディランゲージや表情、ジェスチャーなどの非言語コミュニケーション(non-verbal communication, ノンバーバルコミュニケーション)の割合は70〜93％と言われています。ホログラフィックコミュニケーションや光線再生型ディスプレイを活用したコミュニケーションにより、他者の意図や意見を3D立体映像から正確に理解したり推し量ったりできれば、双方のコミュニケーションがより開かれたものになるかもしれません。
Intel RealSense Cameraは、被写体をありのままの状態でキャプチャできるため、光線再生型ディスプレイの記録・再生用の周辺機器として使うことができます。Intel RealSenseのカメラを使って記録されたコンテンツは、静止画または動画としてLooking Glass Portraitで再生することができます。
このことからもIntel RealSenseのカメラはインターネット回線を使った電話においても、ユーザーがまるで実際に顔を合わせているような、リアルタイムの通信システムとして使えるかもしれません。
例: Azure Kinect DKやRealSenseを使ってキャプチャされた3Dコンテンツ
ものを見る新しい方法
私たちは一般的なテレビのような2D画面でコンテンツを見ることに慣れていますが、実は多くのコンテンツはもともと3Dで制作されており、それを3Dホログラフィックディスプレイや光線再生型ディスプレイで再現することにより、これまでとは違う体験を得ることができます。
例えば、ビデオゲームはリアルタイムで3Dレンダリングされた素材の集合体で、Looking Glassを使用することで、従来とは異なる立体的なビジュアルを体験することが可能です。VRヘッドセットが必要なVRダンジョンRPGゲームのように、ヘッドセットを使用せずに画面越しにダンジョンの隅々まで「見る」ことができるようになります。
VRヘッドセットを使ったゲーム (VRダンジョンRPGゲーム) では、物理的に頭を動かすことで、ダンジョンの隅々を「見る」ことができますが、光線再生型ディスプレイではヘッドセットがなくても同様のことが可能になります。
例: 見る角度(位置)が異なっても立体的な3Dコンテンツを見ることができる
また、3Dムービーフォーマットも同様に、3Dメガネなしで立体的に表示できる「光線再生型ディスプレイ」への変換が可能です。再レンダリングが必要な場合もありますが、すでにある3Dコンテンツとの連携が容易です。
このような技術は、デザイナーや建築家、クリエイターにとって、作品を立体的に「見る」ための手頃な方法のひとつです。また、Intel RealSenseカメラを使ってデザインや作品を3Dでスキャンすることで、クライアントや顧客と直感的に情報を共有し、従来とは全く異なる方法で作品を体感できるようになるでしょう。
Depthkit について
Looking Glassのユーザーガイドで紹介されているDepthkit(デプスキット)は、深度センサから色と深度データをキャプチャするツールです。 このツールを使うことで、現実世界のシーンを録画し、Looking Glassで3D立体画像として再生することができます。
The Looking Glass User Guide 「Depthkit」
http://docs.lookingglassfactory.com/Depthkit/
【ハードウェア要件】
Depthkitの使用には、下記いずれかの3Dキャプチャセンサー用のカメラとLooking Glass推奨スペックのPC環境が必要です。
- Kinect for Windows V2
- Azure Kinect (Depthkit Proが必要)
- Intel RealSense (limited experimental support)
※DepthkitデータをUnity、またはDepth Media Playerに出力するには、Depthkit Recordか以上が必要です。DepthkitのWebサイトは こちら。
最後に
インテル社のRealSenseに限らず弊社で取り扱っているカメラの多くは「1台」からお取り扱いできます。また研究開発者向けサービス「レンタルサービスtegakari」もご活用いただけます。実際にお使いになられたい場合など、ぜひご活用ください。
本記事でご紹介したLooking Glass Portrait は、2021年4月14日現在 メーカーにてプレオーダー中の製品となります。ユニポスでは本製品のご予約を承っております。お気軽にお問合せください。
