Microsoft HoloLens、HTML、妄想、疑問

まだ、今の時点で詳細情報がない為、ただの妄想。

Universal な App という事は HTML でも作成できる可能性もあり、Windows Runtime の API を JavaScript から実行できる事になると期待している。

Kinect を世に出した Alex Kipman のプロジェクトとなると Kinect 同様となりデバイス情報が送られてくるループ内で空間情報や自分の手、視線の情報の処理がされると思われる。

 

また、もしセンサーが Kinect と同じであるとすると物体検知は赤外線を使っているはず。

そうなると日中の外ではかなり厳しいし、そもそも壁などの障害物がいつでも近くにあるとは言えない。

個人的には、VR 的な要素もそうだが、目線でコントロールできることに注目している。

 

疑問

HoloLens は Google Glass の様に投影しているが画像は透けないらしく、どうやっているのか不思議だ。

どうしょうもない頭で思いつく解決法は2つ。

ひとつは外側のグラスで投影部分だけマスクをつくる。例えばグラスにウインドウが表示されたらその部分だけなんらかの背景をつけ透過しない処理をする。(偏光させてるとか？)

もう一つは外部カメラから画像を取り視界の画像とCGと合成する。

後者は処理が重すぎるから無いだろう。

多分もっとスマートな解決をしていると思われる。

 

HTML でつくるストアアプリは Windows 的に WWAHost.exe の上で動く。

要するに最適化されたガワネイティブである。

HTML で動かすことができるのか。

または、C# と C++ だけなのか。

 

先日のキーノートでは左目用と右目用のコードと言っていた。

別々の目で違う画像や処理はしないと思われるので、コントロールする為のものだと思われる。

例えばウインクとか。

 

視線と指を認識してコントロールしているが視線と手のコントロールはぶつからないのだろうか？

どちらが優先されるのだろうか？

Kinect v2 は多くの人の体型から機械学習的アプローチで骨格情報をとっている。

何歳から何歳までの統計だったか忘れたけど認識できる人の大きさが決まっている。

手でのコントロールはどのぐらいの大きさまで対応しているのだろうか？

 

物体のあたり判定はどうなっているのだろうか。

例えばサポートされている Unity 3D の場合手軽にできるが他の開発環境だとかなり大変だろう。

と、自分レベルでもかなり疑問点がある。

誰か知っていたらこっそり教えてほしい。