HoloLens のドキュメントを見てみた - Understanding HoloLens 編
一応、HoloLens で Microsoft Edge が使えたり、JavaScript 版 UWP アプリが動くようなので調べてみた。
結構、ドキュメントが長いので、いつかもっとコンパクトにまとめたい。
HoloLens のドキュメント
Windows Holographic - Documentation
今回は以下の6章の中の
- Understanding HoloLens
- Developing for HoloLens
- Building 2D apps
- Building holographic apps with Unity
- Adding holographic capabilities to middleware
- Designing holograms
Understanding HoloLens の項目をさっくりと訳。
以下、今回の説明で微妙に書かれていない用語
エアタップ
人差し指などを上にあげ指を曲げる動作。
振る舞いはマウスのクリックと同じ。
状態をそのままにするとホールドする。
ブルームジェスチャ
手を握り、手のひら上にして、指を開きパーの状態にする。
視線 (Gaze)
センサーが HoloLens 使用者の視線を読み取り、対象オブジェクトにレイキャスト（ライントレース）を行う。
デスクトップでいうカーソル移動を 3D 空間では視線で行う。
ホログラム
HoloLens をかぶって表示される仮想空間
お約束ですが開発段階ですので今後内容が変わる可能性があり。
また、訳が間違っていたらごめんなさい。
HoloLens とは？
動画を見るとわかりやすい（英語）
HoloLens を理解する
HoloLens は物体を目の前にあるかのように表示しホログラムをつくる。
視線、ジェスチャーや音声コマンドを使用しホログラムの空間を操作することができる。
ホログラム上では黒は表示されず透過処理されるらしい。
(すべての黒に使われるといろいろ困るので何かの制限があると思われ)
耳の上に2つスピーカーがあることで、現実空間の音を聴きながらホログラム内の音の出力が流れミックスされることとなる。
(イヤフォンジャックがあるのでイヤフォンでも聴ける模様)
ホログラムは空間にオブジェクトを配置でき、
ホログラム環境の中のオブジェクトに内してインタラクションを起こすことができる。
例えば、テーブルにホログラフィックのボールを配置し、エアタップでそのボールを弾ませ、着地の際に音を鳴らすことができる。
ホログラムは実世界の障害物も反映され、障害物の後ろにホログラムのオブジェクトがある場合は表示されない。
ハードウエア詳細
光学系
- シースルー ホログラフィック レンズ (導波管)
- HD 16:9 光エンジン * 2
- 自動瞳孔距離補正
- ホログラフィック解像度: 2.3M 総ライトポイント？
- ホログラムの密度: 2.5k ラジアン以上 (ラジアンあたりのライトポイント？)
センサー
- IMU（慣性計測ユニット：角度、角速度、加速度を検出する）
- Environment understanding cameras * 4 （何物か不明）
- 深度カメラ
- 2M Pixel HD カメラ
- ミックスド リアリティ キャプチャ（視界とホログラフィックを合成しキャプチャ）
- マイク * 4
- 環境光センサー
人側が利用できるもの
- 立体音響
- 視線追跡
- ジェスチャ入力
- 音声のサポート
入力/出力/接続
- 内蔵スピーカー
- 3.5mm のオーディオジャック
- ボリューム アップ/ダウン
- 明るさ アップ/ダウン
- 電源ボタン
- バッテリのステータス LED
- Wi-Fi 802.11 ac
- マイクロ USB 2.0
- Bluetooth 4.1 LE
電源
バッテリの寿命
- 連続使用 2〜3 時間
- 最大待機時間 2 週間
- 充電時も動作する模様
ファンレスで冷却
プロセッサ
- Intel 32 bit アーキテクチャ
- カスタムで組み込んだ Microsoft Holographic Processing Unit (HPU 1.0)
メモリー
- 2GB RAM
- 64GB Flash ストレージ
OS と アプリ
- Windows 10
- Windows Store からインストール
開発環境
- Windows 10 で動く Visual Studio 2015 または Unity
重さ
- 579g
同梱物
- HoloLens Development Edition 本体
- クリッカー（ボタンのついたリモコン）
- キャリングケース
- 電源とケーブル
- マイクロファイバークロス
- ノーズ パッド（たぶん鼻の高さによって調整するため）
- オーバーヘッドストラップ
HoloLens シェルの概要
HoloLens のシステムはシェルとホログラムと現実世界で構成されており、ミックスドワールドと呼んでいる。
シェルはシステム情報やその他操作、スタートメニューで構成されており、
シェル から 2D アプリのフレームや 3D モデルをミックスドワールドに配置することができる。
アプリ配置は記憶されており、部屋の移動後戻ってきた際や、デバイスを電源をオフ後も、その位置を記憶している。
これをホログラムの永続性と呼ぶとのこと。
スタートメニュー
- システム情報 (Wi-fi 状態、バッテリー状態、現在の時刻、およびボリューム)
- Cortana を呼び出すボタン
- ユーザーがピン止めしたアプリのビュー
- システム上のすべてのアプリのビュー
- ミックスド リアリティ キャプチャ（ホログラムと現実世界の合成画像）のためにカメラボタン
ピン留されたアプリやすべてのアプリは +/- ボタンでも操作でき、ブルームジェスチャでスタートメニューの表示・非表示ができる。
シェルからアプリケーションを実行
通常の Windows 10 のスタートと同様にタイルは 2D アプリのフレームや 3D モデルを空間に配置することができる。
状態をコピーして起動するため、家の別の部屋でも同じアプリを起動できる。
デスクトップ、モバイル、または Xbox 用に作成した 2D のアプリは、 HolographicSpace APIを使用し、ホログラフィックアプリように拡張できる。
ホログラフィックビューでアプリを実行しているときは、ブルームジェスチャーを介してシェルに戻るまで、他のアプリの起動ポイントが隠されている。
アプリは、Cortana やアプリからの呼び出しにより起動することもできる。
スタートメニューや Cortana から起動すると新たに立ち上げたアプリは配置する場所を選択する状態になる。
配置
スタートメニューのタイルなどでアプリを選択した場合、スタートメニューは消え、アプリの配置モードに入る。
初期配置
アプリは、ユーザーの視線の方向に現実の世界に適合するよう自動的に調整される。
アプリを配置すると、実行が開始。
- 「エアタップ」 アプリの配置と起動
- 「ブルームジェスチャ」 キャンセル
調整
アプリの Holobar の「調整」ボタンをクリックするか、「Adjust」 と言って、調整モードに入ることができる。
調整モードでは、ユーザーは移動、サイズ変更、アプリのタイルを削除することができる。
完了したら HoloBar 上の「完了」ボタンをクリックするか、 「Done」と言いう。
Holobar
Holobarは、アプリの2Dビュー上に表示される。
デフォルトでは、調整と削除。
アプリの現在の状態によって、 表示されるオプションが変更されることがある。
「戻る」ボタン
戻るボタンはアプリ他のプラットフォームと同様。
戻るボタンの履歴の先頭に達すると停止し、他のアプリに移動しない。
Cortana
他のプラットフォームと同様。
音声コマンド、音声認識、音声合成を使って、アプリに音声操作を組み込むことが可能な模様。
ストア、設定、およびシステムのアプリ
HoloLens を含む、デフォルトでインストールされているアプリ
- Windows Store : 新しいををインストールする場所
- Windows Feedback : バグや使いやすさの提案をする
- Settings : 設定アプリ
- Microsoft Edge : ブラウザ
- Photos : 写真、動画閲覧アプリ
- Calibration : HoloLens のデバイス調整アプリ
- Gestures : 初心者用ジェスチャー練習アプリ
- Holograms : ホログラムコンテンツとともに現実世界をデコレーションするアプリ（なんなのか不明）
HoloLens のアプリの表示
HoloLens 上で動作するアプリは「ホログラフィックビュー」と「2D ビュー」の2種類あり、
両方の表示を含めることができ、ホログラフィックビューと 2D ビューを切り替えることができる。
例えば、仮想キーボードなどのインタフェースを表示する際に切り替える。
ひとつ以上のホログラフィックビューを持つアプリは、ホログラフィックアプリとして分類され、 ホログラフィックビューを持つことがないアプリは、2D ビューのアプリとなる。
ホログラフィックビュー
現実空間にホログラムが描画される。 没入するために他のアプリは描画されない。 アプリは頭の動きに合わせてホログラム表示の調整が行われる。
ホログラフィックビューが表示している場合シェルは表示されない。 システム通知は Cortana から音声通知され、処理する場合は音声入力をする。
ホログラフィックビューにいる場合、入力は視線、ジェスチャー、音声を使い自分で行う必要がある。 （基本、受動的に画面処理がされないからだと思われる）
2D ビュー
従来の平面のアプリ。現実空間に配置できる サイズの調整も可能。
UWP アプリも実行可能。
ホログラフィックビューの上にシェルは描画できないが 2D ビューに切り替えてシステムキーボードなどを表示することができる。
ミックスド リアリティ キャプチャ（MRC）
現実世界とホログラフィックを合成して静止画や動画をキャプチャできる。
ミックスド リアリティ キャプチャ を使う
キャプチャを開始する3つの方法がある。
- Cortana で音声コントロール。"Hey Cortana, take a picture" か "Hey Cortana, start recording."、止める場合は "Hey Cortana, stop recording." という音声コマンドを言う
- スタートメニューで、Ptoho か Video のボタンをエアタップする。 ブルームジェスチャで MRC モードを停止
- ブラウザで端末の設定が操作できる Windows デバイスポータルを開き、MRC を操作する
ハードの負荷を抑えるため、キャプチャが始まると画面のリフレッシュレートが 30Hz になる。 ビデオのフレームレートは 30fps で、最大録画時間は3分。
ファイルフォーマット
| タイプ | フォーマット | 拡張子 | 解像度 | 音声 |
|---|---|---|---|---|
| 静止画 | JPEG | .jpg | 1408x792px | なし |
| 動画 | MPEG-4 | .mp4 | 1408x792px | 48kHz Stereo |
キャプチャ画像を閲覧する
MRC のキャプチャファイルはカメラロールに保存される。 HoloLens のフォトアプリ、Windows デバイスポータルからアクセスでき、 フォトアプリのファイルの同期設定をしていれば、OneDrive 経由で他のデバイスでも閲覧できる。
アクセサリの使用
HoloLens のアクセサリは Bluetooth 4.1 から使用し、 主な利用シーンはエアタップの代替を行う HoloLens Clicker、バーチャルキーボードの代替を行う Bluetooth キーボード。 HID と GATT のプロファイルをサポートしている。
Bluetooth のペアリング
他の機器と同様。ここでの手順の紹介は省略。
HoloLens クリッカー
HoloLens 用につくられた専用デバイス。 エアタップとジェスチャーの代替ができるが全てのジェスチャーが使えるわけではない。
スクロールで使用する場合、クリッカーの傾きで動作し アップ/ダウン/左/右の回転は ± 15 度の回転で最高スピードに達し、それ以上傾けても速くはならない。
LED の説明があるが、電池残量がらみなので割愛。
Bluetooth キーボード
英語 Qwerty Bluetooth キーボードが使用できる（現状 HoloLens 自体が英語しかサポートしていない） Microsoft Universal Foldable Keyboard や Microsoft Designer Bluetooth Desktop をお勧めしている模様。
その他の Bluetooth アクセサリ
Bluetooth HID と GATT プロファイルに適合していれば使うことができるらしい。 コンパニオンアプリ上での設定がいるとか。
サポートされていない周辺機器
- Bluetooth オーディオプロファイル
- Bluetooth でのデバイス間ファイル転送
- Bluetooth マウスは動作する UWP アプリもあるが、シェルでは動かない。
ペアリングの解除
他の機器と同様。ここでの手順の紹介は省略。
次回、Developing for HoloLens か Designing holograms を訳す。
