現場のライブ映像に遠隔地からの手書き指示を表示
広帯域ネットワークやスマートフォンの普及により、離れた場所でも映像を簡単に共有できるようになった。ビジネスにおいても、リアルタイム映像の共有などのニーズが高まっている。
KDDI研究所では、15年近く前に、独自の映像伝送技術を用いて、ネットワークの状態を問わず安定して高画質な映像伝送が可能な可搬型映像伝送システム「VistaFinder」を開発しており、放送局や救急用途で利用されてきている。さらに、スマートフォンやタブレットでも利用可能で、メガネ型USBカメラをつないでハンズフリーでも利用できる映像伝送ソリューション「VistaFinder Mx」を2011年に世界で初めて販売開始している。「携帯性」を追求したシステムで、設備保守などへの導入実績がある。
さらに今回、「VistaFinder Mx」に、現場の映像にコメントなどの仮想的な付加情報を貼り付けて提示する「利便性」を追加した。遠隔地の現場からタブレット等で撮影されて送られた作業対象設備等の映像に手書き等で指示を書き入れると、現場のタブレットの映像にリアルタイムで重ねて表示される。作業者がタブレットを動かしても、指示はカメラの動きに追従してくれる。これにより、現場映像と音声だけの情報共有では不十分だった作業支援を目的としたリアルタイムのコミュニケーションにおいて、より直感的で効果的な指示が可能になり、聞き間違いや思い違いなどの作業ミスも減らすことができると期待される。
まず、デモンストレーションを拝見した。現場作業者が作業対象の通信機器にタブレット端末をかざすと、画面に現在の映像が表示される。端末に映っている映像は、同時に指示者の受信端末にも送られて映し出される。
そこで指示者は、「上から３段目の、一番右の段の左から５番目のコネクタに挿してください」という指示を音声で伝える代わりに、端末の画面を指でなぞって矢印や文字を”書く”。すると即座に赤い矢印と文字が、現場作業者の端末の映像に重ねて映し出される。音声通話もできるので、指示者は、「指示したコネクタに挿してください」と言えばいいだけだ。端末を機器に近づけたり遠ざけたり、斜めにしたりしても、赤い矢印と文字は、同じコネクタを指示し続けている。端末を遠ざけると作業対象の映像は小さくなるが、それと同時に赤い矢印や文字も合わせて小さくなる。手ブレしたり、回転したりしても、問題なくAR画像が重なるのには目を見張った。
KDDIのネットワーク保守支援がそもそもの開発目的
「そもそもは、社内のネットワーク設備の保守に使いたいというのが開発の動機でした」
スマートネットワーク管理グループの荒井大輔・研究主査は、VistaFinderとARをつなげたきっかけをそう振り返る。
「私には、KDDI研究所での研究と、KDDIでのネットワーク運用を兼務していた時期がありました。夜間に動かすシステムを開発し、実際に運用も行なっていたのです。夜中でもトラブルがあれば電話がかかってきます。システムの開発はしましたが、ずっと研究所にいて運用の現場に出たことはなかったので、現地の装置の様子が分からないため、正確に理解をするのが難しい。何とかならないかと思い、KDDI研究所でVistaFinderとARを研究している人たちと仲が良かったので、『この人たちならできる』と思い、開発を提案しました。KDDIは全国に携帯電話の設備がありますが、全ての場所に作業者が常時いるわけにはいきません。故障の際には、詳しい人が到着する前に、現地にいる人で多少なりとも作業を進めておくことができれば、お客さまにご迷惑をおかけする時間を短くできるのでは、と思ったのです」
VistaFinder Mxの技術的特長は、大きく3つ。
まず、AR表示に「マーカー」が不要なこと。ARの表示方法には、表示場所を特定するARマーカーなどの「目印」を利用することが多いが、KDDI研究所独自のマーカーレスAR技術により、現場の設備にマーカーを貼り付けたりする必要がない。事前準備なく、どこでも行ったその場で、AR表示を利用できる。
2つ目は、表示場所の検出と追従方法。AR表示を行うには、表示を書き入れた映像と現場で撮影・表示されている映像を比較して、指示を書き入れた場所を探し出す。この部分では、特徴のある部分を探し出して、高い精度で、指示した場所にAR表示を重ね合わせて表示している。現場で端末を動かしても特徴のある部分を追跡し続けることで、”同じ場所”に指示を表示し続けられるわけだ。端末の捉えた映像に応じて指示の大きさや形も変わるのは、たとえば四角形は斜めから見ると台形に見えたり、遠くから見ると小さく見えるといった認識対象の見え方の変化を利用して、AR画像を同様にゆがませる、という仕組み。これに動きの情報も利用して、追従にかかる処理を軽くしているのだという。
3つ目は、AR表示用の専用サーバーが不要なこと。高速な検出方法と頑健な追従方法のハイブリッド構成により、高度なAR表示をスマートフォン・タブレット端末本体とソフトウェアだけで利用可能にした。
利用者の声に何度も耳を傾け、使いやすさを追求
Vista Finder Mxの構成とAR機能
「端末としては3台、iPad2台とWindowsのパソコン1台で構築できます」
VistaFinder Mxを市場に展開するソフトウエアインテグレーショングループの辻智弘・研究主査は、そう説明する。
図のように、システムは現場端末（送信アプリ）、支部端末（受信兼指示アプリ）、本部PC（監視録画アプリ）で構成される。現場で作業者が作業をする対象に端末をかざして、現在の映像に受信した指示情報を重ねて確認する。支部では指示者が現場の映像に手書き指示を記入して送る。本部では作業の集中監視、作業内容の録画記録、記録映像のプレビューができる、というわけだ。
「一番苦労したのは、利用者の要望をいかに吸い上げて使いやすくするかというところ。実際に運用現場の方のニーズにフィッティングさせるのが難しくて、開発とフィードバックを５回ほど繰り返しました。使いやすくする工夫がたくさん入っています」
送信側の端末は滑らかな動画で表示されるのに、受信側では１秒間に１枚程度のパラパラ画像で表示するようにしたのも、そうした工夫のひとつ。これは、山奥など電波環境がよくない場所からの映像伝送でもデータ量が少なくてすむというメリットに加え、指示者の方々からの、滑らかな動画ではむしろ、機器の細かな表示などが見にくいという要望を聞いた結果でもある。
使いやすさに胸を張るだけあって、映像の見やすさや、「アプリを起動してボタンを押すだけ」という扱いやすさはストレスフリーに感じた。
「VistaFinder Mxは、映像品質、セキュリティー、ハンズフリーという特長でSkypeやFaceTimeなどのビデオ通話と差別化をしています。さらにARを実現したことで、現場作業を伴う遠隔作業支援業務に最適なソリューションを提供できるようになりました」と、辻さんはあらためて、VistaFinderが支持されている3つの理由を説明する。
「モバイルのネットワークを使うので、場所、時間、それに、人がどれだけ密集して使っているかによって、映像品質は変動します。いかに安定して映像を送れるかがKDDI研究所のノウハウです」。回線品質を常に監視し、最適な映像・音声を制御して安定したリアルタイム伝送を実現した。LTEとWi-Fiなどの切り替わり（ハンドオーバー）にも自動的に追従して伝送を継続できる。
「セキュリティーについても、KDDI研究所が開発したKCipher-2という最新の暗号方式を採用しています。世界で主流となっているAESという方式の10倍もの高速処理ができ、スマホに負荷をかけないのが特長です。KCipher-2は国際標準(ISO/IEC18033-4)に認定され、日本政府のお墨付き(電子政府推奨暗号に選定)もいただいているので、官公庁を含め、いろいろなところで信頼あるものとして使っていただいています」。インターネットにアクセスできない閉域網でも利用でき、最高峰の安全性を誇るという。
「3つ目はハンズフリーです。端末のカメラを対象物にかざさないと使えないのでは、作業者に負担がかかります。両手が空いた状態で映像を送れる、しかも、作業者視点の映像を送りたいというニーズが一番多い。そこで、PC用の既製品のメガネ型USBカメラを、本来は利用できないスマートフォンで映像を取り込めるようにしてソリューション展開しました」
ほかにも、現場ニーズに即した機能が満載されている。例えば、どこから送信されているかが一目瞭然の「送信端末位置の地図表示」。送信者が不在でも安心な「受信側からの送信制御」。また、高品質のファイル転送やアーカイブ録画記録といった機能を使って、記録映像を分析や教育などに利用することもできる。
設備保守や緊急時の現場確認、災害時のBCP対策などの用途で、インフラ、警備、ビル管理、消防や医療機関、官公庁への導入が着実に進むVistaFinder Mx。AR機能の追加で、運用の幅がさらに広がりそうだ。
関連リンク（外部サイト）
（参考）製品情報
（ニュースリリース）動画対応のAR技術を使った遠隔作業支援システムを世界で初めて販売開始
KDDI研究所
アカルイミライ
※掲載されたKDDIの商品・サービスに関する情報は、掲載日現在のものです。商品・サービスの料金、サービスの内容・仕様などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。
関連記事リンク（外部サイト）
子供の視線釘づけ！ ARや実写動画搭載の『学研の図艦LIVE』
家具選びは自宅でスマホから。買う前に画面でレイアウトをシミュレーション
答えは大阪城を歩いて探せ！ 大坂の陣400周年の謎解きイベントをARで楽しもう