拡張現実 拡張現実の概要

ウィキペディア

拡張現実

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/09/07 17:26 UTC 版)

「Wikitude」。スマートフォンを通して見た風景上に、その場所に関する情報がオーバーレイされる

現実の風景の中にCGでつくられた3D映像やキャラクターなどのデジタルコンテンツやデータを重ねて表示することで現実世界を"拡張"する^[4][5]。専用のヘッドマウントディスプレイ（以下、HMD）を用いる方法、あるいはスマートフォンのカメラとディスプレイを使って重ね合わせる方法などがある^[1]。

概要

拡張現実（AR）とはその名の通り、「現実を拡張する」ものであり、肉眼で直接見ることができる現実の世界に重ねて、本来その現実空間に存在しない情報を表示するというものである^[6][7]。複合現実（MR）の一種とも言われ、広くはエクステンデッド・リアリティ（XR）に含まれる^{[注 1][6][8]}。仮想現実（VR）のベースにあるのが映像であるのに対し、ARのベースにあるのは現実世界である^[6]。

現実世界の情報とデバイスのシースルー（透過型）のディスプレイに表示されるデジタル情報を組み合わせることで、肉眼だけでは得られない"新たな現実"を作り出せる点が特徴であり、現実の風景の上に本来存在しない映像やアイコン、アノテーションなど様々な情報が付加されることによって、あたかも現実が拡張されたかのように見える^[6][7][9]。このシースルーで周囲が見えるという利点は大きく、ユーザーは現実世界で普段の生活と同じように行動をしながらでもデジタル情報を得ることができる^[6][7][10]。

現実とリンクしてそこに新たな情報を追加して世界を広げるのがARの特長であり、そもそも現実の世界が見えていないと意味がないため、モバイル利用できることが大前提である^[8][10]。屋内はもちろん、屋外でも自由に出歩いたり動き回ったりできなければならない^[10]。そのため、デバイスのサイズはできるだけ小型化・軽量化されることが望まれる^[11]。

ARの種類

ARはロケーションベースAR、マーカー型AR、マーカーレス型ARの3種類に大別される^[1]。

ロケーションベースAR

ロケーションベースARまたは位置拡張ARとは、GPSをはじめとする各種センサーによって位置情報を取得し、その場所に応じた3Dグラフィックスなどのコンテンツをカメラ映像に合成して表示する技術^[1]。

マーカー型AR

マーカー型ARとは、マーカーと呼ばれる図形をカメラで読み取ることで、その位置にコンテンツを合成して表示する技術^[1]。コンテンツを表示する位置を細かく制御できるという利点がある^[1]。

マーカーレス型AR

マーカーレス型ARとは、カメラ映像に含まれる実際の風景や建造物、看板などを識別し、それぞれに合わせたコンテンツを合成して表示する技術^[1]。マーカーを使わずにコンテンツを表示できることがメリット^[1]。

用途

AR技術は現実とリンクするというその特徴を生かして、Pokémon GOなどの位置情報ゲームのようなエンターテインメント分野ではすでに利用が進んでおり、ビジネスシーンでも様々な利用が始まっている^[1][10][12]。産業用途としては、製品や装置・設備の3D CADデータをもとに、仮想空間で試作品を作る前に動作や状態を検証することができるシステムや、工場や機械などの保守・点検の際に、作業員が実際の空間や機器に重ねてディスプレイに表示される点検箇所の情報や作業指示に従って作業を進める業務支援システムなどでの利用例がある^[4][10]。その際、同時に作業の過程も録画・記録される^[12]。また現実世界の装置の状態を3Dデータで再現して、専門家が遠隔地から検証や保守などに活用するというケースも出ている^[4]。2020年の新型コロナの影響で国境を越えた移動が難しくなった日本の大手メーカーにも採用が広がっている^[12]。日本からエンジニアが現地の作業員の作業を手伝ったり指導したりすることができるので、作業効率を引き上げ、事故を減らすこともできるからである^[12]。さらにセンサーやHMDを駆使して、遠隔地からロボットを分身のように操作する「テレイグジスタンス」と呼ばれる応用例もある。これは宇宙空間など危険な場所での作業をロボットが肩代わりすることが出来る技術で、生産性と安全性の面で将来期待される技術である^[4]。

近年では、店舗のレイアウトがスマートフォンの画面に再現されるARショッピングも登場し、小売業や家具店などのオンラインストアで導入されることも増えている^[5]。スマートフォンを周囲にかざすことで商品が表示されるため、自分の部屋にいながらにして購入前に商品のイメージを確認できる^[5]。また博物館や美術館で見学者のスマートグラスに文字情報や映像を表示して展示物の解説をしたり、順路を明示したりするようなことも考えられている^[12]。

中国では、2018年の春節から顔認識機能付きのサングラスが犯罪捜査に使われ始めた^[12]。警察のデータベースにある逃亡犯の画像と一致すると警告が出る仕組みの顔認識機能付きのサングラスをかけた警察官が人込みの中から犯罪者を見つけるというものであった^[12]。2020年には、新型コロナウイルス感染症対策で空港の旅客の体温を赤外線カメラのついた眼鏡をかけた空港警備員がチェックするということも行われた^[12]。眼鏡越しに見ると旅客の顔は四角い枠で囲まれ、その下に体温が表示されるようになっていた^[12]。

日本ではドローンによる屋外利用も進み、撮影などに盛んに利用されている^[11][13]。国内の規制上、ドローンの操縦者は目視が必要であるため、外界から完全に隔絶されたVRでは操縦できないのに対し、目の前でドローンの飛行データやカメラの映像を確認しながらドローンを目視できるARなら操縦できるからである^[13]。

医療

医療はARやVRの導入が進む分野のひとつで、教育、治療・手術支援、リハビリテーション、遠隔医療などで次々と新しい実践が行われていて、すでに手術室や医療訓練、診療所、在宅医療などの現場に入り込み始めている^[14][15]。

AR技術を活用した遠隔医療システムとは、遠隔地にいる専門医が現地の執刀医と視界を共有し、ARを使って患者の切開箇所などを指示し、現地にいる執刀医はそれをもとに手術を行うことができるというものである^[15]。当初は軍事目的や医学的リソースが乏しい地域や紛争地の外科医に対して遠隔で外科医を教育指導・支援するために開発された技術だったが、リアルタイムの手術にも対応可能となり、様々な国で広く導入されるようになり、医師の大都市集中や診療科偏在などで地方の医師不足が深刻な課題となっている日本でも、その動きは始まっている^[15]。

近年、ネット回線を使った通信上の遅延や高額な費用の課題などがクリアされて遠隔手術ができる情報通信の環境が整い始めると、アメリカや中国をはじめ、世界各国が遠隔ロボット手術に取り組むようになった^[16]。手術に不可欠な手術支援ロボットの開発も、それまで独り勝ちだった米国製ロボット「ダビンチ」の主要な特許が2019年に切れたことで開発競争に火が付いた^[16]。日本では川崎重工業とシスメックスの合弁会社メディカロイドが開発した「hinotori (ヒノトリ)」が2020年8月、国産の手術支援ロボットとして製造販売の承認を得ると、2021年4月にはメディカロイド、神戸大学、NTTドコモがヒノトリと次世代高速通信規格「5G」を使った遠隔操作による模擬手術の実証実験を開始した^[16]。この実験と従来の実験との最大の違いは、専用の有線回線でつなぐのではなく、商用5G網を活用した「世界初」という実験だった点であった^[16]。遅延を減らすことやセキュリティー面を考慮すれば、光ファイバーの専用の有線回線で各病院のロボットをつなぐのが一番であるが、それには莫大な費用がかかる^[16]。またプロバイダーを介した商用の有線接続では、各病院内のネット環境の違いが通信速度に差を生み、ネットワーク化の支障となる^[16]。将来、あらゆる病院をつないで実用化することを考えると、無線というハードルはあるものの、商用5G網の利用は大きな魅力になる^[16]。それにより、日本中どこの病院でも比較的安価で安定した通信環境の下、ロボットを直接ネットワークにつなぐことが可能になるからである^[16]。さらにロボットを使うことで、執刀医のあらゆる動きをデジタル化してデータベースとして蓄積することもできるようになる^[16]。卓越した医師の『匠の技』をたくさん集めてすべてデータ化すれば、『匠』とはどういうものかを解析して、熟練した指導医が指導するようにロボットが指導できるようになる。その先には、ロボットが自分で手術をできるようになる可能性もある^[16]。2021年、弘前大学医学部附属病院で遠隔手術の実証実験が行われた^[16]。

医者が切開することなしに患者の解剖学的構造を把握できる技術もあり、患者や医師の教育、手術の可視化やシミュレーションなど、医療現場の実習などに使われるケースもある^[4][14][17]。解剖モデルを3Dで見ることができるARアプリや、注射の際に患者の肌をスキャンして血管の位置を特定し、針を刺すのを容易にしてくれるデバイス、ヘッドセットで患者の脊椎上に脊椎に関する情報をオーバーレイ表示する外科用の技術などが開発されている^[14]。

発達障害の子どもたちのソーシャルスキルトレーニングにスマートグラスを用いる研究が進められている^[18]

軍事

IHADSSから暗視画像が表示される

米国空軍では、1980年代から攻撃ヘリコプターAH-64 アパッチには操縦士用の暗視装置であるAN/AAQ-11パイロット暗視センサー（PNVS）が搭載されていた。1990年代後半からはJHMCSという戦闘機用のHMDが開発され、2003年11月より本格生産が開始された。

米国海軍は、ARを射撃の支援に利用する実証試験を実施したことがある^[19]。2016年12月に陸上で、2017年6月にイージス巡洋艦の艦上で、それぞれ実証試験を実施した^[19]。対象は艦上に設置した機関砲を扱う銃手で、銃手のヘルメットに取り付けたヘッドセットに目標指示や交戦に関する情報を表示してやることで、情報共有が改善されることが期待されている^[19]。

米国陸軍は、2008年から現場で行動する兵士の装備にAR技術を取り入れる研究を行なっている。開発中のシステムは『戦術拡張現実（Tactical Augmented Reality : T.A.R.）』と呼ばれ、兵士がARディスプレイを装着することによって様々な情報をビジュアルで把握できるようになるというもの^[20]。2018年、Microsoftと共同でARヘッドセット「HoloLens 2」をベースにした米陸軍用ヘッドセット「IVAS（Integrated Visual Augmentation System）」の試作品を開発する2年契約を結ぶと、2021年には同社に「IVAS」12万台を発注した^[21]

活用事例の主流は「訓練」や「研究開発」であり、武器の運用環境が過酷な実戦用の技術はまだほとんど例がない^[22]。