インタフェースの発達が、複合現実感をもたらす〜檜山 敦・東京大学先端科学技術研究センター講師

情報世界と現実世界を掛け合わせた複合現実感が、より身近なものとなってきた。特に高齢者の活躍を支援するジェロンテクノロジーを含め、誰もが先端技術を使えるようなヒューマンインタフェースの設計が活発化しつつある。その中心で画期的な研究開発を行なうのが、東京大学先端技術研究センターの講師を務める檜山先生だ。情報世界へと拡張する社会はどんな方向へ進んでゆくのか。高齢者支援やスポーツの分野でも存在感を大きくする情報研究の「今」を伺った。

高齢者が活躍できる世界を、情報・VR技術を使って実現する

Q:「複合現実感」とは、どのようなものなのでしょうか。

複合現実感とは、実世界とバーチャルリアリティの作り出す情報世界の二つを融合させた概念のことです。その中には実世界の割合が大きいものからバーチャル世界の領域が大きいものまであり、二つの領域の比率によって名称が異なるのです。完全なリアルがまずありますよね。そこに少しずつ情報世界が混ざり込んでいるものを拡張現実感、オーグメンテッド・リアリティと呼びます。これは現実世界の比率の方が多く、現在まさにブームになりつつあるVRゲームなどが例です。

バーチャル世界の比率が多くなって、バーチャル空間に現実世界の映像や画像を取り込んでいくような概念をオーグメンテッド・バーチャリティと呼びます。さらに実世界の要素が全くなくなると、完全なバーチャル空間になるのです。そのようなリアルとバーチャルのグラデーションの流れをミクスト・リアリティ、複合現実感と呼んでいます。

Q:その全ての段階において研究をされているのですか。

そうですね。全てをカバーする研究をしていますが、どちらかというと、実世界の方に関心があります。そのため、実世界に近い、オーグメンテッド・リアリティが私の研究のスタートであるといえます。

Q:ヒューマンインタフェースとはどのようなものを指すのでしょうか。

ヒューマンインタフェースは、人とその周囲の環境をつなぐ境界面をどのようにデザインするかを考える分野です。対象は情報機器に限らず、実世界あるいはバーチャル世界など、人の外側にあるものが含まれます。例えば高齢者の場合だと、身体機能や認知機能が衰えていきますよね。そんな状況の中で、現実世界となんとかインタラクションしていかなければなりません。そこで不便さを解消するために機械との境界であるマシンインタフェースや、拡張現実感のような研究領域が登場してきました。

Q:高齢者をサポートするジェロンテクノロジーとは、そうしたヒューマンインタフェースの一部なのですか。

はい、そうです。ジェロンテクノロジーで一番多いのは、福祉工学的な研究です。高齢者を対象とした移動支援であるパーソナルモビリティの研究や、立ち上がるための補助、パワーアシストなどをするスーツの研究もジェロンテクノロジーに含まれます。機能を補い、サポートするような研究が多いです。

そのような中にあって、私は特に元気な高齢者にとっての社会との接点、つまりICTで社会とのインタフェースを作っていく点に主眼を置いています。ジェロンテクノロジーの中でもかなり新しい領域ですね。今までの高齢者向けの技術の開発は、介護などの、弱者としての高齢者を支援する技術が中心になってきました。しかし、ここ数十年のうちに、日本人の寿命はかなり伸びました。それによって、仕事を定年退職した後に、元気な状態で過ごす期間を獲得したわけです。そうした時代背景の中でこの分野の研究の必要性を感じてきました。

今後、元気な時期を含めた長い期間において、若い人が高齢者を支えていく仕組みのまま国の経営を続けると若い世代への負担が非常に重くなってしまいます。そして高齢者は、定年退職するとすぐに社会から切り離されることになります。すると定年退職時点では健康であっても、自分の生きがいや存在意義を感じられなくなり、元気だった高齢者があっという間に元気でなくなってしまうこともありますから。

だから元気な高齢者が活躍できる環境を、情報技術やVR技術を使って作っていくことで、若い世代と高齢者とがお互いに支え合うような世の中にしていきたいと考えています。これは日本特有の課題でもあります。まだ世界の他の国は日本ほど高齢化していませんから、日本における研究が最先端になりますよ。

老後の人生にも生きがいを得るための3つのモザイク型就労

Q:元気な高齢者の方々は具体的にどのようなサポートやインタフェースを必要としているのでしょうか。

社会とつながるための一番分かりやすい方法は、就労することです。ただ、若い頃と同じように通勤電車に揺られて会社に行き、毎日フルタイムで働くようなやり方はしたくないと考える人が大半です。そのため一人の高齢者ではなく複数人が、お互いの空いている時間や持っている能力を補い合いながら、働きたいときに働きたいだけ働くスタイルを作ることを目指しています。

Q:江戸時代には五人組といった相互扶助の仕組みがありましたが、それと似たようなものなのでしょうか。

似ているところはあります。モザイク型就労と呼んでいますが、その中には3種類のモザイクがあります。一つは時間モザイク、いわゆるタイムシェアリングをする働き方です。そのためにWebアプリの「GBER(ジーバー)」を開発しています。「GBER(ジーバー)」は、「地域の元気高齢者を集める」という意味の英語、”Gathering Brisk Elderly Region”の頭文字を取っています。最近話題のUBER（ウーバー）という車の配車サービスを思い浮かべるとイメージしやすいので文字って名付けました。UBERはアプリで呼べば車が来てくれるサービスです。それに対してGBERは、困ったときや人手が欲しいときにアプリで求人募集をすると時間帯やスキルなどの条件にマッチしたおじいちゃん、おばあちゃんが来てくれるサービスなのですよ。

Q:地域型のクラウドソーシングのようなサービスですね。GBERはすでに実践段階にあるのでしょうか。

2016年の4月に柏市でサービスの運用を開始し実証評価を始めました。これまでに、就労を希望している柏市の高齢者の方々に対してGBERの使い方などを説明する講習会を何度が行いました。一生懸命教えて、地域のシニア就労の一環として活用してもらえるように取り組んでいます。来年度から柏市の生涯現役促進地域連携事業における共通のツールとしてGBERを活用することに向けた議論をしています。

Q:柏市で展開しているのは理由があるのでしょうか。

東大の柏キャンパスには高齢社会研究機構という組織がありまして、高齢社会問題の専門的な研究が行なわれています。高齢者就労に関しては、「生きがい就労」のテーマのもと、社会学的なアプローチで地域の高齢者と仕事とをつなぐ試みがなされています。我々のモザイク型就労に似た形で、それこそ五人組のような形で農家のお手伝いや植木の剪定などを扱っていました。ただ、この取り組みではスケジュール調整などの連絡を電話でされていて、利用人数の増加や高齢者に多い体調不良による欠席があった場合の調整に大変手間がかかっていたことが問題でした。そこでICTの活用が求められており、解決する研究をしていく中でGBERが生まれたという経緯です。

具体的には、高齢者ユーザはブラウザでGBERにアクセスして、画面に表示されるカレンダーの日付をタッチして就労を希望する時間帯を入力します。そして地域の求人側からは、「家事の手伝いをしてほしい」「庭の掃除をしてほしい」などの求人案件を入力すると、自動的にスケジュールマッチングがなされます。そうして候補者となる人のリストが出てくるので、適当な人を選ぶと、その人に就労の依頼が送られます。あとはその人が承諾すれば就労する、という流れです。これが時間モザイクです。

2016年4月からサービスを始めて、2017年1月現在100名ほどの働きたいと思っているシニアの方々に登録してもらっています。それに対して地域から100件を超える求人が集まりました。一件あたり複数人が求められているので、のべ1400人くらいの方がGBERを通して就労などの地域活動に参加しています。

Q:モザイクの2つ目は何ですか？

2つ目のモザイクは、空間モザイクです。バーチャルリアリティのインタフェースとロボットとをインターネットで接続することで遠隔からの就労を可能にする技術です。空間モザイクにより、対面と遜色ない形で高齢者が自宅や旅先などからの場所を選ばない就労の実現を目指しています。

最近では、遠隔操作ロボットがとても安く購入できるようになりました。移動型のロボット、卓上型のロボット、それからドローンなど、種類も様々です。主に欧米のベンチャー企業のものですが、最近では中国からの製品化が著しいですね。遠隔操作ロボットが身近に入ってきたことで、身体性を伴った遠隔コミュニケーションが容易にできるようになってきました。

従来はテレビ会話システムのような技術を使い、画面の中で遠隔コミュニケーションをとっていましたよね。しかしその方法では、言葉以外のノンバーバルな情報が伝えられない、自由に遠隔空間を体験できない、という問題がありました。そのため、相手が自分に注目しているのかどうかが分からず、話をしづらい欠点がありました。

そこにテレビ会議に替えて遠隔コミュニケーション環境にロボットを入れると、ロボットを操作することで相手側の状況を把握しやすくなります。反対に、ロボットの動きから操作している人の意図を読み取ることができるので、コミュニケーションを開始しやすくなります。

しかし、遠隔授業で一番重要なことは講義をすることで、ロボットを一生懸命操作することは本質的ではありません。ロボットの操作に手を取られると実演もできないし、話そのものもしにくくなります。その問題を解決するためには、ロボット操作を意識させない遠隔操作技術が必要になってきます。

IBMの東京基礎研究所と共同で、宮城県仙台市と兵庫県西宮市を結んだ遠隔操作ロボットを用いた遠隔講義の研究を行いました。その中で使用した、遠隔講義をする講師用の卓上型ロボットがあります。このロボットの良いところは「覗き窓メタファー」と呼ばれる操作方法を持つところです。

窓は斜めから覗き込んで覗き込んだ方向の風景を見ることができます。普段何気なくとってしまう「窓を覗き込む」動作をそのままロボットの動きとして取り入れたのが「覗き窓メタファー」です。窓に見立てたディスプレイに取り付けられたカメラによって講師の顔の動きをトラッキングします。講師が顔を向けている方向に応じて遠隔地のロボットが顔を向けます。ロボットの顔にはカメラが取り付けられているので、講師が見ようと思った方向の映像が講師の前の窓に見立てたディスプレイに表示されます。この仕組みを使うと、講師は無意識のうちにロボットを操作できてしまうところがポイントです。見たい方向を覗き込むと、ロボットがその方向に向くため、ロボットの前の受講生に対して、お互いが「見ようとしている」「見られている」という意思の疎通も図れます。

遠隔操作ロボット、離れた場所にいる人たちのテレワーク的な働き方を拡張できます。一般にテレワークはパソコンでできる業務に限られることが多いですが、遠隔操作ロボットを使えば、よりコミュニケーション要素が高い仕事領域にも浸透していくようになるでしょう。

Q:最後に、3つ目のモザイクは何ですか。

3つ目のモザイクはスキルモザイクであり、これは人材のもっているスキルを見いだすための研究です。株式会社サーキュレーションという、高いスキルをもち役員経験もあるようなシニアの紹介事業を行なっているベンチャー企業と共同で研究を行なっています。

人材ビジネスの企業は、抱えている人材の職務経歴書のデータを大量にもっています。そこにクライアント企業から経営相談が届き、マッチングを行ないます。現状、それはコンサルタントの頭の中で、経験と勘に基づいて「この案件にはこの人が良いのではないか」と判断して、紹介を行います。しかし登録人数が増加すればするほど、把握できなくなっていきます。そこで、ITを活用して、「人材スカウター」という人材検索エンジンを開発に組んでいます。人材スカウターでは、コンサルタントが企業からの相談内容の文章を入力して検索します。その文章と登録されているシニアの職務経歴書の文章との間で分析がなされ、検索結果として関連する用語が含まれているシニアが候補者として順番表示されます。いわば人材のGoogle検索のようなものです。

Q:高齢者の方の就職活動は、ハイテクですね。

ただ、計算機は「どのキーワードが重要か」「どのキーワード同士が類似しているか」といった概念はあらかじめ持っていないので、それを教えていく必要があります。そのために、機械が抽出したキーワードの中からあまり重要ではないものは消していく、逆に重要なものには重みをつける、抽出されていない重要なキーワードがあれば足していくという操作を加えます。

さらに、単語だけを見ているとどんな人物を求めているか分からないけれど、人材コンサルタントが文章全体を見ると「この相談案件は、これまでにどんな業種でどんな業務をどのポジションで経験した人材を求めているか」が頭に浮かぶ場合があります。業種、業務、役職のような概念で人材データを分類できればより精度の高い検索につながります。

Q:機械と人間のノウハウが合わさって精度が上がるのですね。

こうした操作を加えることで、マッチングコンサルタントがもっている暗黙知がデータとしてシステムに入力できると考えています。つまり、案件に対して入力した情報そのものが暗黙知を表現していると仮説を立てています。

実際、操作を加えずテキスト分析を行った結果から候補者を選ぶ場合と、操作した後で候補者を選んだ場合とを比べると、後者の方がより多くの候補者を発掘することができています。この操作によって入力した情報の中には人材コンサルタントの暗黙知が含まれていると考えられます。操作情報を貯めていくことで、より精度の高い検索エンジンができあがるでしょう。操作データを何千、何万件と入力し続けていくと、今度は機械の方が新人コンサルタントに対して推薦やアドバイスをくれるかもしれません。コンサルタントの教育、研修に活用する未来もありえます。

バーチャル空間で人間の身体能力を自在に拡張する

Q:2016年9月から東京大学先端科学技術研究センターの身体情報学分野に携わっていらっしゃいますが、どのような研究をされていますか。

システムとしての身体の理解に基づき、人間の能力を拡張する研究を行なっています。透明人間になれる光学迷彩マントや超人スポーツで有名な稲見先生の研究室に2016年9月から参加しています。身体情報学とは、身体性の理解のために心理物理的な計測と数理的な分析を行ない、人間の身体機能そのものを拡張することを目指しています。VRやテレイグジスタンスの技術を活用することで、人間のもともとの身体形状にこだわらず、新しい身体を手に入れることも考えられます。

例えばバーチャルリアリティ空間での運動は映画「マトリックス」のように人間のもともとの身体能力にこだわる必要はありません。空を飛ぶための羽があってもいいでしょう。そのために人間の神経系、筋肉の運動系の動作から意図を推定して新しいバーチャルな身体を操縦する方法が考えられます。例えば、飛ぼうと思ったときの何らかの動きを学習させます。そしてその動作が入力されたときは「飛ぼうとしているんだ」とシステムが判断して、バーチャル空間の中で空を飛べるようにするのです。

こうした研究は、まずはバーチャル空間で行ないますが、実世界ではロボットの身体を遠隔操作することで実現することができます。これをテレイグジスタンスと言います。遠隔操作するロボットは人型の等身大ロボットでもいいですし、ドローンみたいな飛行できる人間離れした形状のロボットを使ってもいいでしょう。いわゆる自分とは異なる身体をどのように操作するか、身体の限界をどのように越えるか、そのような身体を拡張する技術の研究を行っていきます。

Q:この研究はこれまでの研究とどのように関連しているのでしょうか。

ジェロンテクノロジーとも深く関係のある研究だと考えています。ロボットやAIを含めた計算機の力と、人間の力を融合させる技術なので、加齢に伴う身体の衰えを踏まえて、身体機能をいかに維持・拡張するかを考える一つの手段になりますね。例えば、自分の認知機能が衰えたときにAIと連携させることで、「この人だれだったっけ」と忘れても、かけているメガネなどを通して過去の記録の中から認識して名前を教えてくれる未来は可能でしょう。そうなればコミュニケーションがずっと円滑に進むでしょう。

Q:研究内容が多岐にわたりますが、研究の核はどこに置いていますか。

人間の持つ身体機能や認知機能のメカニズムを明らかにし、個性に対応してその機能を拡張するインタフェースを開発ところに研究の核を置いています。実験を通じて人間を理解していくことに驚きや面白さを感じます。インタフェースのアイディアを思いつくときが研究の中でも面白い瞬間です。
最終的に、GBERのように実際の社会の中で使ってもらえて、喜んでもらえることは特に嬉しいです。研究だけで終わらずに、社会との接点までしっかりと考えていくことを大事にしています。

達人から高齢者まで、誰もがスポーツを楽しめる技術を目指して

Q:生身の人間と地続きですから、社会的意義の高い分野ですよね。

はい。身体情報学研究の中でも社会に直接的に関わっている研究の一つに、バーチャルリアリティを使った虚弱予防トレーニングの研究があります。正しく美しいフォームで運動するために、自分の姿勢とインストラクターの姿勢をリアルタイムで比較して視覚的に伝えるシステムを開発しています。このシステムを使うとジムに通う時間がない人も、自宅で好きな時間にトレーニングができるようになります。

また、達人が運動している様子を視覚、聴覚そして力覚など様々な側面から計測して、まるで達人の頭の中に入ったかのようなVR体験ができる技術を開発しています。従来の技能伝承ではセンサーをつけて技能を分析し、可視化することで「ここが達人技の特徴だ」と言語化する形が主流でした。しかしそのやり方では、技能の特徴を頭で理解することはできても、実際に同じ動き方をしようとしてもできないことが多々あります。それに対して、このVR体験では逆に達人技を言語化しません。頭ではなく身体で感じるさせることによって、なぜだかできるようになるという効果が得られます。

Q:プロスポーツ選手の動きを若手選手に体験させると効果がありそうですね。

そうですね。達人の動きを追体験することで、学べることが非常にたくさんあるのではないでしょうか。実際に自分で体験することで「プロってこういう場面でこう動いていたのか」と驚きとともに学んでいくのだと思います。

Q:達人能力の伝達が現在の研究の最先端なのですね。

そうです。現在、東大の中に新しく「スポーツ先端科学研究拠点」が立ち上がりました。2020年の東京オリンピックに向けて選手の強化に、東大のもつ様々なテクノロジーを活用しようとしています。私が所属している先端研もその一員なので、稲見先生らと一緒にVRなどの知識を活用してスポーツやトレーニングの拡張技術の開発に取り組んでいこうと動き出しています。

Q:2020年の東京五輪がますます楽しみになりますね。

この拠点での研究はプロスポーツ選手のためだけのものではありません。オリンピックは国民全体のためのスポーツの祭典なので、国民一人一人がもっとスポーツを楽しめるような方向に広げていきたいと考えています。そのために、例えばお年寄りでも遠隔参加できるようにするなど多様な視点からスポーツを捉えていきたいです。

インタフェースや複合現実感を掘り下げた学生時代

Q:人間の機能を理解するための研究は学生時代から続けてこられたのでしょうか。

はい。学部の卒業論文では身体機能を拡張するような研究をしました。手を使わずにロボットを操作する技術を既にご紹介しましたが、それに近い研究でした。2000年ころは「ウェアラブルコンピュータ」といった言葉そのものが新しく、ウェアラブルコンピュータの研究が世界で広がりはじめた時代でした。そのころに、「ウェアラブルなのだから、常にonの状態で、日常の行動をとりながらでも世界とインタラクションができるような技術を、いかに自然な状態で形にしようか」と考えていたのです。その答えとして、卒業論文では、手を使わない状態でwebページなどを閲覧できるような仕組みをもつインタフェースを研究開発しました。

どう実現するかというと、顔の筋肉の動きをセンシングするのですね。表情筋の動かし方でページをスクロールしたりクリックしたりできるようにしました。そのためにセンサーを顎と額につけ、上下に動かすとスクロール、目を見開くとクリック、強くまばたきをすると前のページに戻る、というように操作できるシステムを作りました。当時世の中に出始めたiモードのwebページならば、そのくらいの機能で閲覧することができました。

Q:修士、博士課程ではどのような研究を？

修士では拡張現実感の研究を行いました。ゴーグル型のディスプレイを使ったARの研究です。GPSの利用できない屋内空間においてRFIDを用いた測位システムを構築しました。その位置情報に合わせて、ゴーグル型ディスプレイに現実世界の景色と重なるようにCGコンテンツを提示するものです。AR環境下での人の歩き方を分析すると、ゴーグル型ディスプレイの視野角、そして提示するCGの大きさとの関係により規定されていることが分かります。その歩き方に合わせて人をAR環境下でナビゲートする技術を研究していました。

博士課程の研究は、今振り返ると最近流行った「ポケモンGO」の走りだったのではと思います。現在、IoTと言われていますが、当時はユビキタスコンピューティングと呼ばれる技術を使って、2004年に国立科学博物館で「ユビキタス・ゲーミング」という鑑賞者の位置に応じた展示解説を行うシステムを運用しました。展示空間そのものをロールプレイングゲームのフィールドに見立てて、展示物をポケモンGOでいうところのポケストップのような位置づけにしていました。モバイル端末を持って館内を歩くと、赤外線により自分が歩いている場所が検出されます。アニメの「デジタルモンスター」のキャラクターが位置に応じて展示物を解説したり、ときどきクイズを出したりしながらガイドしてくれるようになっています。クイズに正解するとポイントが溜まっていき、デジモンが進化するというものです。80日間運用して、2万人の来館者に体験してもらいました。このときに一番嬉しかったのが、あるお母さんが私のところにきて「うちの子にも体験させたいのですが」と声をかけてくれたことでした。他の子が楽しそうに使っているのを見て、関心をもってもらえたのでしょう。研究を社会に出していくことのやりがいを強く感じました。

Q:研究環境をずっと東京大学に置かれているのは理由があるのでしょうか。

特に理由はありませんが、ちょうど、博士号を取得したときに東京大学の情報理工学系研究科で少子高齢社会をサポートするロボット技術の研究が始まったときに私に声がかかったことでジェロンテクノロジーの研究と出会いました。それから東京大学では高齢社会総合研究機構の設立や高齢社会に関する大学院教育プログラム（GLAFS）の開設が行われるなど、この分野において充実した環境が整えられています。
就労支援技術で将来日本の人口ピラミッドを覆す

Q:現在の目標は何でしょうか。

まずはICTの導入により高齢者就労を加速し根付かせることを目指しています。研究開発を通じて、全国に広げられる高齢者就労のモデルづくりを行なっていきたいです。

Q:「GBER」のような高齢者就労を支援するサービスがより全国に浸透すると、どのような変化があるでしょうか。

現在の高齢者就労では、高いスキルをもった高齢者を企業の顧問として紹介する事業はビジネスとして成立しはじめています。一方、誰でもできるような仕事への就労支援は、まだビジネスベースではないものの、多数存在しています。今後はその中間のスキルが要求される仕事対して、GBERや人材スカウターのようなシステムを導入し、多くの高齢者が活躍できる環境を構築していきたいです。中間のスキルを扱った人材紹介を拡充していくことで、今まで人数は多いのにシニア就労に組み込まれていなかった層に攻め込み、シニア就労全体を活性化できるでしょう。それが実現できれば、少数の若い人が多くの高齢者を支えることになると不安視されている逆ピラミッド型の人口構成を、ICTの力でバーチャルに再逆転して、逆に数の多い高齢者が少ない若者をサポートするような社会を構築できるかもしれません。

Q:講師として学生との接点も多いかと思いますが、今後の学生に期待することは何でしょうか。

これからの時代の新しい学生は、新しい世の中の流れを肌で感じることが多いと思います。既に高い社会的な意識をもっていたり、大企業志向ではなかったり、ユニークな学生がまだ数は少ないですが、それでも以前と比べれば増えてきているように感じています。そういう学生がもっと増えていって欲しいなと思っています。

Q:そうした学生さんが活躍できるような社会づくりが、学生を迎え入れる側の役目なのですね。

そうですね。大学は学生にリアルな現場に触れながら研究ができる環境を提供して新しい才能を育て、企業は有能な人材が活躍できる環境をつくることで、日本も変わっていけるのではないかと思います。でないと、優秀な人材ほど海外に出ていってしまうでしょう。

Q:今後一番力を入れていきたい研究内容を教えてください。

ジェロンテクノロジーの研究には今後も力を入れていきます。その一方で、先端研の中には、法律の専門家や社会学の専門家が所属しており、また同じ工学においても様々なフィールドの先生もいらっしゃいます。ようするに、総合大学の縮小版のような環境が、一つの部局である先端研の中にあるのです。そんな新しい環境に入ってきたので、自分の周りの環境を意識して活用していきたいですね。技術開発の視点だけではなく、社会実装など様々な視点が必要だと考えています。

例えば新しい技術を社会実装するためには色々なルールを考える必要があります。新しい技術に対してどういう批判が起きる可能性があり、それに対してどのように対応していかなければならないか。先端研は、そうした議論がやりやすい環境だといえます。
また、高齢者就労支援の研究成果を、障害者など多様な人材が活躍できる環境作りに発展させていきたいです。「働き方改革」が叫ばれる中、多様な働き方、社会との多様な関わり方を許容する世の中を実現するための、人と社会とのインタフェースをつくる研究をしていきたいと考えています。< -了->