肌の色にはヘモグロビン、メラニン、そして照明の色が現れている。肌解析を通じてヘモグロビンだけを限定して抽出できる技術を2003年に開発したのが、千葉大学 大学院工学研究科 津村 徳道准教授である。その技術をさらに応用して、バイタル情報（心拍数など）やストレスチェック（自律神経のバランス）、さらには商品の好みなどマーケティングに活用。特に最近は「認知バイアスなどの無意識の状態」を可視化して、その応用にも取り組み始めている。今回は津村准教授に、いかにヘモグロビンを抽出する技術を、さまざまな研究に応用してきたのか。その仕組みや、今注力されている「認知バイアスなどの無意識の状態の可視化」に関する研究についてもお話を伺った。

物理学をモデル化したアプローチにオリジナリティがある

Q:津村先生は、元々肌感のご研究をされていたということですが、具体的にはどのような研究だったのでしょうか？

当時は、顔などの肌の色に表れるヘモグロビンを解析できる独自の技術を開発していました。肌は「ヘモグロビン」と「メラニン」、そして陰影といわれる「照明の変化による陰影」の３つの成分からできています。

一方、色を表現するRGB（Red、Green、Blue）も３つの要素から構成されています。これら３対３の変換により、RGBカメラからヘモグロビンだけの色を取り出す方法を発見したのが、2003年にコンピュータグラフィックス関連の学会で発表した研究でした。

例えば、化粧品では色をLab（色空間）で表します。Lが明度、aとbが色度（赤味と黄味）で、ここの赤見はヘモグロビンの色だけでなく、メラニンの色も混在しています。当時、このような状況だったので、ヘモグロビンの色だけを測りたいという需要が非常に高かったわけです。

私が開発した技術を活用すれば、新たな計測機器を使わずに、ヘモグロビン、メラニンと陰影に、それぞれを分離させた成分画像をつくることができます。光によって肌において散乱・反射する仕組みをモデル化して、それをRGBカメラの画素値からヘモグロビンなどの色素成分の値へ戻す「逆行列」を適用します。実際、ヘモグロビンだけが分かるようになると、血行がよくなる化粧品を開発における評価に利用することができます。

そして次に取り組んだのは、バイタル情報の解析です。心臓の拍動に応じて、顔のヘモグロビンは変化しているので、動画で顔のヘモグロビンの変化を測定できれば、心拍数も分かるのではないかと考え、変化を解析できるシステムを開発しました。現在はバイタル（心拍）などの健康情報を読み取ることまでできるようになりました。

Q:現在は、いくつかの研究テーマに分かれているようですね。それぞれのテーマと研究概要について教えてください。

4〜5つのグループ（テーマ）に分かれます。これは、毎年学生が複数名入っているので、それぞれ違うテーマを研究してもらいたいという意味を込めて、このグループを編成しています。

1つ目は「肌」グループです。このグループでは、おもに化粧品会社と共同で研究開発しています。血流が変わった時にシミの見え方がどう変わるのかを光の散乱をシミュレーションしてプログラミングしたり、顔が年齢とともにどう変化していくのかを予測したりしています。

2つ目は「質感」グループです。肌解析の次に私がチャレンジしたテーマです。ＣＭＹＫ（カラー）のインクジェットプリンターは、1990年代から多くの人が活用するようになりました。それによって、インクジェットプリンターは光沢感やざらざら感といった、「質感」をどう表現するのかということに注力するようになり、これをどのようにマネジメントしていくかが、各画像メーカーの課題になってきました。今は、2Dだけではなく3Dプリンターでの質感も研究しており、3Dプリンター企業と連携して、インクの光沢感や透明感の表現を模索しています。ただし、今後はこの「質感」がデジタルにも浸透し、数年前から話題になっている仮想空間（メタバース）も大きな研究テーマになってきています。

これまで質感は現実空間だけでしたが、これからはゲームやメタバース空間などCGの世界においても求められるようになってくるでしょう。そこに先んじて着手していきたいと考えています。

3つ目は「情動」グループです。これは、まさに人の感情を測定する研究です。さきほどお話したように、ヘモグロビンの測定を画像（静止画）から動画に変更したことで、心拍数が測れるようになりました。

ヘモグロビン量の解析では、心電図のピークの解析と同等の結果を取ることができます。ピークとピークの間が、例えば、心拍数60だとします。これは、1分間に60回心臓が収縮していることになります。しかし、これには個人の状態によって異なり、人によって揺らぎます。

心拍数には、呼吸や血圧からの信号が影響されるので、体の状態によっては、この揺らぎ方が変わってきます。自律神経で言えば、副交感神経が活発な時は、リラックスしており、速く揺らぎます。反対に、交感神経が活性化すると、緊張している証なので、この揺らぎが半分ぐらいになります。

私たちの研究チームでは、ヘモグロビンの量で、このピークを測ることができます。このピークの間隔をフーリエ変換で周波数を解析すると、この揺らぎの周波数が分かります。それを可視化することで、自律神経のバランスを診断できるのです。例えば、その数値（HF／HFの値）が1以上だと少しストレスがかかっている状態であり、1以下だとリラックスしていることになります。

これに加えて、私たちの研究チームでは「怒っている」などの感情も計測できます。照れたり怒ったりすると顔が赤くなりますよね。それは、ヘモグロビンの量が増えているわけです。そういう顔の表情をヘモグロビンの変化や量から計測していきます。これは、ラッセルの感情円環モデルという「覚醒・非覚醒」と「快・不快」の2つの軸からデータを取得し、精度高く計測することが可能です。こうした感情を測定するのが「情動」グループです。

4つ目は「医工学」グループです。このグループでは、画像処理と計測を始めとした工学分野の医学応用を行っています。現役の医師の方々と密にコンタクトをとって、より実践に役立つ専門性の高いツールなどを研究しています。

代表的な研究が、2020年に発表したスマートフォンの顔の動画像から高精度で脈波波形を取得し、患者さんのさまざまなバイタル情報を算出する技術開発です。漢方の先生方の遠隔診療に活用され、社会実装されました。

当時は、新型コロナウイルス感染症の拡大により、各地で非常事態宣言が発令され、外出禁止が余儀なくされました。その影響で、医療機関で患者さんが診てもらえない状況が続きました。そうなると、対面で診療をしていた漢方医や肌の色の観察が重要な皮膚科医は非常に困ったわけです。

特に、漢方の場合は、「望診」といって、医師が目で患者さんの皮膚や顔色、舌、皮膚のつやなどの状態を見て、診断します。患者さんと非接触な状態でも、対面と変わらない診察（遠隔診療）ができるように、広島大学の小川教授や企業の担当者の方々と知恵を絞り、４つのフェーズに分けて、無償でサービスを提供することにしました。その中で、最後のフェーズにリリースしたのが、スマートフォンを活用して、患者さんのバイタル情報を検出する非接触バイタルセンシング技術を応用したアプリでした。

とにかくスピードが求められたので、多くの企業と共同で研究を行い、企画の立案から社会実装まで約半年で行いました。実際、この取り組みに関しては、テレビのニュースでも取り上げていただき、さまざまなところで反響を得ることができました。

現在、この非接触バイタルセンシング技術は、共同研究を行った企業を通じて、スポーツやストレスチェックなどさまざまなシーンで活用され始めています。その中でも、特に大きなプロジェクトへと発展したのが、治験領域における治験者のバイタル測定です。従来は、薬剤を飲むことは自宅でできるのに，1回1回病院に通ってバイタルを測ったり、紙でアンケートをとったりしていました。それが、私たちが研究開発したこの技術を使えば、iPadなどのタブレットで、自宅にいながらにして事前にバイタクチェックやアンケートの記入を行えば、ボタン1つで病院に届けられるので、治験者にとってもわざわざ病院に行く手間が省け、作業の簡便化にもつながりました。この治験プロジェクトは、国立研究開発法人　日本医療研究開発機構の支援を受け、導入するエリア（地域）が増えつつあります。

実は、この4つの他にも、最近取り組み始めたグループがあります。それは、「情動グループ」から派生して立ち上げた「本能」グループです。要は、人間の本能（特に認知バイアス）を測ることを目的とした研究です。私は、合気道五段の有段者なのですが、合気道というのは、相手の本能（力）を利用して制する武術。本能から出てくる動作をモーションキャプチャーで計測して、将来的には、人がよりよく生きることができるための本能（特に認知バイアス）の正体を知りたいと考えています。

研究チームでは、はじめに分かりやすいプロジェクトからスタートしようということで、特認助教の先生の提案により、スポーツにおける本能（特に認知バイアス）を理解するため、ゴルフをテーマにした研究に取り組んでいます。高いパフォーマンスを上げるための身体的動作を可視化して、どうすれば自分が狙っている場所にボールを飛ばすスイングができるのか、その際の本能（特に認知バイアス）と身体的動作との関係性を解明しようとしています。

Q:これらの研究における独自性とはどのようなところにあるのでしょうか？

私は、大阪大学応用物理学科を卒業していて、考え方の基本にあるのは「物理学（Physics）」です。情報系はデータドリブンといわれて、データからスタートする研究が大半ですが、私の場合は、そのデータがどのようにして作られているのかまでさかのぼってリサーチして考察し、アプローチを行います。それが、私の研究における「独自性」になります。

最初にお話した「肌色の研究」においては、光の散乱を考慮してRGBカメラと、ヘモグロビンとメラニンとの関係性を考え、どのようにしてRGBができているのかを検討するところから始めました。これも「物理学」に基づいた情報解析の手法の一つです。情報系の分野では、私のように物理学をモデル化して、アプローチしている研究者はそれほど多くないと思います。

現在、千葉大学の私の研究室の学生に対して、私はオプティクス（光学）を教えていますが、一般的に情報系の授業では、オプティクス（光学）は教えません。そういった視点を持っていることが、ユニーク性を生み出していると思います。

千葉大学では、2024年4月に、情報・データサイエンス学部が新設されます。現在の私の所属は、情報工学コースで工学部の配下にあるのですが、4月から新設学部に異動します。その学部ではデータサイエンスのあり方などを考えることになりそうです。そこでも、物理学の観点が生きてくると思います。

Q:今進行中の研究は、何かありますか？

「情動計測」は、マーケティングにも応用することができます。例えば、企業が開発した商品の好みなどを調査する場合、その商品を購入した消費者がどういう点に興味・関心を持ったのかアンケート調査を行うのが一般的です。

しかし、それを頼まれた消費者は、それを書いている時点でストレスになってしまいます。私たちの技術を使えば、アンケートを取る手間をかけずに、消費者の心（情動）を測ることができるので、好みや購買プロセスなども把握できます。この方法を、マーケティング用語では「ニューロマーケティング」と呼んでいます。

実際は、指に装置を付けて測ることも可能ですが、指だとノイズが出てしまいます。私たち研究室が行っている顔の表情や顔色変化からの心拍数など、顔のトラッキングなら照明の変化も取り除けるので、ノイズを発生させることなく行えます。今はまだ実験の初期段階なので、今後はもう少し精度を高めていく必要があります。

大手広告代理店と共同研究した際には、TVCMに関してどの部分が視聴者に刺さっているのか、心に届いているのかを調査しました。テレビの場所にカメラを置いて、CMを見ている視線と同時に広告メッセージに対して視聴者がどのような感情を抱いているのかを、交感神経や副交感神経を計測して、可視化しました。

ただ「ゾーンに入っている」といわれるような状態だと、心をリラックスさせながらも、目の前のことに集中できるので、その時は当然、交感神経が抑えられて、副交感神経が機能しています。いろいろな心身の状態によって、表れる数値も違ってくるので、心（情動）を可視化するのは非常に難しく、そこが今課題になっています。

「本能（特に認知バイアス）などの無意識の状態」を可視化できれば、その副作用によるストレスを軽減できる

Q:研究の技術的、産業的、倫理的な観点で課題があれば教えてください。

技術的課題としては、ノイズとの戦いです。私たちの情報系の研究分野では、「8bit」という言葉があって、1画像を0から255（256階調）で表現します。しかし、ヘモグロビンの変化というのは、256階調の大きなレンジの中で「0.2」ほどしかありません。つまり、ヘモグロビンを計測する際には、目に見えない細かな数字を検出しなければならないため、顔を動かしたりすると、大きなノイズが発生します。そのために、私たちは顔の動きのトラッキングを調整したりして、ノイズを抑えるためのさまざまな工夫を施しています。

顔が動いた時に、それをキャッチして、すぐに追いかけなければいけないのですが、この追いかける作業も、ズレが発生しノイズになります。それを「トラッキングノイズ」といいます。そのノイズをできる限り除去するために「スタビライザー」という、手ブレを抑えて、滑らかな動画が撮れる機能が標準装備されています。このように、動いてもノイズにならない撮影技術を、企業との共同研究で調整して、安定化を図っています。

顔のヘモグロビンの変化から読み取る非接触のバイタルセンシング技術以外にも、指や耳などの毛細血管から計測する代用技術がさまざまあります。産業的課題としては、どのシーンに、どの技術が最適なのかは、まだ整理されていないところです。そうした環境下で、私はこの研究を十数年やってきているので、100社ほどの企業からの相談実績があり、私自身がポータルサイト化しつつあります。

今は、「予算はどのくらいで、何に応用するのか」「どのくらいの精度を求めるのか」など条件を聞いた上で、私の経験値で、適切な技術をアドバイスしています。

ただ、それは経験値でしかなく、技術の変化によって、適切なアドバイスができにくくなってきています。できれば、この情報を定量分析して、データをもとに、最適なバイタルセンシングを提案できる仕組みをつくりたいと考えています。そうすることで、産業的に、これらの技術がもっと広がり、多くのシーンで活かせる可能性があります。さまざまな企業が加盟するコンソーシアムをつくって、互いの研究の共有や意見交換を行いながら、整備していく方法もその一つだと思います。

最後の倫理的な課題は、今後プライバシーの保護をどのように行うのかという点です。例えば、ニューロマーケティングのように感情を測定したり、バイタル情報の測定では顔画像を撮影したりするため、被験者や協力者の許諾範囲やデータ計測後の顔画像処理などが問題になってきます。

私たちの研究チームでは、データ計測後の顔画像は完全に消去しています。個人情報保護などの問題に関しては、情報系の研究者だけでは解決が難しいので、千葉大学という総合大学のメリットを活かして、法律系や社会系に関わる専門家にも入っていただいて、個人情報の保護対策を検討したいと考えています。

Q:今後、企業とはどのように関わっていきたいとお考えですか？

現在、年間5社程の大手企業と、共同研究を行っています。今後は、さらに企業の連携を図っていきたいと考えています。

千葉大学の学生のほとんどは、修士修了後に企業に就職します。私たちも研究がメインなので、企業に対して、どういう人材を求めているのか、詳しく聞かないですし、企業からも私たちの教育に対して口出しされることはありません。

ただ、学生たちの気質は年々変わってきている（コミュニケーション力が低下している）この状況では、企業も大学も、研究だけでなく教育や人材育成についても、もっと深く関わっていくべきだと思っています。先生方もハラスメントを忌諱するばかりに、昔ほど学生の背中を押さなくなっているように思います。具体的な施策があるわけではないですが、まずは企業と大学がお互い意見交換からでいいので、お互いの領域に対して、一歩踏み込んで関わっていくべきではないかと、強く感じています。

Q:今後の展望について教えてください。

まず『医工学』グループで取り組んでいるバイタルセンシング技術は、今後まだまだいろいろなシーンで活用できる可能性があるので、その技術は引き続き進化させていきたいと考えています。さらにバーチャル空間『メタバース』での質感表現も、これからの分野ですので、『質感』グループと『情動』グループが連携して取り組んでいく予定です。

あともう１つ個人的に取り組んでいきたいのは、ウェルビーング（Well-being）、より良く生きるための「認知バイアスなど無意識の状態」の可視化と応用です。潜在意識にある認知バイアスなどを可視化して、それを理解してフィードバックするストーリーを世界で考えているのは、多分私だけだと思っています。だからこそ、野心的にチャレンジしていきたいですね。認知バイアスの副作用によって、私たちは相当なストレスを感じていると思うので、それを可視化して認識するだけでも、そのストレスからは解放される環境をつくれます。

私たちにとって、未知なものに対するストレスは想像以上に負荷になっています。しかし、それを理解するのは、簡単ではありません。私自身合気道を長年やっていて、本能（反射が多い）を常に使っているので、感覚的には分かるのですが、それをどのように可視化して理解を促していくか。これは今まで取り組んできたように、地道な研究や活動を積み上げてやるしかないと思っています。（了）