2. 集団の注目位置推定提案手法では複数の人物が同一の対象を注視している状況置を推定する手法を検討するこの状況下では図 1 のよう. 顔画像からそれぞれの注目位置を推定するただし f は 1 枚この仮説に基づいて複数の人物を同時に撮影した低解像度顔

Size: px

Start display at page:

Download "2. 集団の注目位置推定提案手法では複数の人物が同一の対象を注視している状況置を推定する手法を検討するこの状況下では図 1 のよう. 顔画像からそれぞれの注目位置を推定するただし f は 1 枚この仮説に基づいて複数の人物を同時に撮影した低解像度顔"

Jean Lucas
5 years ago
Views:

1 一般社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 IEICE Technical Report PRMU17-98(17-1) TECHNICAL REPORT OF IEICE NTT Study on Gaze Target Localization from Low-Resolution Faces of Group of People Yui KODAMA, Yasutomo KAWANISHI, Taatsugu HIRAYAMA, Daisue DEGUCHI, Abstract Ichiro IDE, Hiroshi MURASE, Hidehisa NAGANO, and Kunio KASHINO Graduate School of Informatics, Nagoya University Furo-cho, Chiusa-u, Nagoya-shi, Aichi, Japan Information Strategy Office, Nagoya University Furo-cho, Chiusa-u, Nagoya-shi, Aichi, Japan NTT Communication Science Laboratories, NTT Corporation 3-1, Morinosato Waamiya, Atsugi-shi, Kanagawa, 243âĂŞ198 Japan It is important to estimate what attracts many people. However, when we observe many people simultaneously, gaze estimation for each person independently is very challenging because of low-resolution. To avoid this problem, we introduce a gaze target localization method of a group of people, which integrates every gaze estimation results under the assumption that all of them are looing at the same object. We analyze the effects of several integration methods on the estimation accuracy, and also analyze the effects of changing the number of people to integrate on the estimation accuracy. Key words Gaze target localization, deep learning, low-resolution images, crowd understanding This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere. Copyright 17 by IEICE

有する集団を対象とした応用も期待されるこのような集団を対象とした応用例えば観衆のように複数の人物が同時に注 1 目している対象の把握を考えた場合不特定多数の人物の視線情報を同時に観測する必要があるその際にコストや利用者の負担の少なさなどを考慮すると人物が写った画像からその人物の視線情報を非接触で取得する手法が有用である [1], [2] 2 1

各人物の顔画像の解像度は低くなってしまう一般に低解像度の人物画像の視線方向を安定 n して推定することは難しいためこのような状況では 1 人の人物を対象とした従来手法では精度良く視線情報を取得することが困難である.

は適用できないなどの問題が存在する一方 Sugano らはパブリックディスプレイに表示された映像に対するアテンションマップの作成において 1 台の固定カメラで撮影された複数の人物の視線情報を統合するアプローチをとっている [6] このアプローチは注目対象の位置推定にも応用可能であると考えられる図 2 提案手法の処理手順本研究では顏や目画像の詳細な情報が得られないような遠

2 有する集団を対象とした応用も期待されるこのような集団を対象とした応用例えば観衆のように複数の人物が同時に注 1 目している対象の把握を考えた場合不特定多数の人物の視線情報を同時に観測する必要があるその際にコストや利用者の負担の少なさなどを考慮すると人物が写った画像からその人物の視線情報を非接触で取得する手法が有用である [1], [2] 2 1 人の人物の高解像度顔画像に対する視線推定手法はこれまでに多数提案されている [1], [3] しかし不特定多数の人物を撮影する場合には各人物を高解像度で観測できるように複数のカメラを適切に設置することが困難であるためこの方法は現実的ではないそこで 1 台の固定カメラを用いて複数の人物を同時に撮影する状況を想定するこのとき 1 台で広範囲を撮影する必要があるため各人物の顔画像の解像度は低くなってしまう一般に低解像度の人物画像の視線方向を安定 n して推定することは難しいためこのような状況では 1 人の人物を対象とした従来手法では精度良く視線情報を取得することが困難である. 図1 上述の問題に対して複数の人物の視線情報を用いて集団に提案手法の概念図属する複数の人物が同時に注目している対象の位置を推定する手法も研究されている [4], [5] しかし Par らの手法 [4] では頭部カメラを用いているために不特定多数の人物には適用できないまた小嶋らの手法 [5] では推定する視線方向を水平方向に限定しているため上下方向の推定が必要となる場面では適用できないなどの問題が存在する一方 Sugano らはパブリックディスプレイに表示された映像に対するアテンションマップの作成において 1 台の固定カメラで撮影された複数の人物の視線情報を統合するアプローチをとっている [6] このアプローチは注目対象の位置推定にも応用可能であると考えられる図 2 提案手法の処理手順本研究では顏や目画像の詳細な情報が得られないような遠方からの画像でも多数の人物の情報を統合することでこれら集団の注目領域を精度よく推定することを目指すそして題の検討も行うまず本報告では, 複数の人物が同一の対象を注視している状況 2. 集団の注目位置推定を想定しこの集団を 1 台の固定カメラで撮影した画像中から 3 次元空間上で集団が注目している対象の位置集団の注目位提案手法では複数の人物が同一の対象を注視している状況置を推定する手法を検討するこの状況下では図 1 のようを撮影した画像 I を入力とし 1 人の顔画像に対する注目位置に個々の人物に関する視線推定結果が必ずしも正確でなくとも識別器 f (di ; θ) 弱注目位置識別器と呼ぶを用いて各人物の集団全体の視線情報が高精度に推定可能であると考えられる顔画像からそれぞれの注目位置を推定するただし f は 1 枚この仮説に基づいて複数の人物を同時に撮影した低解像度顔の顔画像 di を入力としパラメータ θ をもとに各注目位置ご画像群から得られる注目対象の位置の推定結果を統合することとの注視尤度 pi = f (di ; θ) = (pi1, pi2,..., pin )T を出力する関で集団の注目位置を高精度に推定する手法を提案する本報数であるここで N は識別対象とする注目位置の数を表す告では統合を行う人数の増減による精度の変動の分析も行う得られた各顔画像に対する推定結果を統合することで集団の注注目位置の推定は空間的に離散的な位置を求めるもの [7], [8] 目位置 R を出力する本手法は学習段階と注目位置推定段階回帰分析などにより空間的に連続的な位置を求めるもの [4], [5] の 2 段階からなる図 2 に提案手法の処理手順を示すがあるただし空間的に離散的な位置を求める問題は離散 2. 1 学習段階的な位置の取り方を細かくすると連続的な位置を求める問題に事前に学習用画像 Itrain = {I1, I2,...} を用意し検出された近似できる本研究では学習データの収集が比較的容易な前各人物の顔画像 di に対する弱注目位置識別器 f (di ; θ) の最適者の問題を主に扱うそして注目位置を既知とし予め定めなパラメータ θ を学習するまず複数の人物が同一の対象をた N 箇所の注目位置のうち注視している位置を識別する問注視している状況を撮影した学習用画像 Itrain 中から各人物の題として定式化するまた空間的に連続的な位置を求める問顔を検出する顔の検出は特徴量として HOG 特徴 [9] を利 - - 2

3 1 Input CNN Conv. 1 Kernel 3 3, Channel 6, Maxpool 3 3 Conv. 2 Kernel 3 3, Channel 16, Maxpool 3 3 Conv. 3, 4 Kernel 3 3, Channel 24 Conv. 5 Kernel 3 3, Channel 16, Maxpool 3 3 F.C. 6, 7 F.C. 8 Unit 256 Unit 9 1 W H {x i } Q i=1 Q i r i = (,,..., 1,..., ) T T = {(x i, r i )} r i i 1 T Convolutional Neural Networ CNN Softmax L(θ) = r i log p i (1) i L(θ) ˆθ = arg min L(θ) (2) θ 1 AlexNet [1] AlexNet Pooling E W H x i f(d i ; ˆθ) p i = (p i1, p i2,..., p in ) T R E HOG [9] 1 Dlib C++ Library W H f(d i; ˆθ) {x i} M i=1 p i = (p i1, p i2,..., p in ) T = f(x i ; ˆθ) (3) x i i = 1, 2,..., M p i = (p i1, p i2,..., p in ) T i = 1, 2,..., M ˆR x i i = 1, 2,..., M p i = (p i1, p i2,..., p in ) T ṕ = median p i (4) i=1,...,m M ṕ = (ṕ 1, ṕ 2,..., ṕ N ) T ṕ ṕ R med = arg max ṕ ṕ p i = (p i1, p i2,..., p in ) T ṕ = 1 M M p i (5) i=1 ṕ ṕ R ave = arg max ṕ p i = (p i1, p i2,..., p in ) V i = arg max p i (6) V i (7) R = M X(V i = ) (7) i=1 X V i = 1 R maj = arg max R - 1-3

3. 3. 1 12 1 3 2 2 2 3 cm 6 cm 1 cm 3 2 6 4 cm 9 1 4 7 cm 93

4 cm 6 cm 1 cm cm cm 93 cm 12 cm 8 cm cm POINT GREY FL3-U3-13E4C-C 1,28 1,24 fps 8 bit 35 mm 31 mm ,256 16, CNN % %

5 図6 近距離環境における実験結果図 8 近距離環境における実験結果回帰図7 遠距離環境における実験結果図 9 遠距離環境における実験結果回帰な位置を求める注目位置推定において統合を行う人数の増加入力とし次式により集団の注目対象の XY 座標の推定結果に伴う注目位置の推定精度向上の可能性に関する検討を行う Rmed_regression を算出する 4. 1 推定器の作成 Rmed_regression = r = (x, y ) 本検討では検出された各人物の顔画像 di に対して回帰 x = median x i によって空間的に連続的な位置であるスクリーン上の XY 座 (9) i=1,...,m T 標 r i = (xi, yi ) を推定する推定器 f (di ; θ) を作成し推定結 y = median y i i=1,...,m 果を統合する手法を考える. 回帰手法としては深層学習による回帰を用いる具体的には表 1 に示した提案手法のネットここで M は検出された顔の総数である得られた集団の注目ワーク構造の出力層である FC8 層の Unit 数を 2 チャネルに変対象の XY 座標の推定結果 Rmed_regression を最終的な出力結果更し最終層の Softmax 関数を取り除くまた学習の際の損とする失関数を式 8 に示した交差エントロピーによって定義される座標の平均損失関数から平均二乗誤差によって定義される損失関数座標の中央値で求めた r の代わりに座標の平均 L(θ) = n 1 (r i r i )2 n (8) Rave_regression = r = i M 1 ri M (1) i=1 に変更するを用いる得られた集団の注目対象の XY 座標の推定結果このようにして作成した推定器を用いることで各人物の顔 Rave_regression を最終的な出力結果とする画像からその人物が注視している位置 r i = (x i, y i )T を推定できると考えられる 4. 3 結果および考察 4. 2 統合手法 3. 2 節と同様の実験方法で実験を行った評価指標は真値と作成した推定器による各顔画像に対する推定結果を統合する推定結果との Euclidean 距離 D = r R を用いることで集団の注目位置 R を推定する具体的な統合手法とし図 8 および図 9 に統合する人数の増加にともなう真値とのて座標の中央値による統合と座標の平均値による統合 Euclidean 距離の変化を示すその結果いずれの統合手法でを考えるも統合を行う人数の増加に伴い真値との Euclidean 距離が短座標の中央値くなる傾向を確認した遠距離環境において統合を行わない検出された顔それぞれに対して求めたその顔画像の人物が T 注視している対象の XY 座標の推定結果 r i = (x i, y i ) を場合の真値との Euclidean 距離は cm であったが提案手法により 36 人の推定結果を統合することで cm まで短 - 3-5

6 (a) (b) (a) (b) [1] 3 vol.6 no.3 pp Sept. 6 [2] D vol.9-d no.8 pp Aug. 7 [3] K. Krafa, A. Khosla, P. Kellnhofer, H. Kannan, S. Bhandarar, W. Matusi, and A. Torralba, Eye tracing for everyone, Proc. 16 IEEE Conf. on Computer Vision and Pattern Recognition, pp , June 16. [4] H.S. Par and J. Shi, Social saliency prediction, Proc. 15 IEEE Conf. on Computer Vision and Pattern Recognition, pp , June 15. [5] M.-H. Yang 15-CVIM Oct. 15 [6] Y. Sugano, X. Zhang, and A. Bulling, Aggregaze: Collective estimation of audience attention on public displays, Proc. 29th ACM Symposium on User Interface Software and Technology, pp , June 16. [7] L. Fridman, P. Langhans, J. Lee, and B. Reimer, Driver gaze region estimation without use of eye movement, IEEE Intelligent Systems, vol.31, no.3, pp.49 56, May 16. [8] R. Yonetani, H. Kawashima, T. Hirayama, and T. Matsuyama, Gaze probing: Event-based estimation of objects being focused on, Proc. th Int. Conf. on Pattern Recognition, pp.11 14, Aug. 1. [9] N. Dalal and B. Triggs, Histograms of oriented gradients for human detection, Proc. 5 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, vol.1, pp , June 5. [1] A. Krizhevsy, I. Sutsever, and G.E. Hinton, ImageNet classification with deep convolutional neural networs, Advances in Neural Information Processing Systems 25, pp , Dec

携帯電話の吸収率 (SAR) について / Specific Absorption Rate (SAR) of Mobile Phones

携帯電話の吸収率 (SAR) について / Specific Absorption Rate (SAR) of Mobile Phones 携帯電話の吸収率 (SAR) について / Specific Absorption Rate (SAR) of Mobile Phones 1. Z-01K の SAR / About SAR of Z-01K ( 本語 ) この機種 Z-01K の携帯電話機は国が定めた電波の体吸収に関する技術基準および電波防護の国際ガイドラインに適合していますこの携帯電話機は国が定めた電波の体吸収に関する技術基準