映像編集ソフトウェアやシミュレーションソフトウェアにおいて、時系列データを概観したい場合、一次元データであれば折れ線グラフや棒グラフで表現できますが、対象データが空間方向に広がっている場合には困難が生じます。映像閲覧ソフトウェアにおけるサムネイル表示では、大きな表示領域を占める、あるいは間引いて表示すると時間軸上での連続性が損なわれるという問題があります。この解決を目指した手法として、対象映像中にスキャンラインを定め、各フレーム毎にスキャンした線分画像を時系列に並べて表示するVideo slicing法がありますが、この手法では空間連続性が損なわれるという課題がありました。
そこで本研究では、Video slicing法を拡張し、スキャンラインを指定された範囲内で時間経過に従って移動させることにより、時空間連続性を部分的に保持することを狙ったTimeSpaceSliceと呼ぶ手法を開発しました。提案手法をいくつかの映像に適用して実験したところ、観測対象の空間情報をある程度保ちつつ、時系列変化を可能な限り短い時間間隔で提示することができました。
TimeSpaceSlice法
上図はTimeSpaceSlice法による表示例です。左図が対象映像で、白い矩形がスキャンラインの移動範囲を示しています。右図は生成されたタイムライン表示です。
TimeSpaceSlice法では、まず対象映像中に領域を定め、その範囲内でスキャンラインを移動させます。具体的には、縦が矩形領域の高さで、横が1ピクセル幅のスキャンラインを、指定された範囲内で左右に往復移動させます。各フレームで1ピクセルずつスキャンラインを移動させつつ、ライン上の画素を左から右へと時系列で並べることで、時空間連続性を部分的に保持したタイムライン表示を生成します。
図の例では蝋燭の燃焼映像を使用しており、映像開始後しばらくは無風で炎に動きがなかったため、タイムライン上では炎の形を保って表示されています。その後風が吹いて炎が動き出すと、タイムライン上の炎の形が乱れて表示され、動きの有無を可視化できています。また、スキャンライン上の炎の高さから、風の強さとその時系列変化も推測することができます。
適用例
上図は中華料理の調理風景をTimeSpaceSlice表示したものです。右側のタイムラインは左下から右上に向かって時間が進行します。提案手法が有効な例として、定点カメラからの映像が挙げられます。この中華料理の調理風景では、調味料を振り入れたり洗浄のために鍋が静止する様子がタイムラインで明瞭に確認でき、その時の鍋の様子もおおまかに把握することができます。
上図は同じ映像をvideo slicing表示したものです。空間連続性を欠くため、何が写っているかの把握が困難です。このvideo slicing表示と比較すると、鍋の静止時の表示において提案手法の方が空間連続性を保持しており、映像内容の理解が容易であることがわかります。
本手法のこの特徴を応用したものに、視線移動データの可視化手法である「GazeTiling」があります。
謝辞
本研究で例として用いた中華料理の調理映像は、著作者の了解のもとに下記のものを使用しました。
『【営業中】中華一筋厨房営業中を俯瞰で覗く動画』 https://youtu.be/7cWrCBRnAa4?si=MXzCFOKqYTU9cp_Q
映像の使用をご快諾下さった中華一筋の皆様に感謝いたします。