Ubicomp 2004 Adjunct Proceedings, Nottingham, England, pp. 7-10 (2004)
https://www.researchgate.net/publication/228966279_Interactive_Storytelling_with_Captured_Video
ライフログ的にビデオを撮り続けたものを物がたり的(Storytelling)できるように整理し再利用・共有することで追体験を可能にするシステム。実装には3DゲームエンジンとタンジブルUIを用いた。
わずか２ページの概要論文のためと、なぜかすごく日本語にしにくい英語だったため、わかりにくい説明になっています。ごめんなさい。僕もよく分かってません。
デジタルメディアの物がたりを人間の語り部の役割の観点から分類すると、人間の語り部が主体となり観客に物語を伝える形か、観客が自由に物語を探索する形の２つの形態がある。本稿ではその間を取り、ビデオのビルボード断片に基づいた構造とアクションを定義した、仮想三次元空間でアクティベート可能な組織化を行い、同時に、もし語り部がいる場合にはタンジブルUIを用いてリアルタイムにビデオビルボードを活性化・操作でき、VJよりも意味の通った物語パフォーマンスができる。
データは特別なセンサー室で取得する前提で、ビデオカメラとマイクを頭に取り付け、First Personビデオと音声、それに視点追跡を行う。部屋側にも定点カメラがあり、第三者視点から音声やビデオと、それ以外のインタラクション情報を取得する。首かけカメラに限っては宅外でのデータ取得を続ける。
ストーリーデザイナーは生のビデオデータから妥当な物語素材を選び出す。この選別は物体中心であり、物語の断片がActivate可能かどうかという観点からなされる。ストーリーデザイナーは、全体の物語に関する重要情報を含んでいる部分を抜き出し、この中にいくつかの「アクション」を割り当てておく。このアクションとは、物体の有意な視覚的要素である物体の動画ヒストリーにおけるひとつのセグメントを表現している。
次にストーリーデザイナーは、そういったビデオ要素をまとめて「セット」を作る。セットとは演劇におけるステージセットと同様なものである。これらは活性化したオブジェクトの集まりであり、これらをアクティベートしながら語り部は物語を紡ぐのである。セットは一時的に「シーケンス」をなし、意図する物語の流れを作り出す。セットとその一時的なシーケンスが物語のエピソードを形成する。これが明示化された、ストーリーベースのエピソード記憶表現である。
語り部は、ストーリーを語るさいに、我々のシステムを物語の視覚的な面を表現しているインタラクティブなパフォーマンスツールとして使うことになる。ストーリー上にあるセットをマウスで選びながら話を進める。セット内の要素は3Dゲームエンジンのビデオビルボードとして表示される。これらはARで実物体上にマッピングされる。語り部はジェスチャーによってビデオ要素を移動したりアクティベートしたりできる。ビデオにはナレーションも付け加えられるので、語り部がいなくても観客が物語空間を探索できる。
