Key Points

Pre-processing Data / データの事前処理

アーカイブされた所作の再構成と、通りを行き交う人々のリアルタイムなトラッキング。これらをデジタル空間上で交差させるアプローチによって、本作の視覚表現の成立を目指しました。

アーカイブされた3Dデータは、フレームごとに頂点構造が入れ替わるメッシュの集合体ですが、ここから身体が描く連続した動きの軌跡として表現可能にするための事前処理を施しています。
この工程では、Houdiniを用いて元の動きを一貫性のあるメッシュ構造へと適合させ、時間の経過に対して一貫した構造を持つデータへの再構築を行いました。
このプロセスを経ることで、生データのままでは取得が困難な「身体の各部位が持つ速度や方向」を、動きの連続的なパラメータとして抽出することが可能となりました。

また、これらの膨大なアーカイブデータは、TouchDesignerに実装されたPOPs（Point Operators）での制御を採用しました。
GPU上で大量のポイントを効率的に扱うこの機能を導入することで、シンプルな実装と高いパフォーマンスを維持しながら、抽出された繊細な挙動の表現を実現しています。

インタラクティブなカメラの動き

サイネージ前を行き交う人々の姿は、スマートフォンのカメラからNDI経由で伝送され、リアルタイムなBody Tracking処理によって抽象的なモーションデータへと置き換えるシステムを構築しました。
このリアルタイムな動きを、アーカイブデータから生成されるパラメータに基づき動的に変容させることで、赤坂育子氏の所作の流れに引き込まれるような変化を目指しました。

通行人から抽出された動きが、アーカイブデータのリズムに沿ってその軌跡を書き換えられていく動的なプロセスを、リアルタイムなシミュレーションとして実装しました。

赤坂駅から続く通路という性質上、通行人が多いタイミングと少ないタイミングが繰り返されます。
通行人が多いときはズームアウトし、リアルタイムに取得した人々の動きと赤坂育子氏の所作が画面上で交差する様を映し出すよう設計しました。
一方で、通行人が少ないときには、赤坂育子氏のモーションデータへとズームインすることで、洗練された所作そのものにフォーカスしています。

このように人流の増減に応じて作品空間上のカメラワークを変化させることで、赤坂という街のリズムを作品のリズムとして表現することを試みました。