お仕事でLightformを触る機会があったので、検証ついでに色々遊んでみました(ブログ執筆許可もらい済)。
Lightform | The design tool for projected AR - Lightform
DSC_2968
Lightformはプロジェクションマッピングをさくっとやるためのガジェット&ソフトで、
投映先のDepthとColorのデータをカメラで取得し、それらふたつのデータからいいかんじにマッピングしてくれるという物です。
Lightformの一番の強みは、複雑な形状の物体に対してもあっという間に投映範囲が選択できるところです。
DepthとColorからフォトショの自動選択ツールみたいな感じでざくーっと投映範囲を決めてくれます。

今回はLightformを使って、GUで買った普通のワンピースに対してプロジェクションマッピングしてみました。
ふわっとした生地でドレープがあるワンピースです。普通にマッピングするとなかなか手間がかかりそうですね。
DSC_2966

Lightformをプロジェクターと接続し、付属ソフト「Lightform Creater」から対象をスキャンします。
接続しているプロジェクターから水玉模様や縞模様を投映してデータを取っているようです。ZOZOSUITSを投映しているような感じですね。
ちなみにわかりやすいように暗い中で撮影していますが、実際のスキャンは明るいところで行った方が上手くいきやすいです。



スキャンが終わるとLightform Createrにスキャンした内容が表示されます。


DepthとColorのデータ両方からいい感じに範囲選択していきます。
最終的にこうなりました。頂点数がエグい。


これにLightform Createrにデフォルトで入っているキラキラ宇宙な映像を投映すると……めちゃエモい!!!!!!!!!!!!!!!



ワンピースのドレープの谷の部分がちゃんと非投映箇所=黒い影になっていて、服の形状や立体感が表現できていると思います。
服の形でざっくり範囲選択するのではなく、DepthとColorから壁との境界/服のドレープなどを把握し、投映範囲を決めたからこそ実現できた表現です。

Lightform Createrには動画以外にも色や変化の度合いを調整できるエフェクトもデフォルトで搭載されています。
こんな感じのものとか。今回は色を赤に、オブジェクトの変化の度合いをぐにゃぐにゃに設定してあります。
はぁ〜〜〜エモい〜〜〜………



せっかくなのでp5.jsで作ったスケッチを動画にして当て込んでみました。
スケッチを動画にしてみたらちょっとカクカクになっちゃったんですが…それでもエモい!!!!!
Rows - OpenProcessing



こんな感じでさくっとプロジェクションマッピングが遊べる楽しいガジェットLightformなんですが、
FAQページ に "Lightform does not support real time tracking" とあるように、動くものに自動で追従しながら投映する機能はありません。
また、マッピングしたい時は必ず最初のスキャンを行う必要があり、それがだいたい2分少々かかります。
つまり、「常に動くものは投映対象にできない」「必ずスキャン画面が投映される(=舞台裏を見せたくない演出の場合は不向き)」という欠点はあります。
上記の洋服へのプロジェクションマッピングでいえば、一瞬でも風が吹いてドレープがずれてしまえばそれまで、ということです。
ただ、どんな形状のものも2分程度待てばさくっとプロジェクションマッピングできるというのはかなり面白い&心強いものではあります。
また、範囲選択のデータはLightform Createrに保存できるので、絶対に定位置から動かないものであればスキャン画面なしにプロジェクションマッピングすることも可能です。
もちろん、複数の領域選択とそれぞれ違うコンテンツの流し込みにも対応しているので、静止した物体に対するプロジェクションマッピングで「これやりたい!」と思うことはだいたいできるのではないか、と思います。
あと、まだ試せてはいないのですが、KinectやRealSense、LeapMotionと連携できるという特徴もあります。
Use Microsoft Kinect to send OSC Messages – Lightform Guide
この辺が入力機器として使えるなら、工夫次第で面白いインタラクションが作れそうです!