深度で誘導する動画生成
デプスパスを制御入力として動画モデルに渡すと、素材のレイアウト、カメラワーク、タイミングを踏襲しながら、まったく別の見た目を生成できます。深度が運ぶのは幾何構造だけで、元素材の顔・色・テクスチャは持ち込まれません。
動画向けの AI 深度推定
動画をアップロードすると、フレームごとのデプスマップが返ります。明るいほどカメラに近く、暗いほど遠くです。動き、カメラワーク、構図、タイミングはすべて残り、色とテクスチャは残りません。それこそが狙いです。実写素材の構造だけを動画モデルや合成ソフト、3D ツールに渡し、見た目は持ち込まずに済みます。
動画 1 秒あたり 8 クレジット
1 本あたり 100 MB まで
生成されたデプス動画は、あとから開き直せるセッションに表示されます。そのままダウンロードすることも、別のツールに引き継ぐこともできます。
使い方
MP4、MOV、WebM を 100 MB までドロップします。解像度とフレームレートは元の動画に従うため、取り込み時にリサイズや再サンプリングは行いません。
モデルは各フレームを単独で見るのではなくクリップ全体を読み取り、各ピクセルのカメラからの距離を書き出します。前後のフレームを参照するため、動いていない壁は同じ深度を保ち、フレームごとにずれることがありません。
デプス動画はあとから開き直せるセッションに表示されます。ダウンロードする、次のクリップを処理する、あるいは動画モデルの制御入力としてワークフローエディタに持ち込む、いずれも可能です。
変換前と変換後
主な用途
デプスパスを制御入力として動画モデルに渡すと、素材のレイアウト、カメラワーク、タイミングを踏襲しながら、まったく別の見た目を生成できます。深度が運ぶのは幾何構造だけで、元素材の顔・色・テクスチャは持ち込まれません。
デプスパスは After Effects、Nuke、Fusion、Resolve での被写界深度、大気遠近、フォグ、再ライティングを駆動します。本来なら手作業でロトスコープするマットに相当し、しかもカット内の動きに合わせて自動的に更新されます。
デプスマップで平面をディスプレイスすれば、平坦な映像に本物の視差が生まれます。2.5D のカメラ移動、空間ビデオへの変換、ウィグルステレオなど。これらの効果が等しく必要とするのが深度という一つのチャンネルであり、それはカメラが記録してくれないものです。
深度は硬い切り抜きではなく連続値なので、しきい値を好きな位置に置けます。前景の被写体だけを取り出す、背景だけを差し替える、中景だけを個別にグレーディングする——いずれも色に頼らずに行えます。
推定の仕組み
画像用の深度モデルをクリップにフレームごとに当てると、深度が沸き立ちます。各フレームが独立に推定を行い、その推定同士がわずかに食い違うため、平らな面が這うように動き、輪郭がざわつきます。動画用の深度モデルは前後のフレームをまとめて読むので、動いていない面は同じ値を保ち、編集で使えるパスになります。
出力は相対的です。ショット内で何が手前で何が奥かは分かりますが、実寸での距離は分からず、スケールはクリップごとに取り直されます。ControlNet、ディスプレイスメント、被写界深度が求めているのはまさにこれです。計測用途には向きませんし、単一カメラのモデルに実寸を求めることはできません。
グレースケールは共通の受け渡し形式です。デプスマップを読み込むツールはどれも輝度を見るため、既定値もこれにしています。turbo、inferno、magma、viridis の 4 種は同じ値を色相方向に広げるもので、画面上で深度の前後関係を判断するにははるかに読みやすい一方、後段で使う前にグレースケールへ戻す必要があります。
どのプランにもクレジットが含まれ、このページでも YouArt の他の機能でも使えます。新規アカウントには無料のトライアルクレジットが付きます。
趣味で楽しむ方や新しい表現を探求したい方に
クリエイターやプロユーザーに
ヘビーユーザーやチームに
チームやスタジオに
よくある質問
その他のツール
どれも、すでに手元にあるファイルに対して1つの仕事だけをします。プロンプトを書く必要も、エディタを覚える必要もありません。
1 本のパスにとどまらず
このページが実行するのは固定の 1 ステップだけです。ワークフローエディタを開けば、デプスパスを動画モデルの制御入力に直接つなぐことも、同じグラフでクリップをまとめて処理することも、アップスケールの後段につなぐこともできます。