AI Smart Mask 2.0

*VEGAS Pro 21 アップデート 3 以降の新着情報*

この機能は AI を使用してビデオ内のオブジェクトを識別し、それらを正確にマスクします。最大 8 つの個別のマスクを作成し、それらにトラッキングを適用すると、ビデオ内のオブジェクトが動いていてもマスクがそれに追従します。これは、グリーンスクリーンの前で撮影しなくても背景を置き換えるのに役立ち、他にも多くの潜在的な使用例があります。

1 検出

マスクしたい 1 つまたは複数の個別のオブジェクトを含むビデオをタイムラインに追加します。

この機能を試しているときは、後で実行する必要がある AI の計算には、高速なコンピューターであってもかなりの時間がかかる可能性があるため、ビデオの非常に短いセクションを使用することをお勧めします。長いビデオを使用している場合は、タイムラインのクリップイベントを 10 秒程度にトリミングして、このツールの学習に必要な時間を制限します。
[ビデオ FX] タブをクリックし、プラグインのリストから AI Smart Mask 2.0 を選択します。
[デフォルト] プリセットを、マスクするビデオを保持するタイムラインクリップイベントにドラッグします。
イベントの先頭をクリックして、その位置にカーソルを置きます。
ドロップダウンリストから [精度] を選択します。

最高の品質を得るには、[精度] の設定を [高] のままにしておきますが、処理を高速化する場合は [低] を選択できます。
[現在のフレームを分析] ボタンをクリックして、フレーム内のマスキング可能なオブジェクトを特定します。

クリックしたフレームをプラグインで分析したい場合は、[現在のフレームを自動分析] チェックボックスを選択してください。ただし、アクティブなフレームを切り替えるたびに新しい分析を待つ必要があるため、速度が低下する可能性があることに留意してください。

2 マスクの生成と調整

プラグインウィンドウの [マスク] ドロップダウンリストを使用して、使用可能な 8 つのマスクのうちどれを使用するかを選択します。
[ビデオプレビュー] ウィンドウで、マスクするビデオ内のオブジェクトをクリックします。

マスクに含まれるマテリアルは水色のアウトラインで覆われ、マスクされたオブジェクトは緑色の境界ボックスで囲まれます。

[ビデオプレビュー] ウィンドウのツールバーを使用して、マスクを作成および調整します。

境界ボックスを移動するには、任意のエッジからドラッグします。

ドラッグして、ターゲットオブジェクトをより適切にカバーしたり、別のオブジェクトを完全にターゲットにしたりできます。
マスクを調整するには、境界ボックスの任意のコーナーポイントをドラッグします。

ボックスを大きくしたり小さくしたりすることで、マスクされる内容が正確に影響を受けます。
他の寸法に影響を与えずにボックスを垂直方向または水平方向にサイズ変更するには、[Shift] キーを押しながらボックスのいずれかの辺をドラッグします。

最適なマスクを実現するために、サイズと位置を調整し続けます。
マテリアルを含める

場合によっては、マスクしたいオブジェクトの一部が、境界ボックス内にあってもマスクに含まれないことがあります。
1. [ポイントの追加または再配置] ボタンをクリックします。
2. 次に、マスクに追加するオブジェクトをクリックします。これにより、マスクの作成に使用する詳細情報がプラグインに提供されます。
3. 結果をさらに改善する必要がある場合は、ポイントをドラッグします。ポイントを追加してさらに調整することもできます。
マテリアルを除外する

マスクにマスクしたくないオブジェクトが含まれている場合:
1. [マイナス ポイントの追加と再配置] ボタンをクリックします。
2. 次に、マスクから削除するオブジェクトをクリックします。
3. 最適な結果を得るために、これらのマイナスポイントを新しい位置にドラッグし、必要に応じてさらにマイナスポイントを追加できます。
プラグインウィンドウの上部に戻り、[マスキング結果を表示] チェックボックスを選択します。これで、ビデオ上でマスク効果を確認できるようになりました。このチェックボックスのオンとオフを切り替えながら、結果を検討します。

TIP マスク

FIGURE [マスキング結果を表示] チェックボックスをアクティベート

FIGURE 多くの場合、目的の結果を得るために調整する必要はまったくありません。オブジェクトをマスクに含めるには、必ずしも境界ボックス内に完全に収まる必要はありません。同様に、オブジェクトの一部が境界ボックスの外に出ても、依然として含まれる場合があります。一般に、特にオブジェクトが速くまたは不規則に移動している場合は、マスキングをターゲットオブジェクトのみに制限しながら、境界ボックスをできるだけ大きくすることが最善です。ボックスを大きくすると、オブジェクトがすべての動きを通じてボックス内に留まる可能性が高くなります。

マルチオブジェクトマスキング

技術的には、境界ボックスの外側にポイントを追加して別のオブジェクトをマスクに追加できますが、これでは最良の結果が得られない可能性があります。通常、個別のマスクを使用して個別のオブジェクトをマスクする方が効果的で、作業も少なくなります。

フレーム内にマスクしたいオブジェクトが複数ある場合:

プラグインウィンドウで [マスク] ドロップダウンリストをクリックし、リストから別のマスクを選択します。

上記の手順をすべて繰り返して、新しいマスクを作成します。
ポイントを削除する

[ポイントを削除] ボタンをクリックします。

削除したいポイントをクリックします。
マスクを削除する

プラグインウィンドウの [マスク] ドロップダウンリストからマスクを選択します。

[現在のマスクをクリア] ボタンをクリックします。

3 マスクをアニメーション化する

希望のマスクが確定したら、ビデオ内のオブジェクトの動きに合わせてマスクをアニメーション化させます。AI Smart Mask のモーショントラッキングツールを使用してこれを自動的に実行することも、トラッキングを手動で作成することもできます。

自動トラッキング

自動ツールを使用してアニメーション化するための最初のステップでは、オブジェクトの動きを追跡する必要があります。
[方向] ドロップダウンリストを追跡する方向に設定します。

前に説明したように、イベントの最初のフレームを使用してマスクを作成したと仮定すると、この設定は [前方へ] のままにしておきます。
[モーショントラッキング] ボタンをクリックします。

これにより、ビデオ内のすべてのフレームが分析され、それに応じてマスクが調整されます。分析はバックグラウンドで行われるため気づきませんが、完了するとキーフレームコントローラーエリアに新しいキーフレームが表示されます。
キーフレームコントローラーエリアでカーソルを使用して、タイムラインをスクラブします。

[ビデオプレビュー] ウィンドウで、マスクの境界ボックスがオブジェクトとともに移動するのがわかります。タイムラインをスクラブし、いくつかのサンプルポイントで境界ボックスをチェックして、ボックスがオブジェクトを正確に追跡していることを確認します。（作成されたキーフレームは、最初にチェックするのに適したフレームです。）
必要に応じて調整します。

オブジェクトがボックスの外側にずれているように見えるフレームを見つけた場合は、上で説明したテクニックを使って、オブジェクトをより正確に含むようにボックスのサイズと位置を変更します。ビデオ全体を、一度に 1 フレームずつチェックすることもできますが、多くの場合、その必要はありません。ビデオ全体のいくつかのフレームでスポットチェックを行うだけで、必要な結果を確実に得ることができます。

NOTE [マスキングを完了] ボタンをクリックします。
AI はイベント内のビデオの各フレームを調べて分析し、マスクを作成します。

繰り返しになりますが、AI は個々のフレームを分析してマスクを作成する必要があるため、高速コンピューターであっても、かなりの時間がかかる可能性があることに注意してください。

結果を確認します。

完了すると、キーフレームコントローラーエリアのほぼすべてのフレームにキーフレームが表示されます。プロジェクトを再生すると、マスクがオブジェクトに追従しているのがわかります。結果を確認するには、必ず [マスキング結果を表示] チェックボックスを選択してください。

手動マスクアニメーション
常にプラグインにマスキングを完了させる必要はありません。必要な結果がほぼ得られることもありますが、場合によっては、ところどころほんの少しずれていることもあります。
キーフレームコントローラーエリアで、（2 つのキーフレームの間にある場合でも、）調整が必要なフレーム上にカーソルを置きます。

オブジェクトを覆うようにマスクの境界ボックスを調整します。これにより、そのポイントに新しいキーフレームが挿入されます。
タイムラインの端をクリックし、必要に応じてボックスを再度調整します。必要と思われる数のフレームに対してこれを実行します。
このプロセスを完全に手動で実行したい場合は、[キーフレームをクリア] ボタンをクリックします。

[アニメーション化] ボタンをクリックします。必要な数のキーフレームを手動で追加できるようになりました。

[マスクを完了] ボタンをクリックしてプロセスを終了します。

一度 [マスクを完了] プロセスを実行した後でも、いくつかのフレームで思うような結果が得られないことがあるかもしれません。その場合、ビデオ全体を再処理しなくても、調整を行うことができます。	マスクのリファイン
[マスクのリファイン] セクションのコントロールを使用して、マスキング結果をさらにコントロールできます。	反転
他のすべてではなく、マスクしたオブジェクトを削除する場合は、[反転] チェックボックスを選択します。	サイズ変更
マスクを少し広くしたり、少し狭くしたりするには、[サイズ変更] スライダを必要な量に調整します。	フェザー

マスクのエッジが硬いように見える場合は、[ぼかし] スライダを調整して柔らかくします。

オートフェザー

[オートフェザー] ボタンを選択すると、ツールがフェザリングを選択します。
これらのマスク調整パラメーターはそれぞれ自動化できるため、ビデオの進行中に微調整できます。

これらのいずれかをアニメーション化するには:

パラメーターの [アニメーション化] ボタンをクリックします。

キーフレームコントローラーエリアで別のフレームに移動し、パラメーターを調整します。これにより、他の OFX プラグインと同様に、新しいキーフレームが作成され、キーフレーム間のフレームが補間されます。

FIGURE マスクを作り直す

1	上のレーンにはマスターキーフレームが保持されます。1 つまたは複数のキーフレームが下のレーンに表示される場合、マスターキーフレームがここに表示されます。
2	[マスク] レーンは、どのフレームにマスクがすでに生成されているかを示します。[マスクを完了] ボタンをクリックした場合、ビデオの各フレームにマスクが設定され、各フレームにはこのレーンに赤いキーフレームが含まれるようになります(上のレーンに対応するマスターキーフレームも含まれます)。
3	キーフレームコントローラーエリア
4	[マスクをクリア] ボタンをクリックします。これにより、すべてのマスクが削除されますが、すでに設定したキーフレームは保持されます。

[ポイント] レーンには、境界ボックスやポイントが設定または変更されたすべてのフレームのキーフレームが表示されます。

[現在分析されているフレーム] レーンは、現在分析されているフレームを示すために赤い点を使用します。これは、境界ボックスとポイントデータを変更すると、このフレームが更新されたマスクデータを受け取ることを示します。一度に分析できるフレームは 1 つだけです。

マスク後の調整
マスクを完成させるときに、特定のフレーム間で位置合わせがわずかにずれている場合があります。ここでは、ずれを修正し、ビデオ全体で一貫したマスクを確保する方法を説明します。

ドリフトフレームを特定する

キーフレームタイムラインをスクラブしながら、マスクがオブジェクトからずれている問題のエリアが見つかるまで、[ビデオプレビュー] ウィンドウに注視してください。
問題のあるキーフレームを選択します。

マスクキーフレームトラック内の赤いキーフレームの上をクリックし、問題のあるキーフレームをすべて選択するまでタイムライン内をドラッグします。
キーフレームトラックをより詳細に表示する必要がある場合は、マウスホイールを使用してズームインします。

不要なキーフレームを削除します。

[Delete] キーを押すと、選択エリア内のすべてのキーフレームが削除されます。

新しいキーフレームを調整して作成します。
マスクキーフレームトラックのまま、修正が必要なフレームの 1 つをクリックします。

[ビデオプレビュー] ウィンドウで、オブジェクト全体が再び含まれるように境界ボックスを調整します。
新しいキーフレームがポイントトラックに自動的に作成されます。

修正を繰り返します。

マスクキーフレームがなくなったすべてのフレームに対してこれを実行します。

マスクを付け直します。