動画の被写体を自動追跡する方法｜人物・車・動物へエフェクトを追従

動画内の人物や物体へエフェクトを自動追従させるには？

動画内で動いている人物や物体へエフェクトを加える場合、通常は被写体の位置に合わせて、フレームごとに範囲を調整する必要があります。

短い動画でも被写体が大きく移動すると、手作業による追従設定には時間がかかります。

オブジェクトトラッキングを利用すると、機械学習によって動画内の人物や物体を検出し、その位置に合わせてエフェクトを自動的に追従させられます。

メディアソート株式会社が提供する「オブジェクトトラッキング」では、人物、車、犬、猫などを検出し、枠外モザイク、スポットライト、枠線を適用できます。

オブジェクトトラッキングとは？

オブジェクトトラッキングとは、画像や動画内に写っている特定の物体を検出し、その位置を追跡する技術です。

動画では被写体の位置や大きさが時間とともに変化します。そのため、各フレームで被写体を検出し、検出された範囲に合わせてエフェクトの位置を更新します。

人物を画面内で目立たせる、商品を枠線で囲む、被写体以外の背景へモザイクを加えるなど、さまざまな演出に利用できます。

ブラウザ上の機械学習で被写体を検出

Mediassort Studioのオブジェクトトラッキングでは、TensorFlow.jsを利用して人物や物体を検出します。

TensorFlow.jsは、機械学習モデルをWebブラウザ上で動作させるための技術です。

読み込んだ画像や動画は外部サーバーへ送信されず、検出処理も利用している端末のブラウザ内で行われます。

処理速度は、動画の長さ、解像度、フレーム数、使用している端末の性能などによって異なります。

検出できる対象

オブジェクトトラッキングツールでは、以下の対象を選択できます。

• すべての対象から最も信頼度の高いもの
• 人物
• 車
• 犬
• 猫
• 自転車
• 鳥
• ボトル
• 携帯電話
• 椅子
• カップ

例えば、人が歩いている動画では「person」、車の走行動画では「car」を選択します。

検出対象を限定することで、画面内に複数の物体が写っている場合でも、目的の種類を検出しやすくなります。

ブラウザで動画の被写体を自動追跡する方法

1．オブジェクトトラッキングツールを開く

以下のページへアクセスします。

オブジェクトトラッキングを開く

アカウント登録やアプリのインストールは必要ありません。パソコンのブラウザから利用できます。

2．画像または動画を読み込む

画面上のアップロードエリアをクリックするか、加工したいファイルをドラッグ＆ドロップします。

対応しているファイル形式は以下のとおりです。

• JPEG
• PNG
• WebP
• MP4
• WebM

静止画像では検出された被写体へ効果を適用し、動画ではフレームごとに検出結果を更新します。

3．検出対象を選択する

次に、追跡したい対象を選択します。

人物を追跡する場合は「person」、犬を追跡する場合は「dog」、車を追跡する場合は「car」を選びます。

検出する対象を決められない場合は、「すべて」を選択すると、検出された中から最も信頼度の高い対象が使用されます。

ただし、「すべて」を選択した場合、フレームによって検出対象が切り替わる可能性があります。特定の被写体を追跡したい場合は、対象の種類を指定するのがおすすめです。

4．適用する効果を選択する

検出した被写体へ適用する効果は、以下の3種類から選択できます。

• 枠外モザイク
• スポットライト
• 枠線のみ

枠外モザイク

検出された被写体の範囲を残し、その外側へモザイクを加えます。

人物や商品だけを見やすく残し、背景の情報量を減らしたい場合に適しています。

スポットライト

検出された被写体の周囲を強調し、スポットライトが当たっているように見せます。

動画内で人物、動物、商品などへ視線を集めたい場合に活用できます。

枠線のみ

検出された範囲を枠線で囲みます。

監視カメラ、物体認識、AI解析画面、ゲームのターゲット表示などの演出に向いています。

5．検出感度を調整する

検出感度では、機械学習モデルがどの程度の信頼度で検出した対象を採用するか調整します。

感度を高くすると、検出の確実性を重視した設定になります。対象が小さい、暗い、見切れているなどの状況では、検出されにくくなる場合があります。

感度を下げると対象を拾いやすくなりますが、別の物体を誤って検出する可能性も高くなります。

• 誤検出を減らしたい：感度を高める
• 対象が検出されない：感度を少し下げる
• 枠が頻繁に消える：感度を調整して確認する

6．検出結果をプレビューで確認する

動画を再生し、エフェクトが目的の被写体へ追従しているか確認します。

動画の途中で対象が画面外へ出る、別の物体と重なる、向きが大きく変わるなどの場合、検出が一時的に途切れることがあります。

書き出す前に、動画全体を通して確認することが重要です。

7．加工した画像・動画を書き出す

追跡結果を確認したら、加工したファイルを書き出します。

制限付きで各ツールを試すことができ、無料利用時の書き出しは透かし入り・1080px上限です。

25ドルの買い切りプランでは、透かしなし・フル解像度で書き出せます。

目的別のおすすめ設定

人物だけを目立たせたい場合

• 検出対象：person
• 効果：枠外モザイクまたはスポットライト
• 検出感度：標準付近から調整

人物の周囲の情報量を抑え、視線を人物へ集めたい動画に向いています。

商品をAI検出画面風に見せたい場合

• 検出対象：ボトル、携帯電話、カップなど
• 効果：枠線のみ
• 検出感度：やや高め

商品を枠で囲むことで、AIが物体を解析しているような演出を作れます。

ペット動画で犬や猫を強調したい場合

• 検出対象：dogまたはcat
• 効果：スポットライト
• 検出感度：標準付近

ペットが移動する動画でも、検出された位置に合わせてスポットライトが更新されます。

車や自転車を追跡したい場合

• 検出対象：carまたはbicycle
• 効果：枠線のみ、またはスポットライト
• 検出感度：素材に合わせて調整

走行映像や街中の動画を、監視カメラや解析映像のように加工できます。

検出しやすい動画の特徴

被写体が大きく写っている

画面内で対象が小さすぎると、検出できない場合があります。

人物や商品がある程度大きく写っている動画を使用すると、追跡しやすくなります。

被写体と背景の区別がつきやすい

被写体と背景の色や明るさが似ていると、輪郭を判断しにくくなることがあります。

背景がシンプルで、対象がはっきり見える動画が適しています。

明るさが十分にある

暗い動画や強い逆光では、人物や物体の特徴が見えにくくなり、検出精度が下がる場合があります。

対象が隠れすぎていない

被写体が別の物体の後ろに隠れたり、画面外へ出たりすると、検出が途切れる可能性があります。

顔追跡や人物の特定とは異なる

このツールの「person」は、人の顔だけではなく、人物全体を物体として検出します。

特定の人物を顔認証によって識別したり、複数人の中から同じ人物だけを継続的に判別したりする機能ではありません。

また、「枠外モザイク」は検出した被写体の外側へモザイクを加える効果です。人物の顔そのものを隠す用途とは異なります。

個人情報保護を目的として顔やナンバープレートを隠す場合は、加工結果を必ず全編確認し、必要に応じて専用の編集ソフトで補正してください。

AIによる自動追跡の注意点

機械学習による物体検出は、すべての素材で必ず正しく動作するわけではありません。

次のような状況では、検出漏れや誤検出が発生する場合があります。

• 対象が小さく写っている
• 映像が暗い、または不鮮明
• 被写体の一部が隠れている
• 動きが速く、残像やブレが大きい
• 似た物体が複数写っている
• 対象が画面へ出入りする

書き出した動画は最初から最後まで再生し、エフェクトの位置や検出漏れを確認しましょう。

オブジェクトトラッキングの活用例

被写体へ自動追従するエフェクトは、以下のような用途で活用できます。

• 人物を目立たせるSNS動画
• 商品紹介動画
• ペット動画
• 車や自転車の走行映像
• スポーツ動画
• AI解析・監視カメラ風の演出
• ゲームのターゲット表示
• ミュージックビデオ
• YouTubeやTikTokの動画加工

まとめ

オブジェクトトラッキングを利用すると、動画内の人物や物体を機械学習で検出し、位置に合わせてエフェクトを自動追従させられます。

Mediassort Studioの「オブジェクトトラッキング」では、人物、車、犬、猫、自転車などを選び、枠外モザイク、スポットライト、枠線を適用できます。

動画ではフレームごとに検出結果が更新され、処理はブラウザ内で行われます。

動画の人物・物体を自動追跡する