TikTokがモーションコントロールのためのBoximatorを導入

ティックトックがモーションコントロール機能であるBoximatorを導入したことはご存知でしたか？これは、スムーズなモーションコントロールで驚くべきビデオを作成するためのAIツールです。Boximatorは、パーソナルビデオエディターのように動作し、ビデオアニメーションを改善することができます。

ビデオを作成することを楽しむ場合、Boximatorは、先進的なモーショントラッキングとジェスチャー認識機能により、ビデオに対するより大きな制御を提供します。このツールは、プロフェッショナルなビデオを作成するプロセスを簡素化し、先進的なモーショントラッキングとジェスチャー認識機能を備えたプロフェッショナルなビデオを作成することができます。

Boximatorを使用すると、ビデオ編集に新しい場合でも、目につく動きを持つプロフェッショナルなビデオを作成できます。Boximatorについて、そしてそれがあなたのTikTok体験をどのように強化できるかを議論してみましょう。

Boximatorとは何か

ByteDance、TikTokの親会社が開発したBoximatorは、PixelDanceと呼ばれる新しいタイプのモデルアーキテクチャを使用しています。これは、ビデオ拡散モデルに細かいモーションコントロールを追加するものです。Boximatorは、ビデオフレームを分析することでビデオ内のオブジェクトを識別できます。次に、PixelDanceモデルを使用して各オブジェクトのスムーズなモーションパスを作成します。これにより、手動で各フレームを調整することなく、スムーズなモーションコントロールでビデオを作成できます。

画像ソース

Boximatorを使用すると、スローモーションやハイパーラプスなどのビデオエフェクトを作成できます。Boximatorを使用するには、ビデオをTikTokアプリにアップロードする必要があります。Boximatorは自動的にビデオを分析し、ビデオ内の各オブジェクトのスムーズなモーションパスを作成します。また、Boximatorコントロールを使用してモーションパスを調整し、目的のエフェクトを作成できます。

主要機能と機能

Boximatorは、ビデオ作成のためのさまざまな機能を提供しています。ここでは、その主な機能について説明します。

1. インタラクティブなモーションスペシフィケーション

Boximatorはモーションスペシフィケーション機能を提供します。ユーザーは、オブジェクトを囲むボックスを描くことでビデオ内のオブジェクトを簡単に選択できます。複雑な命令を書く代わりに、ユーザーはオブジェクトがどこに行くかを示すためにボックスと線を使用できます。

2. ハードボックスとソフトボックス

Boximatorは、モーションを制御するために2種類のボックスを使用します：ハードボックスとソフトボックス。ハードボックスは、ビデオのさまざまな時点でのオブジェクトの正確な位置と形状を定義します。一方、ソフトボックスはより柔軟な動きを可能にします。これらのボックスにより、ユーザーはより自然でダイナミックなアニメーションを作成できます。

3. プラグインアーキテクチャ

Boximatorはまた、プラグインとして機能します。コア機能を変更せずに、既存のビデオ合成モデルに追加できます。このプラグインは、専用のコントロールモジュールをトレーニングすることで、ビデオを強化するのに役立ちます。このモジュールは、元のビデオの品質に影響を与えることなく、ビデオを強化するのに役立ちます。したがって、ユーザーは新しい機能を実験するための柔軟性を享受できます。

4. 高度なパフォーマンス

Boximatorは、高品質のモーションコントロールビデオを作成するのに役立ちます。このツールは、他のベースラインモデルよりも高いFrechet Video Distance（FVD）スコアを達成しています。これは、Boximatorが、オブジェクトのモーションを正確に予測するための改良されたバウンディングボックスの整列メトリックを使用するためです。このようにして、ユーザーはプロフェッショナルなクオリティのビデオを作成できます。

5. セルフスーパーバイズドプリトレーニング

ツールは、ボックスとオブジェクトの相関関係を簡素化するためのシンプルなセルフトラッキング技術を使用します。これは、オブジェクトを囲むボックスを生成することで、ビデオ内のオブジェクトを識別および追跡することを学習することを意味します。また、モデルのトレーニングでは、内部の表現を保持したまま、可視的なボックスの生成を停止するように学習します。したがって、Boximatorは、手動で各ビデオをトレーニングする必要なく、スムーズなモーションコントロールを作成する方法を学習します。

Boximatorの応用と影響

Boximatorは、ビデオクリエイターにとってさまざまな魅力的な機会を提供します。細かいモーションの学習に必要な計算リソースを削減することができます。したがって、クリエイターは、高度なアニメーションを作成するために強力なハードウェアを必要とせずに、高度な詳細さでアニメーションを作成できます。

Boximatorは、コンテンツクリエイターにとって、オブジェクトの動きを正確かつ信頼性の高いコントロールを提供します。この機能は、アニメーション画像に価値を加え、リアルなビデオを作成することをより便利にします。

さらに、Boximatorは複雑なシナリオを処理するのが得意です。複合要素を処理し、シーン内の要素の数と近接性を管理することを可能にします。この機能は、アニメーションとダイナミックなビデオエフェクトを作成するために重要です。

画像ソース

さらに、このツールは、ビデオをよりプロフェッショナルに見せることを望むすべての人にとって完璧です。ティックトックのスター、映画製作者、または単に友人と楽しいビデオを共有する人であるかどうかは関係ありません。Boximatorは、驚くべきコンテンツを作成するのに役立ちます。

利用可能性と将来の展望

Boximatorのデモウェブサイトは開発中です。しかし、テストとフィードバックのための早期体験チャネルは利用可能です。TikTokは、このツールを幅広いユーザーに提供して、ビデオ作成体験を向上させたいと考えています。

将来的には、Boximatorは、TikTokを含むさまざまなプラットフォームと統合できます。この統合により、先進的なビデオ編集機能がより広いオーディエンスに提供され、驚くべきアニメーションとビデオが見られるようになります。

AIイノベーションの最新の進歩を把握したい場合は、unite.aiをチェックしてください。