プロンプトで指示する音源分離

ミックスから欲しい音を一つだけ取り出す 言葉で説明するだけで

聞きたい音をテキストで入力する、映像内でクリックする、鳴っているタイミングを指定する——SAM Audio Toolはその音を録音から分離し、両方のステムをまとめて渡します。

音声ファイルだけでなく、動画の音声トラックにも対応しています。

3
プロンプトの方法:テキスト、クリック、タイムスパン
2
毎回2つのステムを返却:ターゲットとレジデュアル
1
音、音楽、音声をまとめて扱う1つのワークスペース
street-interview.mp4分離中
プロンプト

アコースティックギターの音。観客の声は除く

ターゲット — ギター
レジデュアル — それ以外すべて

分離画面のイメージです。どちらのステムも書き出せます。

できること

1つのプロンプトで、1つの音を、きれいに取り出す

これまでの音源分離は、決まったステムの中から選ぶだけでした。ここでは、録音に合わせたやり方で、欲しいものをそのまま伝えられます。

テキストプロンプト

「サックスの音」「質問に答えている女性の声」「窓を打つ雨音」のように、欲しい音を言葉で説明するだけで、ミックスから取り出せます。

ビジュアルプロンプト

音の出どころが映像に映っている場合は、それをクリックするだけです。楽器や話者、通り過ぎる車を指し示す方が、言葉で説明するより速く、あいまいさもありません。

スパン(区間)プロンプト

その音がはっきり聞こえる秒数をドラッグして選択します。選んだ区間がそのまま参照情報になるため、名前を付けられないノイズにも有効です。

複合プロンプト

3つの方法を組み合わせられます。誰かはクリックで、何かは言葉で、いつかはタイムスパンで——ひとつのリクエストにまとめることで、難しいケースでも当てずっぽうにならずに済みます。

ターゲットとレジデュアル

実行するたびに2つのファイルが返されます。指定した音そのものと、その音を取り除いた録音全体です。どちらか一方だけを使うことも、両方を使うこともできます。

音声・動画どちらも入力可

WAV、MP3、動画ファイルをそのままアップロードできます。映像がある場合は、音の出どころを判断する手がかりとして活用されます。

あらゆる音を、一つの場所で

音、音楽、音声をまとめて扱える

多くのツールは3つのうち1つに特化しています。分野を選んで、それぞれがどんな作業に対応しているかご覧ください。

日常の音を、ノイズの中から取り出す

フィールド録音、部屋のトーン、機械音、野生動物、交通音、ドアの音、足音——決まったカテゴリーに当てはまらない音は数多くあります。それを言葉で説明して取り出します。

  • 騒がしい環境音の中から一つの出来事だけを分離
  • テイクを保ちながら邪魔なノイズだけを取り除く
  • ロケーション録音からクリーンなリファレンスを作成
抽出したターゲット一般的な音
レジデュアルのミックス

表示されている波形はイメージです。実際の結果は録音内容とプロンプトの書き方によって変わります。

作業の流れ

雑然とした録音から きれいな2つのステムへ、4ステップで

セッションの準備もルーティングもプラグインチェーンも不要。プロンプトがそのままインターフェースです。

  1. 01

    録音を読み込む

    音声ファイル、または音の出どころが映像に映っている場合は動画をアップロードします。タイムラインと波形は自動で生成されます。

  2. 02

    分離したい音を伝える

    短い説明文を書く、フレーム内の音源をクリックする、聞こえている秒数をドラッグして選択する——ミックスが難しい場合は組み合わせてください。

  3. 03

    聴いて調整する

    ターゲットとレジデュアルを聴き比べます。意図と違うものが出てきた場合は、プロンプトを書き直すか、より具体的に指し示して再実行してください。

  4. 04

    両方のステムを書き出す

    分離した音と残りの音をそれぞれ別ファイルとしてダウンロードし、編集ソフトやDAW、次の工程へそのまま渡せます。

プロンプトギャラリー

良いプロンプトの書き方

プロンプトは検索キーワードではなく、エンジニアへの指示のように書きます。残したいものを言っても、消したいものを言っても構いません。

テキスト

カモメの声。風の音は除く

ターゲット:鳥の鳴き声。レジデュアル:その場の海辺の環境音。

音楽

リードボーカルのみ。ハーモニーは除く

ターゲット:メインのボーカルライン。レジデュアル:ハーモニーを含む伴奏全体。

ビジュアル

赤いジャケットを着て話している人

ターゲット:その話者のセリフ。レジデュアル:他の声と街の音。

スパン

0:12–0:19に鳴っている音の発生源

ターゲット:その区間で聞こえる音源。レジデュアル:残りのテイク。

除去

通り過ぎる車の音を取り除く

レジデュアルが成果物になり、交通音は別ファイルとして書き出されます。

複合

セリフの背後で鳴っている電話の呼び出し音

ターゲット:着信音。レジデュアル:編集に使えるクリーンなセリフ。

短く具体的な方が、長くあいまいなものより効果的です。似た音源が2つある場合は、場所や時間を加えてください。

活躍する場面

録音された音を扱うすべての人のために

録音に余計なものが入り込んでいるなら、プロンプト一つの方が救済編集より速く済みます。

ポッドキャスト・インタビュー

音響の悪い部屋で録れた良い回答を救い出したり、1本のマイクで話が重なった2人のゲストを分離したりできます。

映像・映画のポストプロダクション

ロケーションで録れたセリフを復元する、スクラッチトラックから効果音だけを取り出す、撮り直せないショットからバンドの音を消す——といった作業に対応します。

音楽の練習・研究

練習しているパートをソロにする、そこだけをミュートして一緒に演奏する、フレーズを分解して構造を確認する、といった使い方ができます。

アクセシビリティ・聞こえのサポート

一つの声を前面に出し、それ以外の音を後ろに下げることで、聞く人にとって録音を追いやすいものにします。

研究・データセット作成

合成音源ではなく実際のミックスからラベル付きサンプルを作成し、対応するレジデュアルもペアとして保持できます。

ショート動画・SNS

必要な瞬間だけ残し、余計な音は取り除きます。スマホで撮った映像から、編集に入れる前にクリーンな音声を取り出せます。

質問

よくある質問

初めて分離を行う前に多く寄せられる質問への、簡潔な回答です。

従来の音源分離ツールは、トラックをボーカル・ドラム・ベース・その他といった決まったステムに分割するだけでした。プロンプトによる分離では、リクエストのたびに自分でターゲットを定義できます。音を言葉で説明する、画面上でクリックする、鳴っているタイミングを指定する——そのいずれかがそのまま分離対象になります。語彙はあらかじめ用意されたリストに縛られません。

その音を、言葉にする。 欲しい音だけを、手に入れる。

もう諦めていた録音から始めて、一文のプロンプトが何を引き出すか試してみてください。

分離を始める

インストール不要、セッション設定も不要——ファイルとプロンプトだけで始められます。