ByteDance/seedance-v2.5-reference-to-video

seedance-v2.5-reference-to-video

ByteDanceによるSeedance 2.5 Reference-to-Video APIを、任意の参照画像・動画・音声、4～30秒の長さ、サウンド、720p出力でお試しください。最大30枚の画像、10本の動画、10件の音声を参照に使え、制作に合わせて複数の画面比率から選べます。

Reference to Video

API 例

JavaScriptPythoncURL

送信例

// Step 1: Submit generation request
const response = await fetch('https://api.flaq.ai/api/v1/video/task', {
  method: 'POST',
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_API_KEY'
  },
  body: JSON.stringify({
    model_name: 'seedance-v2.5-reference-to-video',
    prompt: 'Use image one for the subject, video one for the movement, and audio one for the atmosphere',
    resolution: '720p',
    duration: 8,
    aspect_ratio: '16:9',
    sound: true,
    images: ['https://example.com/subject-reference.jpg'],
    videos: ['https://example.com/motion-reference.mp4'],
    audios: ['https://example.com/atmosphere-reference.mp3']
  })
});

const { data } = await response.json();
const taskId = data.task_id;

// Use the @ (AT) reference feature in prompt through <<<...>>> placeholders.
// Placeholder numbering is 1-based for each media array:
// <<<image_1>>> = images[0], <<<image_2>>> = images[1]
// <<<video_1>>> = videos[0], <<<audio_1>>> = audios[0]
const mediaReferenceResponse = await fetch('https://api.flaq.ai/api/v1/video/task', {
  method: 'POST',
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_API_KEY'
  },
  body: JSON.stringify({
    model_name: 'seedance-v2.5-reference-to-video',
    prompt: 'Place the explorer from <<<image_1>>> in the environment from <<<image_2>>>, following the camera movement in <<<video_1>>> and speaking with the reference voice from <<<audio_1>>>',
    resolution: '720p',
    duration: 10,
    aspect_ratio: '16:9',
    sound: true,
    images: [
      'https://example.com/explorer-reference.jpg',
      'https://example.com/environment-reference.png'
    ],
    videos: ['https://example.com/camera-movement-reference.mp4'],
    audios: ['https://example.com/voice-reference.mp3']
  })
});

const { data: mediaReferenceData } = await mediaReferenceResponse.json();
const mediaReferenceTaskId = mediaReferenceData.task_id;

ポーリング例

// Step 2: Poll for results
const taskId = data.task_id;

const pollResult = async (taskId) => {
  const res = await fetch(`https://api.flaq.ai/api/v1/video/${taskId}`, {
    headers: { 'Authorization': 'Bearer YOUR_API_KEY' }
  });
  return res.json();
};

while (true) {
  const pollResultData = await pollResult(taskId);
  const status = pollResultData.data.task_status;

  if (status === 'succeed') {
    console.log(pollResultData.data.task_result.videos[0].url);
    break;
  }

  if (status === 'failed') {
    console.error(pollResultData.data.task_status_msg);
    break;
  }

  await new Promise(resolve => setTimeout(resolve, 10000));
}

送信例

# Step 1: Submit generation request
import requests

response = requests.post(
    'https://api.flaq.ai/api/v1/video/task',
    headers={
        'Content-Type': 'application/json',
        'Authorization': 'Bearer YOUR_API_KEY'
    },
    json={
        'model_name': 'seedance-v2.5-reference-to-video',
        'prompt': 'Use image one for the subject, video one for the movement, and audio one for the atmosphere',
        'resolution': '720p',
        'duration': 8,
        'aspect_ratio': '16:9',
        'sound': True,
        'images': ['https://example.com/subject-reference.jpg'],
        'videos': ['https://example.com/motion-reference.mp4'],
        'audios': ['https://example.com/atmosphere-reference.mp3']
    }
)

result = response.json()
task_id = result['data']['task_id']

# Use the @ (AT) reference feature in prompt through <<<...>>> placeholders.
# Placeholder numbering is 1-based for each media array:
# <<<image_1>>> = images[0], <<<image_2>>> = images[1]
# <<<video_1>>> = videos[0], <<<audio_1>>> = audios[0]
media_reference_response = requests.post(
    'https://api.flaq.ai/api/v1/video/task',
    headers={
        'Content-Type': 'application/json',
        'Authorization': 'Bearer YOUR_API_KEY'
    },
    json={
        'model_name': 'seedance-v2.5-reference-to-video',
        'prompt': 'Place the explorer from <<<image_1>>> in the environment from <<<image_2>>>, following the camera movement in <<<video_1>>> and speaking with the reference voice from <<<audio_1>>>',
        'resolution': '720p',
        'duration': 10,
        'aspect_ratio': '16:9',
        'sound': True,
        'images': [
            'https://example.com/explorer-reference.jpg',
            'https://example.com/environment-reference.png'
        ],
        'videos': ['https://example.com/camera-movement-reference.mp4'],
        'audios': ['https://example.com/voice-reference.mp3']
    }
)

media_reference_result = media_reference_response.json()
media_reference_task_id = media_reference_result['data']['task_id']

ポーリング例

# Step 2: Poll for results
task_id = response.json()['data']['task_id']
poll_url = f"https://api.flaq.ai/api/v1/video/{task_id}"

while True:
    poll_result = requests.get(poll_url, headers={'Authorization': 'Bearer YOUR_API_KEY'}).json()
    status = poll_result['data']['task_status']
    if status == 'succeed':
        print(poll_result['data']['task_result']['videos'][0]['url'])
        break
    if status == 'failed':
        print(poll_result['data']['task_status_msg'])
        break
    time.sleep(10)

送信例

# Step 1: Submit generation request
curl -X POST https://api.flaq.ai/api/v1/video/task \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model_name": "seedance-v2.5-reference-to-video",
    "prompt": "Use image one for the subject, video one for the movement, and audio one for the atmosphere",
    "resolution": "720p",
    "duration": 8,
    "aspect_ratio": "16:9",
    "sound": true,
    "images": ["https://example.com/subject-reference.jpg"],
    "videos": ["https://example.com/motion-reference.mp4"],
    "audios": ["https://example.com/atmosphere-reference.mp3"]
  }'

# Use the @ (AT) reference feature in prompt through <<<...>>> placeholders.
# Placeholder numbering is 1-based for each media array:
# <<<image_1>>> = images[0], <<<image_2>>> = images[1]
# <<<video_1>>> = videos[0], <<<audio_1>>> = audios[0]
curl -X POST https://api.flaq.ai/api/v1/video/task \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model_name": "seedance-v2.5-reference-to-video",
    "prompt": "Place the explorer from <<<image_1>>> in the environment from <<<image_2>>>, following the camera movement in <<<video_1>>> and speaking with the reference voice from <<<audio_1>>>",
    "resolution": "720p",
    "duration": 10,
    "aspect_ratio": "16:9",
    "sound": true,
    "images": [
      "https://example.com/explorer-reference.jpg",
      "https://example.com/environment-reference.png"
    ],
    "videos": ["https://example.com/camera-movement-reference.mp4"],
    "audios": ["https://example.com/voice-reference.mp3"]
  }'

ポーリング例

# Step 2: Poll for results
# Replace {task_id} with the task_id returned from the submit response
curl -X GET "https://api.flaq.ai/api/v1/video/{task_id}" \
  -H "Authorization: Bearer YOUR_API_KEY"

今すぐAI動画生成を試す

Seedance 2.5 Reference to Videoの料金

パラメータ	料金	元の料金	割引

解像度: 1080p	$0.5500 / 秒	-	標準
解像度: 720p	$0.2200 / 秒	-	標準
解像度: 480p	$0.1100 / 秒	-	標準

README

プロ向け Seedance 2.5 Reference-to-Video API（マルチモーダル動画生成）

ByteDance Seedance 2.5 Reference-to-Video API は、任意の画像、音声、動画素材を使い、Flaq AI 上で新しい動画の生成を導きます。開発者やクリエイティブチームはマルチモーダル参照素材を通じて、被写体の外見、商品、環境、動き、タイミング、音、視覚的な方向性を、テキストだけの場合より正確に伝えられます。画質、長さ、アスペクト比、音声生成を柔軟に制御できるため、ブランドコンテンツ、キャラクター制作、商品ストーリー、拡張性のある制作システムに適しています。

Seedance 2.5 Reference-to-Video API の主な機能

任意の動画参照： 参照動画を追加して、具体的な動き、テンポ、演技、シーンの指針をモデルに与えます。
任意の画像参照： 複数の画像を追加して、キャラクター、商品、場所、衣装、構図、視覚的なスタイルを指定します。画像は単独でも、動画や音声参照と組み合わせても使用できます。
任意の音声参照： 声、音楽、リズム、タイミング、雰囲気を生成結果に反映したい場合は、対応する音声クリップを指定します。
複数動画の入力： 対応する複数の動画クリップを組み合わせ、動き、カメラ表現、演技、トランジション、物語の方向性を 1 回のリクエストで伝えます。
プロンプトによる素材の指示： テキストプロンプトで、アップロードした各画像、音声クリップ、動画参照の役割を説明します。
柔軟な出力制御： 用途に合わせて画質、クリップの長さ、超横長、横長、縦長、正方形、標準のアスペクト比を選びます。
生成音声の制御： 音声が必要なら音声生成を有効にし、音声トラックを別途処理する場合は無効にします。

Flaq AI で Seedance 2.5 Reference-to-Video API を使う方法

入力： 自然言語のプロンプト。画像、動画、音声の参照は任意です。
参照メディア： 対応する形式、ファイルサイズ、入力時間の制限内で、任意の画像、音声クリップ、動画を追加します。
出力： Seedance 2.5 Reference-to-Video API の連携を通じ、安全な URL で参照素材に基づく動画が配信されます。
解像度： 対応する効率重視または高画質の出力設定から選びます。
長さ： モデルが対応する短編動画の範囲内で、生成するクリップの長さを設定します。
アスペクト比： 超横長、横長、縦長、正方形、標準の各形式から選択します。
音声： 音声生成を有効のままにするか、無効にして無音動画を生成します。
機能： マルチモーダル参照、任意の画像・音声入力、複数動画入力、プロンプトによる素材の指示、柔軟な出力設定、音声生成に対応します。

Seedance 2.5 Reference-to-Video API 連携の活用例

キャラクターと IP の一貫性： 新たな動作、設定、短いシーンを作る際に、演技の映像と、任意のキャラクター画像やプロンプトの指示を組み合わせます。
参照素材に基づくブランドコンテンツ： 商品、広報担当者、キャンペーン、動きの参照で、SNS 動画や広告のアイデアを方向付けます。
商品動画制作： 既存の商品映像に任意の静止画や音声を加え、デモ、ライフスタイルの場面、販促動画のバリエーションを制作します。
動きとスタイルの転用： 新たな結果を説明する際、アップロードした映像のカメラの動き、テンポ、トランジション、視覚表現、演技を参照します。
自動化されたマルチモーダル制作： 参照素材のアップロード、プロンプトによる素材の指示、出力設定、音声生成を、拡張性のあるクリエイティブアプリに組み込みます。

注意画像のみ、動画のみ、音声のみ、参照メディアなしのリクエストに対応しています。参照素材を使わずに生成する場合は Text-to-Video を推奨します。すべてのプロンプトと素材が、 ByteDance のコンテンツ安全ガイドラインに準拠していることを確認してください。

Seedance 2.5 Reference-to-Video と競合製品の比較

Seedance 2.5 Reference-to-Video と Seedance 2.5 Text-to-Video
Text-to-Video は、文字による指示だけで生成します。Reference-to-Video は任意の画像、動画、音声による指示を追加でき、動き、外見、タイミング、スタイルをより具体的に制御したい制作に適しています。
Seedance 2.5 Reference-to-Video と Seedance 2.5 Image-to-Video
Image-to-Video は必須の開始フレームを動かし、任意の終了フレームも使用できます。Reference-to-Video は任意の動画、画像、音声素材を組み合わせ、より幅広いマルチモーダルの指示を与えます。
Seedance 2.5 Reference-to-Video と Wan Reference-to-Video
どちらもアップロードした素材で新たな動画の生成を導きます。Seedance 2.5 は任意の画像、動画、音声参照を使う柔軟なワークフローと、 Flaq AI を通じた柔軟な出力制御を提供します。
Seedance 2.5 Reference-to-Video と Vidu Reference-to-Video
Vidu は視覚的な一貫性を保つための、参照素材に基づく動画制作を提供します。Seedance 2.5 は任意の動画参照に対応し、画像と音声参照を 1 回のリクエストで組み合わせられます。
Seedance 2.5 Reference-to-Video と Runway の動画ツール
Runway は幅広い対話型の制作ツール群を提供します。 Seedance 2.5 Reference-to-Video API は、マルチモーダル素材の入力、プロンプトによる参照指示、大規模な生成に特化したプログラム経由のワークフローを提供します。