实时交互数字人-标准版

实时交互数字人-标准版 | Vidu API

完整请求体示例：

json

{
  "call_mode": "video",
  "character_id": "1",
  "avatar": {
    "persona": "你是甜甜 Tina，我的声音像温热的奶茶，甜甜的、暖暖的，但解决问题可一点都不含糊哦！",
    "image_uri": "https://scene.cf.vidu.studio/media-asset/070302-ZFkgvJxBTM0ZQJoO.png",
    "voice": "Tina"
  },
  "audio": {
    "enable_transcription": true
  },
  "vad": {
    "type": "semantic",
    "threshold": 0.5,
    "silence_duration_ms": 200,
    "idle_timeout_ms": 500
  },
  "llm": {
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "frequency_penalty": 1,
    "presence_penalty": 0.3,
    "seed": -1,
    "max_tokens": 50
  },
  "idle_timeout_seconds": 7200,
  "memory_retrieval": {
    "enabled": true,
    "endpoint": "https://api.example.com/memory/search",
    "authorization": "Bearer memory-api-token",
    "timeout_ms": 3000
  },
  "knowledge_retrieval": {
    "enabled": true,
    "endpoint": "https://api.example.com/knowledge/search",
    "authorization": "Bearer knowledge-api-token",
    "timeout_ms": 3000
  }
}

基础字段说明

未传 avatar.id ，仅提交 image_uri 时，服务会自动调用“照图片上传”接口，并在返回结果的 live.avatar.id 中回传该资产 avatar.id。

audio：音频转文本

开启后，通过 WebSocket 返回用户输入音频 / 数字人输出音频的文字内容。

vad：打断控制

用来控制打断相关参数，以便更好地获取用户一轮反馈的内容。

llm：语言模型输出控制

用来控制语言模型的输出细节，以适配不同用户的需求。

idle_timeout_seconds：会话生命周期

用来控制无输入自动断开的时间，避免没有通话时会话一直挂着。

memory_retrieval / knowledge_retrieval：外调记忆与知识库（内测版）

memory_retrieval 和 knowledge_retrieval 均为可选字段，分别对应数字人在对话中调用外部记忆检索、外部知识检索的能力。协议详见【外调记忆 API】【外调知识 API】章节。

Body 参数

call_modestring*

交互方式，枚举值：
audio：纯语音
video：音视频

avatar.personastring*

数字人的人设，5万字以内，具体见“推荐的人设模板”章节

avatar.image_uristring*

avatar.image_uri和avatar.id二选一
数字人形象图片地址，支持图片 URL 和 base64。仅支持 1 张【单人】图片，支持全身 / 半身、各种风格。格式：PNG / JPG / JPEG / WEBP；图片大小 ≤ 50MB；base64 decode 后字节长度 < 20M，且需包含内容类型前缀，例如 data:image/png;base64,{base64_encode}

返回结果

json

{
  "audio_url": "https://example.com/reference.wav",
  "voice": "my_custom_voice",
  "text": "这是一段参考音频对应的文本",
  "language": "zh"
}

查询自定义音色：GET /live/v1/voices → { "voices": [{ "voice": "my_custom_voice" }] }

删除自定义音色：DELETE /live/v1/voices/{"my_custom_voice"}

Body 参数

audio_urlstring*

参考音频，支持公网 URL 或 data URI，长度 1 到 2048。支持格式：WAV（16bit）、MP3、M4A；音频时长推荐 10~20 秒，最长不超过 60 秒；文件大小 < 10MB。

voicestring*

音色名，长度 1 到 64；创建 live 时填入 avatar.voice。仅允许数字、大小写字母和下划线。（请注意，音色名不要重复）

textstring

参考音频文本，便于服务端校验音频与文本一致性，最长 4096。

languagestring

参考音频语言，例如 zh、en，最长 16。支持zh（中文）、en（英文）、de（德语）、it（意大利语）、pt（葡萄牙语）、es（西班牙语）、ja（日语）、ko（韩语）、fr（法语）、ru（俄语）、th（泰语）、id（印尼语）、ar（阿拉伯语）、cs（捷克语）、da（丹麦语）、（荷兰语）、（芬兰语）、（希伯来语）、（印地语）、（冰岛语）、（马来语）、（挪威语）、（波斯语）、（波兰语）、（瑞典语）、（他加禄语）、（土耳其语）、（乌尔都语）、（越南语）。中文方言：东北话（）、陕西话（）、四川话（）、河南话（）、长沙话（）、天津话（）、杭州话（）、辽宁话（）、沈阳话（）、鞍山话（）

请求示例

curl --request POST \
  --url 'https://{host}/live/v1/voices/clone' \
  --header 'Content-Type: application/json' \
  --data '{
  "audio_url": "string",
  "voice": "string",
  "text": "string",
  "language": "string"
}'

请求示例

curl --request POST \
  --url 'https://{host}/live/v1/lives' \
  --header 'Content-Type: application/json' \
  --data '{
  "call_mode": "string",
  "avatar": {
    "persona": "string",
    "image_uri": "string",
    "id": "string",
    "voice": "string",
    "greeting_instruction": "string",
    "farewell_enabled": true,
    "persona_enhance": true,
    "idle_action": true
  },
  "idle_timeout_seconds": 7200,
  "audio": {
    "enable_transcription": false
  },
  "vad": {
    "type": "server",
    "threshold": 0.5,
    "silence_duration_ms": 400,
    "idle_timeout_ms": 0
  },
  "llm": {
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "frequency_penalty": 1,
    "presence_penalty": 0.3,
    "seed": -1,
    "max_tokens": 50
  }
}'

200

返回示例

{
  "live": {
    "id": "123456789",
    "status": "waiting",
    "live_duration": 600,
    "call_mode": "video"
  },
  "rtc": {
    "app_id": "xxxx",
    "channel_id": "live-user-123456789",
    "user_id": "live-user-1001-123456789",
    "token": "base64-token...",
    "token_expire_at": "1750003600"
  }
}

请求示例

curl --request GET \
  --url 'https://{host}/live/v1/lives?pager.page=0&pager.pagesz=0&pager.page_token=string'

200

返回示例

{
  "total": 12,
  "lives": [
    {
      "id": "1234567890",
      "status": "ended",
      "call_mode": "video",
      "billed_seconds": 120,
      "credits_cost": 20
    }
  ],
  "next_page_token": ""
}

avatar.id

nl

fi

he

hi

is

ms

no

fa

pl

sv

tl

tr

ur

vi

Dongbei

Shannxi

Sichuan

Henan

Changsha

Tianjin

Hangzhou

Liaoning

Shenyang

Anshan

rtc.user_id

功能

帮助文档

关于我们

功能

帮助文档

关于我们

实时交互数字人-标准版

创建 Live 会话

查询 Live 会话与账单

列表查询 Live

音色克隆

基础字段说明

audio：音频转文本

vad：打断控制

llm：语言模型输出控制

idle_timeout_seconds：会话生命周期

memory_retrieval / knowledge_retrieval：外调记忆与知识库（内测版）

Body 参数

返回结果

路径参数

返回结果

Query 参数

返回结果

Body 参数

搜索文档

功能

帮助文档

关于我们

搜索文档

功能

帮助文档

关于我们

实时交互数字人-标准版

创建 Live 会话

查询 Live 会话与账单

列表查询 Live

音色克隆

基础字段说明

audio：音频转文本

vad：打断控制

llm：语言模型输出控制

idle_timeout_seconds：会话生命周期

memory_retrieval / knowledge_retrieval：外调记忆与知识库（内测版）

Body 参数

返回结果

路径参数

返回结果

Query 参数

返回结果

Body 参数