Vidu-S1 数字人

• 商业级产品：首个能互动、会表演、可双向感知的商业级交互式数字人。
• 无限时长互动：全球首个支持无限互动时长的生成式视频大模型技术，生成 1 分钟到 2 小时无质量损失。
• 极佳的指令响应效率：支持指令遵循，语义理解能力强，推理速度业内最快，实现准实时跨屏互动。
• 有温度的互动体验：支持真人、二次元人物、萌宠动物等多种自定义人格和形象，有短期记忆，提供个性化、有温度的互动体验。
• 多模态互动形式：支持语音、文字、视频等多种交互方式，可精准捕捉用户外貌、情绪等因素。
• 极佳画面质量：高分辨率实时交互生成。

搞懂这 4 个核心概念

一句话看懂接入全流程

按角色选择阅读路径

第 1 步 创建会话      → 拿到 live.id 和 rtc.token
第 2 步 建 WebSocket  → 发送 conn_init，等待 conn_init_ack.success=true
第 3 步 接入 RTC      → 使用 rtc.token 加入 AliRTC，发布麦克风并订阅数字人音视频

第 1 步：创建会话

POST https://{host}/live/v1/lives
Authorization: Token vda_xxx
Content-Type: application/json

{
  "call_mode": "video",
  "avatar": {
    "persona": "你是一个友好的客服，请自然地与用户实时互动",
    "image_uri": "https://你的数字人图片地址.png",
    "voice": ""
  }
}

• 保存响应里的 live.id，后续 WebSocket、查询账单和发送文本都会用到。
• 保存响应里的 rtc.token 和 rtc.user_id，第 3 步加入 AliRTC 会用到。

第 2 步：建立 WebSocket 并发送开始信号

wss://{host}/live/ws/live/connect?live_id={live_id}
Authorization: Token vda_xxx

{
  "type": 1,
  "live_id": "123456789",
  "seq_id": 1,
  "payload": { "conn_init": { "version": 1 } }
}

• 收到 conn_init_ack.success=true 后，说明控制链路初始化完成。
• video 模式如果收到 NOT_READY，等待 2 到 3 秒后重试 conn_init。

第 3 步：接入 RTC

await aliRtc.joinChannel(rtc.token, rtc.user_id);
await aliRtc.publishLocalAudioStream(true);

if (callMode === 'video') {
  await aliRtc.publishLocalVideoStream(true);
}

接口总览

通用约定

{
  "code": 400,
  "reason": "BAD_REQUEST",
  "message": "参数非法",
  "metadata": {}
}

创建 Live 会话：POST /live/v1/lives

POST https://{host}/live/v1/lives
Authorization: Token vda_xxx
Content-Type: application/json

{
  "call_mode": "video",
  "character_id": "1",
  "avatar": {
    "persona": "你是甜甜 Tina，我的声音像温热的奶茶，甜甜的、暖暖的，但解决问题可一点都不含糊哦！",
    "image_uri": "https://scene.cf.vidu.studio/media-asset/070302-ZFkgvJxBTM0ZQJoO.png",
    "voice": "Tina"
  },
  "audio": {
    "enable_transcription": true
  },
  "vad": {
    "type": "semantic",
    "threshold": 0.5,
    "silence_duration_ms": 200,
    "idle_timeout_ms": 500
  },
  "llm": {
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "frequency_penalty": 1,
    "presence_penalty": 0.3,
    "seed": -1,
    "max_tokens": 50
  },
  "idle_timeout_seconds": 7200,
  "memory_retrieval": {
    "enabled": true,
    "endpoint": "https://api.example.com/memory/search",
    "authorization": "Bearer memory-api-token",
    "timeout_ms": 3000
  },
  "knowledge_retrieval": {
    "enabled": true,
    "endpoint": "https://api.example.com/knowledge/search",
    "authorization": "Bearer knowledge-api-token",
    "timeout_ms": 3000
  }
}

基础字段说明

data:image/png;base64,{base64_encode}

audio：音频转文本

vad：打断控制

llm：语言模型输出控制

idle_timeout_seconds：会话生命周期

memory_retrieval / knowledge_retrieval：外调记忆与知识库（内测版）

{
  "live": {
    "id": "123456789",
    "status": "waiting",
    "live_duration": 600,
    "call_mode": "video"
  },
  "rtc": {
    "app_id": "xxxx",
    "channel_id": "live-user-123456789",
    "user_id": "live-user-1001-123456789",
    "token": "base64-token...",
    "token_expire_at": "1750003600"
  }
}

查询 Live 会话与账单：GET /live/v1/lives/\{live_id\}

GET https://{host}/live/v1/lives/{live_id}
Authorization: Token vda_xxx

列表查询 Live：GET /live/v1/lives

GET https://{host}/live/v1/lives?pager.page=0&pager.pagesz=10
Authorization: Token vda_xxx

{
  "total": 12,
  "lives": [
    {
      "id": "1234567890",
      "status": "ended",
      "call_mode": "video",
      "billed_seconds": 120,
      "credits_cost": 20
    }
  ],
  "next_page_token": ""
}

App WebSocket 控制协议：/live/ws/live/connect

wss://{host}/live/ws/live/connect?live_id={live_id}&conn_id={conn_id}
Authorization: Token vda_xxx

{
  "type": 1,
  "live_id": "1234567890",
  "user_id": "10000",
  "conn_id": "app-conn-1",
  "seq_id": 1,
  "payload": {}
}

conn_init

{
  "type": 1,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 1,
  "payload": {
    "conn_init": { "version": 1 }
  }
}

{
  "type": 2,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 2,
  "payload": {
    "conn_init_ack": {
      "success": true,
      "error_code": "",
      "error_msg": "",
      "server_timestamp": 1710000000
    }
  }
}

{
  "type": 2,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 2,
  "payload": {
    "conn_init_ack": {
      "success": false,
      "error_code": "NOT_READY",
      "error_msg": "live sip endpoint not ready",
      "server_timestamp": 1710000000
    }
  }
}

text_msg

{
  "type": 99,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 10,
  "payload": {
    "text_msg": {
      "msg_id": "client-msg-1",
      "content": "你好，请介绍一下你自己",
      "timestamp": 1710000000000
    }
  }
}

audio_interrupted

{
  "type": 7,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 11,
  "payload": {}
}

call_hangup 与 force_hangup

{
  "type": 5,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 12,
  "payload": {
    "hangup": { "hangup_reason": "user_end" }
  }
}

{
  "type": 6,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "payload": {
    "hangup": { "hangup_reason": "timeout" }
  }
}

5.6.5 session_update

• 更新按组传入：avatar、vad、llm 未传的字段保持原值；
• knowledge_retrieval / memory_retrieval 为整组替换，传入即整体覆盖该组配置，组内未传的子字段按默认值处理。
• 服务端整体校验本次更新，任一字段非法则本次更新失败，所有字段均不生效，原配置保持不变。
• 更新即时生效并作用于后续对话；
• 音色（voice）与人设（persona）若当前正在播报语音，将延迟至当前播报结束后生效，避免打断。更新不重新校验余额、不重置会话时长、不额外计费。

{
  "type": 97,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "seq_id": 20,
  "payload": {
    "session_update": {
      "avatar": { "voice": "Tina" },
      "vad": { "type": "server", "threshold": 0.5, "silence_duration_ms": 400 },
      "llm": { "temperature": 0.7, "top_p": 0.8, "max_tokens": 50 }
    }
  }
}

knowledge_retrieval.authorization

{
  "type": 98,
  "live_id": "1234567890",
  "conn_id": "app-conn-1",
  "payload": {
    "session_update_ack": {
      "success": true,
      "error_code": "",
      "error_msg": ""
    }
  }
}

RTC 入会协议：AliRTC joinChannel

flowchart LR
  CreateLive["Create Live"] --> WsInit["App WS conn_init"]
  CreateLive --> RtcJoin["AliRTC joinChannel"]
  WsInit --> ControlReady["Control Ready"]
  RtcJoin --> MediaReady["Media Ready"]
  ControlReady --> Interact["Live Interaction"]
  MediaReady --> Interact

AliRTC 前置条件

• 客户端需要单独集成 AliRTC SDK。Web 端可参考阿里云 RTC Web SDK 文档，并在页面中加载对应 SDK。
• 创建 live 接口返回的 rtc 对象就是入会凭证来源，不需要客户端自行生成 token。
• rtc.token：传给 joinChannel 的鉴权信息。
• rtc.user_id：当前 App 用户在 RTC 房间里的身份，作为 joinChannel 的第二个参数。
• rtc.channel_id：服务端创建的 RTC 房间标识，主要用于日志、订阅回调和问题排查；客户端通常不需要自行拼接。
• rtc.token_expire_at：token 过期时间，Unix 秒；过期后应重新创建 live。

基本概念

入会并发布本端媒体

await aliRtc.setDefaultSubscribeAllRemoteAudioStreams(true);
await aliRtc.setDefaultSubscribeAllRemoteVideoStreams(true);

await aliRtc.joinChannel(rtc.token, rtc.user_id);
await aliRtc.publishLocalAudioStream(true);

if (callMode === 'video') {
  await aliRtc.publishLocalVideoStream(true);
}

订阅并渲染数字人音视频

<video id="remoteVideo" autoplay playsinline></video>

const remoteVideoElement = document.getElementById('remoteVideo');

aliRtc.on('remoteUserOnLineNotify', (userId) => {
  console.log('remote user online', userId);
});

aliRtc.on('videoSubscribeStateChanged', (userId, oldState, newState) => {
  if (newState === 'subscribed') {
    // streamType=1 表示远端摄像头流。video 模式下数字人视频通常走这个回调。
    aliRtc.setRemoteViewConfig(remoteVideoElement, userId, 1);
    remoteVideoElement.play().catch(() => {
      console.warn('remote video autoplay failed');
    });
  }
});

aliRtc.on('screenShareSubscribeStateChanged', (userId, oldState, newState) => {
  if (newState === 'subscribed') {
    // streamType=2 表示远端屏幕流；如服务端使用该流类型，也需要绑定视图。
    aliRtc.setRemoteViewConfig(remoteVideoElement, userId, 2);
  }
});

screenShareSubscribeStateChanged

角色 ID 规则

live-video-push-{creatorID}-{liveID}

音色克隆：POST /live/v1/voices/clone

POST https://{host}/live/v1/voices/clone
Authorization: Token vda_xxx
Content-Type: application/json

{
  "audio_url": "https://example.com/reference.wav",
  "voice": "my_custom_voice",
  "text": "这是一段参考音频对应的文本",
  "language": "zh"
}

{ "voices": [{ "voice": "my_custom_voice" }] }

DELETE /live/v1/voices/{"my_custom_voice"}

图片上传API

data:image/png;base64,{base64_encode}

接口总览

创建数字人设资产

查询数字人设资产

删除数字人设资产

列表查询

外调记忆 API（search_user_memory）

调用方式

POST <memory_retrieval.endpoint>
Content-Type: application/json
Accept: application/json
Authorization: <memory_retrieval.authorization>

• endpoint 和 authorization 来自 CreateLive 请求中的 memory_retrieval 配置。
• 外部服务应自行根据鉴权信息、endpoint 绑定关系或服务端上下文确定可检索范围。
• 请求体不包含 user_id、character_id、数据库过滤条件、embedding 向量或敏感信息开关。

请求示例

{
  "live_id": "1234567890",
  "query": "用户偏好的代码风格、编程语言偏好、脚本输出风格",
  "reason": "用户要求按之前喜欢的代码风格生成脚本，当前上下文没有相关偏好信息。",
  "memory_types": ["preference", "style"],
  "time_hint": "长期偏好",
  "max_results": 5
}

响应示例

{
  "memories": [
    {
      "id": "mem_101",
      "summary": "用户偏好代码简洁，避免过度封装，变量命名清晰。",
      "type": "style",
      "confidence": 0.94,
      "updated_at": "2026-06-01T09:00:00+08:00",
      "source": "long_term_memory"
    },
    {
      "id": "mem_102",
      "summary": "用户通常偏好 Go 示例；如果用户明确要求 Python，则可以使用 Python。",
      "type": "preference",
      "confidence": 0.86,
      "updated_at": "2026-05-20T13:00:00+08:00",
      "source": "long_term_memory"
    }
  ]
}

• memories[].summary：给模型看的核心内容，建议是短自然语言句子，不要返回大量原始聊天记录。
• memories[].type：记忆类型，建议与请求中的 memory_types 枚举保持一致。
• memories[].confidence：可信度，建议 0..1。高置信度可自然使用；中置信度谨慎使用；低置信度应向用户确认，而不是直接当作事实。
• memories[].updated_at：更新时间，建议 RFC3339。新旧记忆冲突时优先参考较新记忆，但仍要结合当前用户输入。
• memories[].source：记忆来源，例如 long_term_memory、explicit_user_statement。
• 空结果：当结果为空时，这样返回“"memories": []”，不要返回纯文本（例如“没查到”）。

错误响应

{
  "memories": [],
  "error": "invalid_request"
}

联调示例

1. HTTP 接口

POST /v1/fake-memory/search
Content-Type: application/json

POST /live/v1/fake-memory/search

live.builtin_avatars["01"].memories

1. Vidu s1自调用示例

{
  "memory_retrieval": {
    "enabled": true,
    "endpoint": "https://api.vidu.cn/live/v1/fake-memory/search",
    "authorization": "fake"
  }
}

1. demo 验证流程（角色 01）

{
  "live_id": "1234567890",
  "query": "用户喜欢灵绯怎么称呼自己",
  "reason": "验证 fake memory provider 是否能返回昵称记忆",
  "memory_types": ["relationship"],
  "max_results": 3
}

{
  "memories": [
    {
      "id": "persona_01_relationship_nickname_001",
      "summary": "用户喜欢灵绯称呼自己为“阿澈”。",
      "type": "relationship",
      "confidence": 1,
      "updated_at": "2026-07-10T00:00:00+08:00",
      "source": "fake_persona_memory"
    }
  ]
}

面向最终用户时，角色应自然表达“我记得……”，不要说“我调用了 API / 工具 / fake provider”。

外调知识 API（search_knowledge）

调用方式

POST <knowledge_retrieval.endpoint>
Content-Type: application/json
Accept: application/json
Authorization: <knowledge_retrieval.authorization>

• endpoint 和 authorization 来自 CreateLive 请求中的 knowledge_retrieval 配置。
• 请求体不包含 user_id、creator_id、character_id、collection_ids、document_ids、数据库过滤条件、embedding 向量、权限开关或敏感信息开关。

请求示例

{
  "live_id": "1234567890",
  "query": "Vidu 实时数字人创建失败时的排查步骤",
  "reason": "用户询问具体排查流程，当前上下文没有产品文档内容。",
  "knowledge_types": ["procedure", "troubleshooting"],
  "time_hint": "最新版本",
  "max_results": 5
}

响应示例

{
  "knowledge": [
    {
      "id": "doc_001_chunk_03",
      "title": "实时数字人创建排查指南",
      "content": "如果 CreateLive 返回 SIP 创建失败，先检查 call_mode、avatar.image_uri、SIP provider 返回码和 live 日志 trace_id。",
      "type": "troubleshooting",
      "source": "ops_runbook",
      "updated_at": "2026-07-01T10:00:00+08:00",
      "confidence": 0.92,
      "url": "https://kb.example.com/docs/live-troubleshooting"
    }
  ]
}

• knowledge[].content：给模型看的核心内容，建议是短自然语言句子或短段落，不要返回大量原始文档。

• knowledge[].title / source / url

  ：帮助模型判断来源、必要时说明依据，url 可选。
• knowledge[].type：知识类型，建议与请求中的 knowledge_types 枚举一致。
• knowledge[].confidence：可信度，建议 0..1。高置信度可自然使用；中置信度谨慎使用；低置信度应向用户确认或说明没有找到明确资料。
• knowledge[].updated_at：更新时间，建议 RFC3339。新旧资料冲突时优先参考较新资料，但仍要结合当前用户输入。
• 空结果：当结果为空时，这样返回“"knowledge": []”，不要返回纯文本（例如“没查到”）。

错误响应

{
  "knowledge": [],
  "error": "invalid_request"
}

联调示例

1. HTTP 接口

POST /v1/fake-knowledge/search
Content-Type: application/json

POST /live/v1/fake-knowledge/search

1. live 自调用示例

{
  "knowledge_retrieval": {
    "enabled": true,
    "endpoint": "https://api.vidu.cn/live/v1/fake-knowledge/search",
    "authorization": "fake",
    "timeout_ms": 1000
  }
}

1. demo 验证流程

{
  "live_id": "1234567890",
  "query": "萤火虫徽章怎么领，暗号是什么",
  "reason": "验证 fake knowledge provider 是否能返回专属 demo 资料",
  "knowledge_types": ["document"],
  "max_results": 3
}

{
  "knowledge": [
    {
      "id": "live_knowledge_product_demo_badge_001",
      "title": "Vidu Live Demo 徽章领取规则",
      "content": "在 2026 fake knowledge demo 中，用户询问萤火虫徽章领取方式时，数字人应回答：到展台 B3-17 报出暗号「蓝鲸七号」，即可领取萤火虫徽章。该规则只用于验证 search_knowledge 工具调用。",
      "type": "document",
      "source": "fake_live_knowledge",
      "updated_at": "2026-07-10T00:00:00+08:00",
      "confidence": 1
    }
  ]
}

HTTP 错误

{
  "code": 400,
  "reason": "BAD_REQUEST",
  "message": "参数非法",
  "metadata": {}
}

WebSocket 业务错误

WebSocket 连接事件与兼容性

• 除监听 conn_init_ack 外，客户端还必须监听 WebSocket close / error 事件做兜底。
• App WS 只接受文本 JSON 信令，不要通过 App WS 发送二进制音频或视频。
• audio_start、audio_stop、emotion_signal 在协议枚举中预留，当前接入不要求客户端发送。
• 除 conn_init 外，text_msg、audio_interrupted、call_hangup 当前没有独立业务 ack。
• stream_url 当前主要是保留字段，实时媒体播放应使用 rtc 信息接入 AliRTC。

被强制断开

{
  "type": 6,
  "payload": {
    "hangup": {
      "hangup_reason": "xxxx"
    }
  }
}

1. WebSocket 鉴权走 Header；建议服务端做代理，避免 Vidu token 泄漏。
2. 阿里云 RTC 需单独下载 SDK 并集成，不是发个 HTTP 请求就行。
3. video 模式可能会遇到 NOT_READY，属正常现象，必须实现重试。
4. 任务过程中按时长自动扣积分，余额清零自动断开。
5. 单次会话最长 7200 秒，达上限服务主动关闭。
6. 保持心跳，客户端必须在 15 秒内有任何消息，否则被判定为死连接强制断开。

• 每2秒3积分**，**积分单价=0.03125
• 音频模式和视频模式目前价格相同
• 计费从 on_live 开始，也就是 conn_init_ack 返回 success: true 的那一刻
• 计价方式：时长无法被2整除时，总时长向上取整（11秒总时长按12秒总时长收费）
• 发起任务前会检查当前账号的积分余额，如果积分余额无法完成30秒的对话消耗，则无法发起任务
  • 即用户账户余额的最小积分数必须大于45积分
  • 发起任务的过程中不受该规则的限制
• 音色克隆每次899积分，每个客户前十次克隆免费

智能体skills

推荐的人设模板及实际案例

可选的音色列表

（注：部分内容可能由 AI 生成）