聯(lián)系我們，獲取一對一客戶服務
合作咨詢
云知聲數(shù)字人通過音頻和視頻多模態(tài)融合、領(lǐng)先的人機對話交互全鏈路技術(shù)，結(jié)合語音識別、語義理解(大模型)、深度學習真人合成、有機融合視覺和聽覺交互感受,提供高度模擬真人交互體驗。廣泛應用于交通客服導覽、交通智能培訓、勤務指揮監(jiān)督、品牌形象代言等服務場景。
云知聲數(shù)字人通過音頻和視頻多模態(tài)融合、領(lǐng)先的人機對話交互全鏈路技術(shù)，結(jié)合語音識別、語義理解(大模型)、深度學習真人合成、有機融合視覺和聽覺交互感受,提供高度模擬真人交互體驗。廣泛應用于交通客服導覽、交通智能培訓、勤務指揮監(jiān)督、品牌形象代言等服務場景。
方案架構(gòu)
方案介紹
真人形象1:1還原定制
先由真人拍攝視頻，后通過AI算法訓練生成，多形象、多音色可選，支持多套服裝、站姿、坐姿，滿足不同使用場景，錄制3分鐘視頻完成形象定制，錄制2分鐘語音完成聲音定制。
3D擬真/卡通數(shù)字人形象定制
高／低擬真的卡通數(shù)字人，需要先設計卡通形象，然后進行3D建模和動作綁定，以精細／低擬的卡通形象與用戶進行交互，整體制作周期一個月。
數(shù)字人引擎
口唇匹配
分析音頻信號提取語音特征，實時驅(qū)動數(shù)字人口型模型變化
- 驅(qū)動口型運動
- 高度匹配語音輸入
- 數(shù)百種口型模板
- 精準表達口型動作
- 真實流暢發(fā)音
面部驅(qū)動
利用深度學習技術(shù)，訓練模型將面部數(shù)據(jù)映射至3D數(shù)字人模型，實現(xiàn)實時應用
- 表情自然逼真
- 語音內(nèi)容驅(qū)動表情及肢體動作
- 豐富表情庫和動作庫
- 支持表情動作定制
動作觸發(fā)
傳感器捕捉慣性動作，AI實時渲染，語音、表情、情感與場景驅(qū)動，實現(xiàn)智能逼真3D數(shù)字人動作
- 動作觸發(fā)驅(qū)動
- 動捕設備驅(qū)動
- 攝像頭驅(qū)動
- 動作庫
感知交互
產(chǎn)品特性:業(yè)界領(lǐng)先降噪算法確保音頻純凈輸入，通過高精度ASR識別和大模型文字理解和意圖識別能力，最后通過端到端TTS技術(shù)將文字合成語音或復刻個性化聲音，TTS在參數(shù)預測部分采用基于tacotron的seg2seg技術(shù)方案，在聲碼器部分采用 WaveNet 的技術(shù)方案，基于GAN和RNN 進行關(guān)鍵點預測和音視頻生成。
認知交互
云知聲山海大模型賦予數(shù)字人多模態(tài)融合認知大腦、感知聲音融合、形成多模態(tài)交互閉環(huán)。應用到軌道交通、公交交通、航空交通、交通樞紐、道路交通等領(lǐng)域、實現(xiàn)知識檢索查詢、智能推理和比對、自動生成內(nèi)容等智能化服務，并配合插件API擴展功能與應用場景。
技術(shù)路線
方案優(yōu)勢
高度逼真的視覺呈現(xiàn)
先進渲染技術(shù)： 運用尖端的圖形渲染技術(shù)，創(chuàng)造出接近真實的數(shù)字人物形象。
動態(tài)表情捕捉： 通過高精度的表情捕捉系統(tǒng)，實現(xiàn)自然流暢的表情變化，增強互動的真實感。
肢體動作模擬： 精細的肢體動作模擬技術(shù)，使得數(shù)字人能夠在各種場景中自然地表達情感和意圖。
智能交互能力
自然語言處理(NLP)： 強大的自然語言處理引警使數(shù)字人能夠理解復雜的語義，進行流暢的人機對話。
情境感知： 能夠根據(jù)不同的場景自動調(diào)整交互策略，提供個性化的服務體驗。
多模態(tài)交互： 支持語音、文字、圖像等多種輸入方式，豐富了用戶與數(shù)字人之間的溝通手段。
一站式解決方案
跨平臺兼容性: 支持多種接入方式，包括H5網(wǎng)頁、微信小程序以及Android和iOS移動應用程序，覆蓋廣泛的用戶群體。
高性能渲染: 采用WebGL、Unitv和UE (Unreal Enaine) 等先進的渲染引擎，確保在不同平臺上都能星現(xiàn)出高質(zhì)量的視覺效果。
實時互動體驗: 兼容多種通信協(xié)議(如RTSP、WebRTC和TRTC)，保了低延遲、高清晰度的實時視頻流傳輸，增強了用戶與動體驗。
高效的內(nèi)容創(chuàng)作
自動化生成： 支持快速創(chuàng)建個性化內(nèi)容，降低內(nèi)容制作成本。
模板化編輯： 提供豐富的模板選擇，簡化內(nèi)容創(chuàng)作流程。
一鍵發(fā)布： 方便快捷地將數(shù)字人內(nèi)容發(fā)布到不同的平臺和渠道。
應用場景
提供服務咨詢、站內(nèi)引導、融合換乘指導、周邊商家等功能
交通領(lǐng)域教育培訓與模擬實訓虛擬數(shù)字人方案
實現(xiàn)對勤務工作的全面監(jiān)控、精準指揮和有效監(jiān)督
青島地鐵吉祥物：青小鐵、青小通
相關(guān)資源