訂閱
糾錯
加入自媒體

會撒嬌有情感,小米聲學語音技術重磅升級!

2020-06-23 11:15
慧聰電子網
關注

近日,小米發(fā)布了小愛音箱Art,這款音箱采用全新的金屬機身,機身揚聲器開孔被設計成0.7mm厚度的金屬飾板,可謂功能與質感兼具。小米小愛音箱Art通過一顆2.5英寸的全頻揚聲器,讓聲音的細節(jié)呈現(xiàn)得更加自然。

作為小米推出的第9款智能音箱,小米小愛音箱Art在技術上也全面升級,搭載第三代小愛同學,并支持情感化語音交互、全屋播放及就近喚醒。通過這款音箱得以看出,小米的聲學語音技術已經實現(xiàn)全面自研,并在自研部分領域持續(xù)。

情感化語音交互:通過迭代聲學模型,支持情感TTS

對于智能設備而言,實現(xiàn)情感化語音交互是一項挑戰(zhàn)。"情感"本身就是主觀的、多樣的感受,一種情感可以有多種呈現(xiàn)形式,更適合人與人的面對面對話。情感化語音交互對技術要求較高,要技術方、數(shù)據(jù)方、質檢方等多方對情感濃度、情感詮釋方式等標準達成共識,將較主觀的情感音素統(tǒng)一化、標準化。

隨著人工智能技術的發(fā)展,在實現(xiàn)人機對話的基礎上,各大廠商都在情感化語音交互的領域探索。為了讓機器加入情感元素,小米AI實驗室在"情感數(shù)據(jù)量有限"的前提下,通過不同聲學模型、不同聲碼器組合最終上線自然、擬人效果的情感TTS,成為業(yè)內首  家情感化TTS大規(guī)模落地的企業(yè)。

通過小米AI實驗室的不斷深耕,此次小米小愛同學Art全面支持情感化語音交互,基于有限但類型不同的情感音頻數(shù)據(jù)(如開心、關心、害羞、驚訝等),通過不同技術訓練并迭代聲學模型,最終支持情感TTS合成并實現(xiàn)"小愛同學"音感化、擬人化。

未來,小米語音將升級此技術――支持情感TTS實時合成。從下圖中可以看出,在大數(shù)據(jù)集的預訓練模型基礎上,利用目標說話人的中性情感數(shù)據(jù)對網絡進行微調,得到目標說話人的中性情感模型;在此基礎上用帶情感的小批量數(shù)據(jù)對模型進一步微調,最終得到不同情感的模型,最終實現(xiàn)情感合成。

在國內語音助手行業(yè)中,小米首  次實現(xiàn)情感化TTS的大規(guī)模落地,未來將打造情感更加豐富的"小愛同學",為用戶提供多元化的語音交互體驗,為IoT設備增加更豐富更立體更逼真的語音交互體驗。

語音支持全屋播放:立體聲組合同步播放相同音頻

小米小愛音箱Art,是首  款可以實現(xiàn)語音支持全屋播放的設備。用戶直接對小愛同學說"全屋播放XX",無需提前在App端進行手動設置,即可實現(xiàn)一句話語音交互,為用戶提供了更便捷的使用方式。

要實現(xiàn)這一功能,音箱需要具備AIoT放音的技術。小米AIoT放音的自研技術在攻克無線網絡抖動、晶振時鐘漂移以及弱網下數(shù)據(jù)不可達等一系列技術難題后,將不同音箱播放聲音的同步優(yōu)化到微秒級別,同時還實現(xiàn)了在不同型號的音箱之間的數(shù)據(jù)同步,提供更細膩的音質和寬廣的聲像。

由這張圖可見,立體聲支持APP創(chuàng)建組網,才能進行語音指令和APP操作播放,全屋播放同時支持語音指令和APP創(chuàng)建組網。

立體聲功能同時支持語音指令和app操作播放,云端音頻流下發(fā)至音箱A,音箱A將立體聲分離為左右聲道,音箱A自己播放左聲道音頻并將右聲道音頻流下發(fā)給音箱B,由B音箱播放右聲道,精準的同步技術保證音箱A和B同時播放立體聲的左右聲道音頻。全屋播放功能支持語音指令和app創(chuàng)建組網,音頻流下發(fā)至音箱C,音箱C將音頻流混合為單聲道信號并下發(fā)給組內其他的音箱設備同時播放,不區(qū)分聲道,可支持多個設備。

1  2  下一頁>  
聲明: 本文系OFweek根據(jù)授權轉載自其它媒體或授權刊載,目的在于信息傳遞,并不代表本站贊同其觀點和對其真實性負責,如有新聞稿件和圖片作品的內容、版權以及其它問題的,請聯(lián)系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關注公眾號
    OFweek人工智能網
    獲取更多精彩內容
    文章糾錯
    x
    *文字標題:
    *糾錯內容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網安備 44030502002758號