前端語(yǔ)音處理，利用信號(hào)處理的方法對(duì)說(shuō)話人的語(yǔ)音進(jìn)行檢測(cè)、降噪等預(yù)處理，以便得到最適合語(yǔ)音識(shí)別引擎處理的語(yǔ)音，其主要功能包括端點(diǎn)檢測(cè)VAD、流式語(yǔ)音智能斷句和噪音消除。

　　語(yǔ)音端點(diǎn)檢測(cè)是對(duì)輸入的音頻流進(jìn)行分析，確定客戶說(shuō)話的起點(diǎn)和終止點(diǎn)的處理過(guò)程。一旦檢測(cè)到客戶開(kāi)始說(shuō)話，語(yǔ)音開(kāi)始流向識(shí)別引擎，直到檢測(cè)到客戶說(shuō)話結(jié)束。這種方式能夠使得識(shí)別引擎在客戶說(shuō)話的同時(shí)開(kāi)始進(jìn)行識(shí)別，做到最大限度的即時(shí)處理。

　　1、基于語(yǔ)音信號(hào)的特征，用能量，過(guò)零率，熵(entropy)，音高(pitch)等參數(shù)以及它們的衍生參數(shù)，來(lái)判斷信號(hào)流中的語(yǔ)音/非語(yǔ)音信號(hào)。

　　2、在信號(hào)流中檢測(cè)到語(yǔ)音信號(hào)后，判斷此處是否是語(yǔ)句的開(kāi)始或結(jié)束點(diǎn)。在商用語(yǔ)音系統(tǒng)中，由于信號(hào)多變的背景和自然對(duì)話模式而更容易使得句中有停頓(非語(yǔ)音)，特別是在爆發(fā)聲母前總會(huì)有無(wú)聲間隙。因此，這種開(kāi)始/結(jié)束的判定尤為重要。

　　減少識(shí)別器的數(shù)據(jù)處理量�？梢源罅繙p少信號(hào)傳輸量及識(shí)別器的運(yùn)算負(fù)載，對(duì)于語(yǔ)音對(duì)話的實(shí)時(shí)識(shí)別有重要作用。

　　拒絕非語(yǔ)音的信號(hào)。對(duì)非語(yǔ)音信號(hào)的識(shí)別不僅是一種資源浪費(fèi)，而且有可能改變對(duì)話的狀態(tài)，造成對(duì)用戶的困擾。

　　在需要打斷(barge-in)功能的系統(tǒng)中，語(yǔ)音的起始點(diǎn)是必須的。在端點(diǎn)檢測(cè)找到語(yǔ)音的起始點(diǎn)時(shí)，系統(tǒng)將停止提示音的播放。完成打斷功能。

　　隨著語(yǔ)音識(shí)別應(yīng)用的發(fā)展，越來(lái)越多的系統(tǒng)將打斷功能作為一種方便有效的應(yīng)用模式。

　　而打斷功能又直接依賴端點(diǎn)檢測(cè)，端點(diǎn)檢測(cè)對(duì)打斷功能的影響發(fā)生在判斷語(yǔ)音/非語(yǔ)音的過(guò)程出現(xiàn)錯(cuò)誤時(shí)，表現(xiàn)在過(guò)于敏感的端點(diǎn)檢測(cè)產(chǎn)生的語(yǔ)音信號(hào)的誤警將產(chǎn)生錯(cuò)誤的打斷。

　　例如，提示音被很強(qiáng)的背景噪音或其它人的講話打斷，是因?yàn)槎它c(diǎn)檢測(cè)錯(cuò)誤的將這些信號(hào)作為有效語(yǔ)音信號(hào)造成的。反之，如果端點(diǎn)檢測(cè)漏過(guò)了事實(shí)上的語(yǔ)音部分，而沒(méi)有檢測(cè)到語(yǔ)音，系統(tǒng)會(huì)表現(xiàn)出沒(méi)有反應(yīng)。

　　在用戶講話時(shí)還在播放提示音，端點(diǎn)檢測(cè)對(duì)識(shí)別系統(tǒng)的識(shí)別效果影響也很大。語(yǔ)音信號(hào)的起始點(diǎn)和結(jié)束點(diǎn)判斷有誤，有可能影響整個(gè)信號(hào)的完整性。在語(yǔ)句的開(kāi)頭或結(jié)尾漏掉一些有用的數(shù)據(jù)。當(dāng)這種情況發(fā)生時(shí)，很可能對(duì)識(shí)別的準(zhǔn)確度有特別大影響，不完全的信息會(huì)使識(shí)別率降低。

　　端點(diǎn)檢測(cè)的精確度高。

　　更好的背景噪聲和語(yǔ)音模型：使系統(tǒng)對(duì)背景噪聲，其它說(shuō)話人和非語(yǔ)音的聲音有很好的拒絕功能。

　　默認(rèn)的系統(tǒng)相關(guān)參數(shù)有很好的適用性，而在有需要的現(xiàn)實(shí)環(huán)境中，可以通過(guò)系統(tǒng)調(diào)節(jié)來(lái)適應(yīng)通話環(huán)境，改善端點(diǎn)檢測(cè)的效果。

　　對(duì)信道有自適應(yīng)能力：在對(duì)話開(kāi)始后能很快適應(yīng)當(dāng)前的信道特征，使得端點(diǎn)檢測(cè)的準(zhǔn)確度有進(jìn)一步提高。

　　獨(dú)特的識(shí)別服務(wù)器的反饋和非語(yǔ)音持續(xù)時(shí)間雙重結(jié)束點(diǎn)判定功能，有效的改善了語(yǔ)音結(jié)束點(diǎn)的判定，特別是對(duì)較長(zhǎng)的語(yǔ)句效果更加突出。

　　基于可靠的端點(diǎn)檢測(cè)技術(shù)和智能反饋，智能打斷功能不僅應(yīng)該在一般的環(huán)境下工作出色，而且能有效的拒絕環(huán)境噪聲，非語(yǔ)音的高強(qiáng)噪聲(呼吸，關(guān)門等)環(huán)境中其它人的聲音。

　　現(xiàn)有的語(yǔ)音處理方案是先用語(yǔ)音活動(dòng)檢測(cè)模塊對(duì)語(yǔ)音進(jìn)行斷句，再將斷開(kāi)的語(yǔ)音進(jìn)行自動(dòng)語(yǔ)音識(shí)別。但是，在電話語(yǔ)音交互場(chǎng)景中，VAD面臨著兩個(gè)難題：

　　01如何可以成功檢測(cè)到最低能量的語(yǔ)音(靈敏度)？

　　02如何在多變的復(fù)雜噪聲環(huán)境下成功檢測(cè)（漏檢率和虛檢率）？

　　漏檢反應(yīng)的是原本是語(yǔ)音但是沒(méi)有檢測(cè)出來(lái)，而虛檢率反應(yīng)的是不是語(yǔ)音信號(hào)而被檢測(cè)成語(yǔ)音信號(hào)的概率。相對(duì)而言漏檢是不可接受的，而虛檢可以通過(guò)后端的ASR和NLP算法進(jìn)一步過(guò)濾，但是虛檢會(huì)帶來(lái)系統(tǒng)資源利用率上升，以及造成響應(yīng)不及時(shí)。

　　對(duì)于在目標(biāo)人交互語(yǔ)音前發(fā)生虛檢，主要問(wèn)題是增加ASR識(shí)別處理數(shù)據(jù)量，如下圖所示：

　　對(duì)于在目標(biāo)人交互語(yǔ)音后發(fā)生虛檢，不僅增加ASR識(shí)別處理數(shù)據(jù)量，還會(huì)造成響應(yīng)不及時(shí)。

　　現(xiàn)有語(yǔ)音處理方案存在斷句不準(zhǔn)確的問(wèn)題，主要有兩個(gè)主要缺點(diǎn)：

　　一是無(wú)法過(guò)濾噪音和無(wú)效的語(yǔ)音；

　　另外就是對(duì)說(shuō)話人的要求較高，中間不能有停頓，如果句間停頓時(shí)長(zhǎng)設(shè)置的太短，容易造成截?cái)啵痪溟g停頓時(shí)長(zhǎng)設(shè)置太長(zhǎng)，又會(huì)造成響應(yīng)不及時(shí)。

　　如下圖所示：

　　流式語(yǔ)音智能斷句模塊是主要由語(yǔ)音識(shí)別模塊、信息流聚合模塊、動(dòng)態(tài)窗口設(shè)定模塊、斷句識(shí)別模塊構(gòu)成。其中：

　　語(yǔ)音識(shí)別模塊用于接收并識(shí)別語(yǔ)音實(shí)時(shí)流，并按照指定的頻率輸出帶有時(shí)序的語(yǔ)音識(shí)別結(jié)果；

　　信息流聚合模塊用于對(duì)帶有時(shí)序的語(yǔ)音識(shí)別結(jié)果進(jìn)行優(yōu)化處理，并整合經(jīng)過(guò)優(yōu)化處理后的帶有時(shí)序的語(yǔ)音識(shí)別結(jié)果，以形成語(yǔ)音識(shí)別結(jié)果序列；

　　動(dòng)態(tài)窗口設(shè)定模塊用于從語(yǔ)音識(shí)別結(jié)果序列中選擇指定范圍的文本，進(jìn)而將指定范圍的文本用于斷句分析；

　　斷句識(shí)別模塊用于分析指定范圍的文本的語(yǔ)義，并根據(jù)語(yǔ)義確定是否進(jìn)行斷句。

　　引擎具備噪音消除功能，在實(shí)際應(yīng)用過(guò)程中背景噪聲對(duì)于語(yǔ)音識(shí)別應(yīng)用是一個(gè)現(xiàn)實(shí)的挑戰(zhàn)，即便說(shuō)話人處理安靜的辦公室環(huán)境，在電話語(yǔ)音通話過(guò)程中也難免會(huì)有一定噪聲，語(yǔ)音識(shí)別系統(tǒng)需具備高效的噪音消除能力，以適應(yīng)客戶在千差萬(wàn)別的環(huán)境中使用的要求。

　　關(guān)于語(yǔ)音識(shí)別前端處理的介紹就到這了，壹鴿科技后續(xù)將會(huì)為大家?guī)��?lái)更多相關(guān)的技術(shù)講解，敬請(qǐng)期待把！