與電腦面談
周密 陶建華 2007/07/06
人機交互技術(shù)(Human-Computer Interaction Techniques)是指通過計算機輸入、輸出設(shè)備，以有效的方式實現(xiàn)人與計算機對話的技術(shù)。隨著計算機的迅速普及，其使用者也從專家一級迅速擴大到了未受過專門訓練的普通用戶，由此強烈地刺激了人機交互界面的進步。
圖2 說話人頭像系統(tǒng)
該模塊首先進行人臉檢測，對眼角、嘴角等特征點進行粗略定位，然后根據(jù)小波變換進行精細定位，最終得到較為精細的人臉表情參數(shù)初始值。之后運用Lucas-Kanade算法進行特征點的跟蹤，利用跟蹤得到的特征點位置首先根據(jù)Ekman的人臉表情編碼規(guī)則進行編碼，然后根據(jù)所得到的編碼結(jié)果進行表情識別。該系統(tǒng)不僅實現(xiàn)了全自動的特征點定位和跟蹤，而且根據(jù)人臉特征點的分布模型，可以對跟蹤時特征點的丟失現(xiàn)象進行補償。
2007-7-1語音識別及理解模塊
語音識別及理解模塊用于自動監(jiān)聽用戶的語音表達內(nèi)容。常用的方法有兩大類: 一種是使用關(guān)鍵詞檢出的方法，主要是找出一句話里有代表意義的詞，根據(jù)這些詞就可以理解整句話的意思，在這種情況下，輸入的語句必須嚴格符合系統(tǒng)所規(guī)定的語法結(jié)構(gòu);
另一種方法是基于連續(xù)語音的搜索，與一般聽寫機不同的是，這種搜索過程會把對話系統(tǒng)所應(yīng)用領(lǐng)域的信息添加進去，這種方法效果比較好，但是在處理集外數(shù)據(jù)時則往往容易表現(xiàn)不穩(wěn)定。
由于天氣查詢是一個限定領(lǐng)域的系統(tǒng)，因此我們選擇了基于關(guān)鍵詞檢索的方法。在識別的過程中: 首先利用聲學模型得到候選子詞序列; 然后在詞法層得到候選詞條序列，最后根據(jù)語法規(guī)則，即語言模型進行句法層的搜索，得到最終的識別結(jié)果。
在模塊工作過程中，系統(tǒng)首先判斷語音識別的結(jié)果是否符合查詢語法，若符合語法，則給出正確的天氣查詢語言。比如已經(jīng)識別出來了“北京” 和“今天”，比照事先制定的語法結(jié)構(gòu)，發(fā)現(xiàn)它們分別屬于“地點”和“時間”類別，所以可以理解為:
“需要查詢北京明天的天氣”。當系統(tǒng)無法識別出用于表達的含義時，會進行智能反饋，保證整個天氣查詢系統(tǒng)正常運行。
在語音處理模塊中，我們還融入了語氣檢測和情感識別算法，能夠動態(tài)地根據(jù)用戶的語音狀態(tài)，判斷該說話人用的是陳述語氣、疑問語氣還是感嘆語氣，在有典型情緒的地方，還能夠輸出該說話人的情感狀態(tài)。這些信息與語音識別結(jié)果一起送入到整個查詢系統(tǒng)的控制模塊中進行集中決策。
說話人頭像模塊
說話人頭像模塊包括語音合成、人臉動畫兩個子模塊。語音合成模塊是為了將天氣查詢獲得信息表達出來。本文中，語音合成模塊是基于中科院自動化所設(shè)計的“繪聲”語音合成系統(tǒng)，該系統(tǒng)能夠?qū)⑷我廨斎氲奈谋�，以連續(xù)自然的聲音朗讀出來，并能夠處理中文普通話、粵語、英語等多種語言或方言。
“面對面的人機交互系統(tǒng)”實現(xiàn)方法，涉及語音合成與識別、表情識別與生成、自然語音理解、多模態(tài)融合方法等多個學科領(lǐng)域。通過本項目的研究，可以對傳統(tǒng)人機交互模式進行革命性的革新，使之更符合現(xiàn)代信息社會獲取信息的需要。同時在無人值守環(huán)境、智能交互平臺、虛擬現(xiàn)實、數(shù)字化娛樂等領(lǐng)域中，均有很強的應(yīng)用性，可以不分語種和人群地提供服務(wù)，對信息服務(wù)業(yè)的長期發(fā)展具有非常重要的意義。
語音合成模塊配上人臉動畫，可以實現(xiàn)栩栩如生的說話人頭像系統(tǒng)，讓用戶感覺到是在與一個虛擬人進行交互。人臉動畫的研究難點是如何與語音合成系統(tǒng)進行配合，既保持語音、唇形、舌位的同步，又要能夠恰如其分地生成不同的表情。
中心控制（CTRL模塊）
中心控制模塊相當于整個虛擬人的“大腦”，它從“眼睛”，“耳朵”處得到對方的語音和表情信息，經(jīng)過處理以后，做出適當反饋，再由說話人頭像系統(tǒng)說出來，它實際上實現(xiàn)了對話管理和多模態(tài)融合兩方面的功能。
對話管理
目前主要的對話管理的控制策略大概有三種，包括基于有限狀態(tài)機(finite-state based)、基于框架(frame based)以及基于代理(agent
based)的控制策略。
在總結(jié)了前人工作經(jīng)驗和結(jié)合本系統(tǒng)的實際問題的基礎(chǔ)上，我們在對話管理的具體實現(xiàn)上，將框架理論和有限狀態(tài)自動機理論相結(jié)合，完成了一個智能的對話管理模塊。我們先將對話管理限制在天氣查詢領(lǐng)域。在系統(tǒng)中，通過人機之間的對話和確認，系統(tǒng)需要得到要查詢的時間和地點信息之后反饋查詢結(jié)果。
我們?yōu)樾枰玫降男畔⑾仍O(shè)計了一個槽結(jié)構(gòu)如下: Slot_name表示槽名，在本系統(tǒng)中就是City和Date。Slot_value 指示該項信息是否已經(jīng)得到，所以有2個狀態(tài):
Known 和Unkown。
圖3中，初始狀態(tài)為Unknown，當收到用戶提供的信息時，槽狀態(tài)轉(zhuǎn)化為Known，即為終止狀態(tài)。當再收到用戶的信息時，槽狀態(tài)不變，只是具體的槽值發(fā)生了變化。
| 空口有憑：用聲音來付賬 2007-06-25 |
| 智能通信終端的關(guān)鍵技術(shù)研究 2007-06-19 |
| 聲控你的系統(tǒng) Vista語音識別全體驗 2007-03-22 |
| 跨國巨頭猛攻語音識別技術(shù) 2007-03-09 |
| 自動語音系統(tǒng)：虛擬人物提供人性化呼叫業(yè)務(wù) 2007-01-23 |