NLP技術(shù)落地最普遍的場景就是智能客服，如阿里的”小蜜“，京東的“JIMI”等等。NLP 技術(shù)也廣泛應(yīng)用于搜索系統(tǒng)。無論是“智能客服”，還是“搜索系統(tǒng)”，構(gòu)建的前提是擁有“高質(zhì)量的QA知識(shí)庫”。今天聊聊“如何構(gòu)建高質(zhì)量QA知識(shí)庫。

歷史對(duì)話數(shù)據(jù)分布分析。

基于公司現(xiàn)有系統(tǒng)積累的大規(guī)模對(duì)話文本數(shù)據(jù)，需要對(duì)文本數(shù)據(jù)進(jìn)行歸類處理，分析每個(gè)部分?jǐn)?shù)據(jù)的占比，挖掘出有價(jià)值的文本通過 NLP 相關(guān)技術(shù)進(jìn)行商業(yè)價(jià)值轉(zhuǎn)化。下文以醫(yī)療領(lǐng)域來舉例說明，通過輸入對(duì)象，可以將文本分為客服輸入和用戶輸入兩部分。挖掘相關(guān)問題，主要從用戶輸入文本出發(fā)，用戶輸入文本根據(jù)問題的類型大致可以分為以下幾種）：

• 基本常識(shí)相關(guān)問題。比如：孕婦飲食需要注意什么？如何進(jìn)行體檢預(yù)約？
• 業(yè)務(wù)相關(guān)問題。比如：（婦科問診）肚子疼怎么辦？針對(duì)該問題，醫(yī)生不能盲目下結(jié)論，需要詢問用戶的一些信息（是否孕期，具體哪里痛等等）。
• 閑聊問題。閑聊文本占比蠻多，不在分析范圍內(nèi)。

通過文本歸納以及數(shù)據(jù)分析，在用戶輸入文本中，基本問題占比34%，業(yè)務(wù)問題占比28%，閑聊問題占比48%。基本問題和業(yè)務(wù)問題是具有價(jià)值的部分，通過挖掘基本問題，我們可以構(gòu)建知識(shí)庫，提供知識(shí)問答檢索系統(tǒng)；通過挖掘業(yè)務(wù)問題，可以設(shè)計(jì)業(yè)務(wù)相關(guān)的多輪對(duì)話模板，完成多輪對(duì)話問答系統(tǒng)。

基本問答對(duì)挖掘。

基本問答對(duì)挖掘分為兩個(gè)步驟第一步：挖掘出高質(zhì)量的疑問句，第二步：挖掘出高質(zhì)量疑問句對(duì)應(yīng)的答案。

如何挖掘出高質(zhì)量疑問句。

1、問題的初步篩選：需要將用戶文本中疑問句挖掘出來，方法包括規(guī)則表達(dá)式和疑問句判別分類模型。

• 規(guī)則表達(dá)式：發(fā)現(xiàn)中文問句的表達(dá)規(guī)律，建立規(guī)則表達(dá)式庫，通過規(guī)則引擎進(jìn)行匹配。比如以“嗎、？什么”等結(jié)尾的句子。
• 疑問句判別分類模型：將疑問句挖掘轉(zhuǎn)換為分類模型：即疑問句和非疑問句，通過人工標(biāo)注數(shù)據(jù)，訓(xùn)練模型，完成疑問句判別任務(wù)。常用的分類模型如TextCNN等。

2、領(lǐng)域詞——問題過濾：通過問句是否含有領(lǐng)域詞完成第 1 步知識(shí)庫的過濾。領(lǐng)域詞庫的建立可以使用如下方法：

• 卡方特征選擇提取領(lǐng)域詞。
• 命名實(shí)體識(shí)別模型完成領(lǐng)域詞的抽取。常用方法：BILSTM+CRF等。

3、相似疑問句的挖掘。

• 聚類分析，挖掘相似的疑問句。
• 句子向量相似度分析
• 答案相似，也可以認(rèn)為問題是相似問題。

接下來我們舉個(gè)例子來說明上述挖掘高質(zhì)量疑問句的方法，假設(shè)領(lǐng)域詞集合：{腹痛}，用戶輸入的文本集合如下：

• 1、腹痛如何治療？
• 2、我能不能退貨？
• 3、肚子疼怎么辦呀
• 4、我已經(jīng)完成了訂單支付。

通過第 1 步，獲取的問句如下（第 4 句不是疑問句）：

• 1、腹痛如何治療？
• 2、我能不能退貨？
• 3、肚子疼怎么辦呀？

通過第 2 步，獲取的問句如下（第 2、3 句不含有領(lǐng)域詞）

• 1、腹痛如何治療？

通過第 3 步，聚類分析，可以發(fā)現(xiàn)第 1 句 和第 3 句是相似的。

• 1、腹痛如何治療？
• 3、肚子疼怎么辦呀？
• 最終完成問句庫的建立即“腹痛如何治療？”對(duì)應(yīng)的疑問句“肚子疼怎么辦呀”。

高質(zhì)量疑問答案選擇。

1、問答拼接。將疑問句對(duì)應(yīng)客服的陳述句作為答案。如果答案長度較短，則按照“就近”原則拼接2-3個(gè)陳述句作為答案。客服回答問題，可能針對(duì)一個(gè)問題通過多個(gè)字句進(jìn)行回答，所以按照“就近”原則將陳述句進(jìn)行拼接。 2、問答對(duì)篩選。針對(duì)第 1 步挖掘出來的QA對(duì)，通過判斷Q和A中是否包含相同的領(lǐng)域詞或者是否擁有相同的子串等策略，完成問答對(duì)的篩選。 3、同類問題如果擁有多種不同的答案，則保留高頻答案。4、運(yùn)營人員協(xié)助，完成 QA 知識(shí)庫的質(zhì)檢。