國外基于知識庫的問答系統(tǒng)相關(guān)研究進(jìn)展及其啟示*

錢明輝，徐志軒

中國人民大學(xué)信息資源管理學(xué)院，北京，100872

摘要：本文首先在Web of Science上檢索國外三年內(nèi)關(guān)于知識庫問答系統(tǒng)的最新相關(guān)研究，介紹了知識庫問答系統(tǒng)研究在計算機(jī)信息檢索領(lǐng)域和自然語言處理領(lǐng)域的發(fā)展進(jìn)程；再從目前最前沿的相關(guān)研究出發(fā)，介紹了兩種主要解決知識庫問答系統(tǒng)的自然語言處理方法；最后探討了國外最前沿的研究成果為國內(nèi)知識庫問答系統(tǒng)以及自然語言處理相關(guān)研究帶來的啟示，并對未來研究前景進(jìn)行了展望。

關(guān)鍵詞：知識庫問答系統(tǒng)；自然語言處理。

一、知識庫問答系統(tǒng)相關(guān)研究的發(fā)展進(jìn)程

有關(guān)于問答系統(tǒng)的研究在自然語言處理領(lǐng)域和信息檢索相關(guān)研究領(lǐng)域已經(jīng)有了相當(dāng)長的研究歷史。早期人們對于問答系統(tǒng)研究的動機(jī)和需求主要來自于信息檢索系統(tǒng)的自動化，人們尋求一種計算機(jī)檢索系統(tǒng)可以自動并且準(zhǔn)確地理解人的信息需求，以便于找到合適的信息。所以，早期的問答系統(tǒng)解決方法主要是基于信息檢索的技術(shù)。比如在（Unger, C.et al,2012）中，傳統(tǒng)的問答系統(tǒng)都是將問題轉(zhuǎn)換為RDF三元組的形式，再通過三元組在知識庫中檢索可能的候選答案，但是作者認(rèn)為單純使用RDF三元組無法準(zhǔn)確的表達(dá)問題真正的含義，尤其是對于較為復(fù)雜的問題，RDF三元組很難回答出準(zhǔn)確答案。于是作者提出了一種更為復(fù)雜的問題解析方法，即引入“SPARQL”模式來代替原有的簡單RDF三元組?！癝PARQL”模式是一種專門用于RDF的查詢語言和數(shù)據(jù)獲取協(xié)議，通過“SPARQL”的引入，可以更準(zhǔn)確的表達(dá)提問的邏輯關(guān)系，從而提高解析提問的正確率。同時另一篇文章（Yahya.et al,2012）在處理web中的自然語言提問時，也利用了“SPARQL”模式對自然語言提問進(jìn)行拆分和進(jìn)一步的語義分析。這種處理自然語言提問的方法的主要思路是將問題轉(zhuǎn)換為RDF三元組或者更為復(fù)雜的“SPARQL”形式，即抽取問題中最核心的信息，然后在知識庫中進(jìn)行檢索，之后對檢索結(jié)果進(jìn)行排序，選擇最可能的答案。其主要缺陷是對問題解析不夠準(zhǔn)確，盡管使用“SPARQL”來表示問題中的邏輯關(guān)系，也仍然是基于三元組的形式，對于邏輯關(guān)系更為復(fù)雜的問題無法準(zhǔn)確理解，其次對于候選答案的選擇和排序的準(zhǔn)確率也不是非常理想。

隨著自然語言處理技術(shù)的不斷發(fā)展，對于自然語言問答系統(tǒng)的解決方案目前主要有兩種形式，一種是基于語義分析的方法，即利用語義分析的方法對提問進(jìn)行解析，將自然語言的提問轉(zhuǎn)換成更高級的表達(dá)形式或者標(biāo)準(zhǔn)提問語句。最終目標(biāo)是解析提問的語義，將其轉(zhuǎn)換為邏輯形式來準(zhǔn)確表達(dá)自然語言提問的含義。然后直接通過邏輯表達(dá)式在知識庫中匹配正確的答案，不再需要找到大量候選答案，然后挑選可能性最大的答案。與之相反，另一種處理自然語言提問的方法是基于信息抽取。這種方法不去理解提問的邏輯或含義，而是抽取提問中重要的核心話題實體和關(guān)系，然后在知識庫中搜索核心實體幾跳以內(nèi)的候選答案實體。最后計算候選答案與提問文本的相似性或相關(guān)性，來選取可能的最佳答案。

二、基于語義分析的問答系統(tǒng)研究

首先來看近三年來基于語義分析技術(shù)的問答系統(tǒng)相關(guān)研究。傳統(tǒng)的基于語義分析的問答系統(tǒng)一般來說都是通過人工標(biāo)注的邏輯詞表，在小范圍內(nèi)進(jìn)行有監(jiān)督的機(jī)器學(xué)習(xí)。這種方式有非常大的缺陷，最主要的問題之一就是通過監(jiān)督學(xué)習(xí)，并且依賴于人工標(biāo)注，這就導(dǎo)致在大規(guī)模的知識庫中表現(xiàn)不佳，遇到在監(jiān)督學(xué)習(xí)中沒有學(xué)習(xí)過的樣本就很難處理。（Cai, Q., & Yates, A. 2013）的研究目的就是在傳統(tǒng)監(jiān)督學(xué)習(xí)的基礎(chǔ)上，建立了一種可以用于大規(guī)模知識庫問答系統(tǒng)的半監(jiān)督學(xué)習(xí)模型，以解決純監(jiān)督學(xué)習(xí)的語義分析方法在知識庫問答系統(tǒng)中存在的問題。首先作者依然使用了純監(jiān)督學(xué)習(xí)的方法進(jìn)行了一個語義分析器的訓(xùn)練，之后作者開發(fā)了一個匹配算法在知識庫中找到與詞匯相關(guān)的標(biāo)識，最后作者建立了一個詞匯擴(kuò)展器，將詞匯和知識庫中的相關(guān)標(biāo)識聯(lián)系在一起，并且可以不斷添加新的詞匯和知識庫相關(guān)標(biāo)識，最終完成學(xué)習(xí)。這種半監(jiān)督學(xué)習(xí)模型雖然性能比傳統(tǒng)的方法有了較大提升，但仍然無法完全擺脫對人工標(biāo)注的依賴，同時對詞匯擴(kuò)展器中詞匯與相關(guān)標(biāo)識的正確度要求較高，所以仍然存在一些問題。

在（Kwiatkowski, T.et al,2013）中作者發(fā)現(xiàn)在傳統(tǒng)的語義分析解決知識庫問答系統(tǒng)的方法中，由于對同一問題自然語言表述的多樣性，導(dǎo)致對相近提問的語義分析結(jié)果，即邏輯表達(dá)式會有所差異。因為在知識庫中實體間的關(guān)系是唯一的，這就會產(chǎn)生邏輯表達(dá)式與知識庫的關(guān)系無法匹配的情況從而降低了問答系統(tǒng)的性能。其次，面對大范圍的知識庫，依賴于人工標(biāo)記的邏輯形式是不現(xiàn)實的。于是作者提出了一種基于本體匹配并且不依賴與人工詞匯觸發(fā)器的解決方法。這種方法分為兩個步驟，首先對問題進(jìn)行不依賴與知識庫或者人工詞匯觸發(fā)器的語義分析，允許產(chǎn)生不明確的邏輯表達(dá)式，或者說允許產(chǎn)生對相近含義的提問產(chǎn)生不同類型的邏輯形式。之后第二步就是作者提出的本體匹配模型，在這種模型下，針對知識庫中不同領(lǐng)域內(nèi)的本體或者關(guān)系，將產(chǎn)生的不明確的邏輯表達(dá)式轉(zhuǎn)換成能夠與知識庫中本體匹配的明確邏輯形式，從而提高問答系統(tǒng)的對不同表達(dá)的相似提問的處理能力。

（Berant, J., Chou, A.et al,2013）作為提出了一個行之有效的擺脫人工標(biāo)注的語義分析學(xué)習(xí)方法的文章，使得后期很多的相關(guān)研究都以其研究成果作為比較的對象。在這篇文章中，為解決語義分析中對人工標(biāo)注的依賴，作者提出了一種基于問題答案對的學(xué)習(xí)方法。首先作者使用了λ-DCS語言來構(gòu)成提問的邏輯表達(dá)式。由于自然語言的復(fù)雜性，導(dǎo)致對提問的語義分析會產(chǎn)生很多可能的候選邏輯表達(dá)式。作者等人的主要貢獻(xiàn)就是設(shè)計了一種學(xué)習(xí)算法，可以通過正確答案的邏輯表達(dá)式，訓(xùn)練得到一個向量，使得其與最正確的邏輯表達(dá)式的內(nèi)積最大。得到該向量后，即使針對陌生的新問題也可以找到最符合的邏輯表達(dá)式，從而在知識庫中找到符合邏輯的答案。

（Berant, J., & Liang, P. 2014）是對上一個研究的進(jìn)一步深入。在2014年的這篇文章中，Berant等人認(rèn)為2013年的模型較為粗糙，直接將候選邏輯表達(dá)式和正確答案的邏輯表達(dá)式進(jìn)行匹配。在2014年的研究中，作者等人提出了一種更為復(fù)雜的模型來進(jìn)行學(xué)習(xí)。其主要的貢獻(xiàn)是在對提問進(jìn)行語義分析，生成邏輯表達(dá)式的過程中，增加了一步轉(zhuǎn)義。主要的過程是先通過粗糙語義分析，生成一些候選邏輯表達(dá)式，其次通過候選邏輯表達(dá)式生成與原提問語義相近的規(guī)范自然語言表達(dá)，再通過語義相似度的計算方法，找到與原提問最相似的規(guī)范自然語言提問，再生成可能正確的邏輯表達(dá)式。最后通過正確答案的邏輯表達(dá)式，來訓(xùn)練模型。Berant等人的兩種方法盡管仍沒有完全解決知識庫問答系統(tǒng)的問題，但對基于語義分析方法的研究產(chǎn)生了很大的影響。

除了以上利用語義分析產(chǎn)生邏輯表達(dá)式的思路，還有另一種語義分析來解決知識庫問答系統(tǒng)問題的思路，即語義分析拓?fù)鋱D與知識庫實體關(guān)系拓?fù)鋱D的匹配。如（Reddy, S.et al,2014）提出在大規(guī)模的知識庫中解決自然語言問答系統(tǒng)的問題，既不基于人工標(biāo)注的學(xué)習(xí)方法，也不利用正確的問題答案對進(jìn)行訓(xùn)練，而是利用對自然語言提問的語義分析產(chǎn)生的邏輯關(guān)系拓補(bǔ)圖與知識庫中的實體關(guān)系拓補(bǔ)圖進(jìn)行匹配，作者認(rèn)為在這兩者之間有許多的共性。作者使用CGC語義分析算法將自然語言提問轉(zhuǎn)換成邏輯關(guān)系拓補(bǔ)圖，然后將其與知識庫中已經(jīng)存在的實體關(guān)系圖進(jìn)行相似度計算，找到相似度最大的子實體關(guān)系圖，最后根據(jù)邏輯關(guān)系圖中未知答案的位置，在匹配的實體關(guān)系圖中相同的位置找到合理的答案。其研究為語義分析方法解決知識庫問答系統(tǒng)提供了一種全新的思路。

（Wen-tau Yih,et al,2015）也是基于邏輯拓?fù)鋱D匹配的思路出發(fā)，更加深入的創(chuàng)新了一種方法。作者等人最大的創(chuàng)新點在于直接利用知識庫中的實體關(guān)系，分階段逐步生成與提問含義最相近的完整邏輯拓?fù)鋱D。首先，該方法第一步是選取自然語言提問中可能的候選核心實體，然后第二步針對每個可能的核心實體和關(guān)心逐步生成候選核心鏈，第三步利用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法來找到與提問含義最相近的核心鏈，最后一步將一些限定條件添加到核心鏈中，最終得到與提問含義最相近的完整邏輯關(guān)系拓補(bǔ)圖，從而根據(jù)需求的未知答案在圖中的位置，得到正確可能性最大的答案。

有關(guān)語義分析方法解決知識庫問答系統(tǒng)問題還有其他許多有趣的研究，如（Fader, Anthony,et al,2014）提出了一種OQA的方法，既可以應(yīng)用于FREEBASE這種規(guī)范化、結(jié)構(gòu)化的知識庫，也可以應(yīng)用于覆蓋面更為廣泛的Open Information Extraction這種基于信息抽取的知識庫，其方法的主要過程仍然是基于對自然語言提問的轉(zhuǎn)義，語義分析，邏輯表達(dá)式的生成和答案的匹配，其創(chuàng)新點在于引入了OQA問答系統(tǒng)；其次提出了一種找到高可靠性答案的算法，并設(shè)計了一個感知機(jī)模型來進(jìn)行答案的打分；最后開發(fā)了一個自動化的提問轉(zhuǎn)義和重寫的算法。（Bao, J.,et al,2014）的研究主要是通過引入了CYK語義分析方法，將自然語言提問的表達(dá)式轉(zhuǎn)換和答案查找合并成一個過程。以及（Yih, W. T.,et al,2014）的研究將注意力主要集中在單關(guān)系的自然語言問答系統(tǒng)的語義分析上，通過卷積神經(jīng)網(wǎng)絡(luò)模型來計算提問中出現(xiàn)的實體與知識庫中的實體在關(guān)系模式上的相似度，然后選擇相似度最高的三元組來作為問題的答案，盡管取得了一些成果，但是在處理較為復(fù)雜的多關(guān)系的問題時，仍然力不從心。

三、基于信息抽取的問答系統(tǒng)研究

在介紹了基于語義分析的知識庫問答系統(tǒng)的相關(guān)研究后，接下來了解另一種處理自然語言提問的思路，即基于自然語言提問信息抽取的方法的問答系統(tǒng)研究。在關(guān)于信息抽取方法的研究中，最具有代表性的便是（Yao, X., & Durme, B. V. 2014），在這篇文章中，作者認(rèn)為即使語義分析方法十分流行，信息抽取的方法在性能上依然能與語義分析法相媲美。作者首先將問題中有意義的詞和關(guān)系抽取出來，并根據(jù)其關(guān)系生成一個關(guān)系圖，然后根據(jù)抽取出的詞確定一些核心話題詞，之后在知識庫中根據(jù)這些核心詞周圍幾跳內(nèi)的關(guān)系和實體抽取出一個知識庫的關(guān)系圖。作者認(rèn)為通過這樣的抽取，在知識庫關(guān)系圖中應(yīng)該包含有正確的答案，然后作者將問題關(guān)系圖中的所有節(jié)點作為問題的特征，將知識庫關(guān)系圖中的所有節(jié)點作為知識庫關(guān)系圖的特征。將兩者的特征進(jìn)行相似度比較，相似度高的知識庫中的節(jié)點獲得高分，反之獲得低分，最后的沿著得分最高的節(jié)點一路走下去就是答案。在該研究中，作者證明了基于信息抽取的方法相較于語義分析法是有一定的可取性的。

隨著詞嵌入技術(shù)的發(fā)展，對于基于信息抽取解決知識庫問答系統(tǒng)的研究有非常顯著的提升。（Antoine Bordes,et al,2015）就將詞嵌入技術(shù)與知識庫開發(fā)問答系統(tǒng)相結(jié)合起來。在這篇文章中，作者認(rèn)為在語義分析解決問答系統(tǒng)的研究中，仍然需要人工標(biāo)注，仍然是有監(jiān)督的學(xué)習(xí)，智能化不足。于是其提出了引入詞嵌入技術(shù)，省去了語義分析，直接將自然語言提問轉(zhuǎn)換成低維向量，同時將與問題相關(guān)的候選答案的三元組也轉(zhuǎn)換為向量。再利用正確答案進(jìn)行模型訓(xùn)練，在實際應(yīng)用中將相似度最高的候選答案作為最終答案。在文章中，作者還提出了一些計算向量相似度的優(yōu)化算法，并進(jìn)行了比較。

在引入了詞嵌入技術(shù)之后，Bordes對其進(jìn)行了更加深入的研究。在（Bordes, A.et al,2014）中，作者對其之前的模型進(jìn)行了優(yōu)化，其主要貢獻(xiàn)有兩點。第一，作者引入了同義提問進(jìn)行模型的輔助訓(xùn)練，以提高模型應(yīng)對復(fù)雜的長路徑問題的能力。由于自然語言的復(fù)雜性，對含義相近的問題有多種表達(dá)方式，當(dāng)簡單的問題換一種復(fù)雜表述時，機(jī)器模型處理能力就會下降。為了解決這一問題，作者增加了自然語言問題轉(zhuǎn)義的訓(xùn)練。第二，作者對候選答案的向量表示更加細(xì)化，不再僅僅將答案三元組轉(zhuǎn)換為向量，而是從答案的實體，關(guān)系路徑和子關(guān)系圖三個方面出發(fā)，更加全面的構(gòu)成表示答案的低維向量。

在Bordes等人提出了將詞嵌入技術(shù)引入知識庫問答系統(tǒng)之后，許多研究者受到啟發(fā)，對這種方式進(jìn)行了更加深入的研究。如（Li Dong.et al,2015）在Bordes的研究基礎(chǔ)上，提出了一種多列卷積神經(jīng)網(wǎng)絡(luò)的模型來計算問題向量和候選答案向量直接的相似度。在這篇研究中，作者等人的貢獻(xiàn)主要體現(xiàn)在從三個不同的方面來比較問題和答案的相似性，即知識庫中候選答案實體的關(guān)系路徑，上下文聯(lián)系和答案類型。作者利用正確問題答案訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，對自然語言提問分別生成三個方面的表示向量，之后與候選答案的三個方面的向量分別進(jìn)行打分計算，將結(jié)果相加，總和得分最高的答案作為最佳答案。

在詞嵌入技術(shù)顯示出強(qiáng)大性能的同時，有研究者在嘗試將詞嵌入技術(shù)與語義分析方法的優(yōu)勢相結(jié)合，解決語義分析方法中的劣勢，同時提升知識庫問答系統(tǒng)的性能。（Yang, M. C.et al,2014）就提出了一種新的方法，將詞嵌入技術(shù)與邏輯表達(dá)式相結(jié)合，但是省去了對自然語言提問的語義分析過程。在研究中，作者認(rèn)為在語義分析方法中的優(yōu)勢之一就是利用了邏輯表達(dá)式作為對提問的解析形式，邏輯關(guān)系清晰所以答案的可靠性較高；但是缺陷就是語義分析的過程難度較大，由于自然語言的復(fù)雜性，對同一問題的不同描述數(shù)量非常大。語義分析往往基于實體間關(guān)系的人工標(biāo)注，但是成本很高效率很低。為解決這一問題，作者利用了詞嵌入技術(shù)，將提問和候選的邏輯表達(dá)式轉(zhuǎn)換成向量形式，通過比較二者之間的相似度，來確定最合適的邏輯表達(dá)式，最終在知識庫中確定正確答案。此研究與信息抽取方法最大的不同是其不直接比較提問與答案間向量的相似度，而是計算邏輯表達(dá)式與提問間的相似度，既保留了語義分析法的邏輯清晰的優(yōu)勢，又加入了信息抽取方法中模型簡單的優(yōu)勢，是兩種方法優(yōu)勢的結(jié)合。

四、國外前沿研究成果的啟示

首先，根據(jù)國外最前沿的一些研究成果，我們可以發(fā)現(xiàn)，想要建立一個成熟的知識庫自然語言問答系統(tǒng)是一項非常復(fù)雜的工作。由于人類自然語言本身的復(fù)雜性，再加上目前計算機(jī)技術(shù)的局限性，使得計算機(jī)進(jìn)行自然語言的準(zhǔn)確理解和處理是非常困難的。然而建立一個知識庫問答系統(tǒng)的關(guān)鍵就在于解決計算機(jī)在自然語言理解上的難題。盡管隨著機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展，乃至于在計算機(jī)深度學(xué)習(xí)領(lǐng)域的研究也取得了長足的進(jìn)步，尤其在一些國外的前沿研究中不斷應(yīng)用新的優(yōu)化算法，但是最終計算機(jī)對自然語言提問的回答準(zhǔn)確率依然無法達(dá)到可以接受的水平。目前這些不盡如人意的實驗結(jié)果一方面說明實現(xiàn)一個成熟的知識庫自然語言問答系統(tǒng)是一項具有挑戰(zhàn)性的研究；另一方面也說明在知識庫自然語言問答系統(tǒng)的研究領(lǐng)域仍然有很大發(fā)展空間。

其次，要真正建立一個成熟的知識庫自然語言問答系統(tǒng)，實現(xiàn)計算機(jī)自然語言的無監(jiān)督學(xué)習(xí)是十分必要的。盡管目前計算機(jī)在無監(jiān)督學(xué)習(xí)下的自然語言處理結(jié)果相比有監(jiān)督的學(xué)習(xí)準(zhǔn)確度且更為復(fù)雜，但是計算機(jī)對自然語言的無監(jiān)督學(xué)習(xí)是實現(xiàn)真正意義上的智能問答系統(tǒng)的必然趨勢。在有監(jiān)督學(xué)習(xí)下建立的問答系統(tǒng)有一個最致命的缺陷就是無法處理新的知識，即無法處理沒有標(biāo)注過的內(nèi)容。由于人類自然語言的復(fù)雜性，再加上人類語言自身仍在不斷變化和更新，難以通過人工標(biāo)注的方式將所有自然語言的詞匯全部囊括到知識庫中。這就需要計算機(jī)有自主學(xué)習(xí)的能力，通過知識庫中已有的知識來不斷學(xué)習(xí)新的內(nèi)容。計算機(jī)有自主更新知識庫的能力是其實現(xiàn)真正智能的自然語言問答系統(tǒng)的前提。

最后，詞嵌入這種將自然語言抽象化，向量化的方法是目前解決計算機(jī)自然語言處理的發(fā)展方向。由國外對基于知識庫的自然語言問答系統(tǒng)相關(guān)研究可以發(fā)現(xiàn)，無論是用語義分析方法進(jìn)行自然語言處理的研究，還是用信息抽取方法進(jìn)行自然語言處理的研究，最終都選擇了將詞嵌入法與自身相結(jié)合的發(fā)展方向，說明詞嵌入法或者說自然語言向量化對整個自然語言處理研究領(lǐng)域以及知識庫問答研究領(lǐng)域都產(chǎn)生了深遠(yuǎn)的影響。其中主要的原因就在于詞嵌入技術(shù)最大的特點，其真正實現(xiàn)了將人類的自然語言轉(zhuǎn)換成計算機(jī)可以處理的抽象化的向量，為計算機(jī)真正理解自然語言提供了基礎(chǔ)。因此，國內(nèi)在知識庫問答系統(tǒng)以及自然語言處理方面的研究中也要將詞嵌入技術(shù)和其它能夠把自然語言抽象化的技術(shù)重視起來，與自身的研究相結(jié)合，把握解決問題的正確方向。

五、結(jié)語

由于自然語言處理技術(shù)的不斷發(fā)展，有關(guān)知識庫問答系統(tǒng)的研究也取得了長足的進(jìn)步。一個具有高度人工智能的自然語言問答系統(tǒng)將會為整個社會帶來重大改變。比如人們可以更高效的獲取信息和知識，人類將從復(fù)雜信息檢索和信息篩選中解放出來；其次對于企業(yè)來說，高智能的自然語言問答系統(tǒng)可以為其降低與客戶的溝通成本，將繁瑣的客服工作交給計算機(jī)完成；從社會的角度來看，自然語言問答系統(tǒng)的實現(xiàn)標(biāo)志著計算機(jī)真正做到了對信息的理解，是人工智能技術(shù)里程碑式的進(jìn)步，也意味著人類社會處理信息的能力又上了一個臺階。盡管目前的成果仍然無法完全解決知識庫問答系統(tǒng)存在的問題，比如完全無監(jiān)督的學(xué)習(xí)，真正對自然語言提問的語義理解，大規(guī)?；R庫的問答系統(tǒng)，以及可以接受的回答正確率等等。但在未來的研究中，仍然有很多問題值得進(jìn)一步的研究和探討，隨著機(jī)器學(xué)習(xí)和人工智能技術(shù)的不斷發(fā)展，完全解決知識庫問答系統(tǒng)問題的未來指日可待。

參考文獻(xiàn)

1.Unger, C., Bühmann, L., Lehmann, J., Ngonga Ngomo, A. C., Gerber, D., & Cimiano, P. (2012). Template-based question answering over RDF data. International Conference on World Wide Web (pp.639-648).

2.Yahya, M., Berberich, K., Elbassuoni, S., Ramanath, M., Tresp, V., & Weikum, G. (2012). Natural language questions for the web of data. Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (pp.379-390). Association for Computational Linguistics.

3.Yih, W. T., He, X., & Meek, C. (2014). Semantic Parsing for Single-Relation Question Answering. Meeting of the Association for Computational Linguistics (pp.643-648).

4.Berant, J., Chou, A., Frostig, R., & Liang, P. (2013). Semantic parsing on freebase from question-answer pairs. Proceedings of Emnlp.

5.Reddy, S., Lapata, M., & Steedman, M. (2014). Large-scale semantic parsing without question-answer pairs.

6.Kwiatkowski, T., Choi, E., Artzi, Y., & Zettlemoyer, L.（2013） . Scaling semantic parsers with on-the-fly ontology matching. Homes.cs.washington.edu.

7.Cai, Q., & Yates, A. (2013). Large-scale Semantic Parsing via Schema Matching and Lexicon Extension. Meeting of the Association for Computational Linguistics (pp.423-433).

8.Bao, J., Duan, N., Zhou, M., & Zhao, T. (2014). Knowledge-Based Question Answering as Machine Translation. Meeting of the Association for Computational Linguistics (pp.967-976).

9.Fader, Anthony, Zettlemoyer, Luke, & Etzioni, Oren. (2014). Open question answering over curated and extracted knowledge bases. ACM Knowledge Discovery and Data Mining (pp.1156-1165). ACM.

10.Berant, J., & Liang, P. (2014). Semantic Parsing via Paraphrasing.Meeting of the Association for Computational Linguistics (pp.1415-1425).

11.Wen-tau Yih, Ming-Wei Chang, Xiaodong He, & Gao, J. (2015). Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base. Meeting of the Association for Computational Linguistics and the, International Joint Conference on Natural Language Processing.

12.Antoine Bordes, Jason Weston, & Nicolas Usunier. (2014). Open question answering with weakly supervised embedding models.Computer Science, 8724, 165-180.

13.Bordes, A., Chopra, S., & Weston, J. (2014). Question answering with subgraph embeddings. Eprint Arxiv.

14.Yao, X., & Durme, B. V. (2014). Information Extraction over Structured Data: Question Answering with Freebase. Meeting of the Association for Computational Linguistics (pp.956-966).

15.Li Dong, Furu Wei, Ming Zhou, & Ke Xu. (2015). Question Answering over Freebase with Multi-Column Convolutional Neural Networks. Meeting of the Association for Computational Linguistics and the, International Joint Conference on Natural Language Processing.

16.Yang, M. C., Duan, N., Zhou, M., & Rim, H. C. (2014). Joint Relational Embeddings for Knowledge-based Question Answering. Conference on Empirical Methods in Natural Language Processing.