雷鋒網(wǎng)AI科技評論按：隨著強化學習在機器人和游戲 AI 等領(lǐng)域的成功，該方法也引起了越來越多的關(guān)注。在近期雷鋒網(wǎng)GAIR大講堂上，來自清華大學計算機系的博士生馮珺，為大家介紹了如何利用強化學習技術(shù)，更好地解決自然語言處理中的兩個經(jīng)典任務：關(guān)系抽取和文本分類。 本文根據(jù)視頻直播分享整理而成，內(nèi)容若有疏漏，以原視頻嘉賓所講為準。

視頻回放地址：http://www.mooc.ai/open/course/318

在關(guān)系抽取任務中，嘗試利用強化學習，解決遠程監(jiān)督方法自動生成的訓練數(shù)據(jù)中的噪音問題。在文本分類任務中，利用強化學習得到更好的句子的結(jié)構(gòu)化表示，并利用該表示得到了更好的文本分類效果。本次分享的兩個工作均發(fā)表于 AAAI2024。

馮珺，清華大學計算機系博士五年級，師從朱小燕和黃民烈教授，主要研究方向為知識圖譜，強化學習。目前已在 AAAI，COLING，WSDM 等國際會議上發(fā)表多篇文章。

分享內(nèi)容：

大家好，我是來自清華大學的馮珺，分享的主題是當強化學習遇見自然語言處理，分享內(nèi)容主要是以下三方面：

強化學習基本概念簡要介紹基于強化學習的關(guān)系抽取方法，解決遠程監(jiān)督方法自動生成的訓練數(shù)據(jù)中的噪音問題基于強化學習的句子結(jié)構(gòu)化表示學習方法

強化學習的基本概念

狀態(tài)，是agent從環(huán)境中得到的動作；agent，是基于它得到的當前狀態(tài)后做出相應的動作。reward ，是環(huán)境給agent 的一個反饋，收到這個reward就知道做的這個動作是好還是不好。agent 的目標就是選動作，將全部reward最大化。

agent會和環(huán)境做很多的交互，環(huán)境每次做的動作可能會有一個長期的影響，而不僅僅是影響當前的reward。reward 也有可能延遲。在這里簡單介紹一下policy的概念。policy是決定一個agent的動作的一個函數(shù)。

如果讀者對上述概念還不清楚可以觀看視頻中的迷宮例子：http://www.mooc.ai/open/course/318

我們組做的兩個工作是關(guān)系抽取和文本分類。

首先是第一個工作：利用增強學習從噪聲數(shù)據(jù)中進行關(guān)系抽取 （Reinforcement Learning for Relation Classification from Noisy Data）

任務背景

關(guān)系分類任務需要做的是，判斷實體之間是什么關(guān)系，句子中包含的實體對兒是已知的。關(guān)系分類任務是強監(jiān)督學習，需要人工對每一句話都做標注，因此之前的數(shù)據(jù)集比較小。

之前也有人提出Distant Supervision 方法，希望能利用已有資源對句子自動打上標簽，使得得到更大的數(shù)據(jù)集。但這種方法是基于已有知識圖譜中的實體關(guān)系來對一句話的實體關(guān)系進行預測，它的標注未必正確。

這篇文章就是用強化學習來解決這個問題。之前也有一些方法是基于multi-instance learning 的方法來做的。

這樣做的局現(xiàn)性是不能很好處理句級預測。

基于以上不足，我們設(shè)定了新模型。包括兩個部分: Instance Selector 和 Relation Calssifier。

這個模型有兩個挑戰(zhàn)，第一是不知道每句話的標注是否正確‘；第二個挑戰(zhàn)是怎么將兩個部分合到一塊 ，讓它們互相影響。

Instance Selector 和 Relation Calssifier 的結(jié)構(gòu)圖

在Instance Selector中的“狀態(tài)”就表示為，當前的句子是哪一句，之前選了哪些句子，以及當前句子包含的實體對兒。

Relation Classifier 是直接用了一個CNN的結(jié)構(gòu)得到句子的表示。

模型訓練步驟

實驗部分關(guān)于數(shù)據(jù)集和baseline來源

總結(jié)

我們提到一個新的模型，在有噪聲的情況下也能句子級別的關(guān)系分類，而不僅僅是bags級別的關(guān)系預測。

第二個任務

任務背景

如果做一個句子分類，首先要給句子做一個表示 ，經(jīng)過sentence representation得到句子表示，把“表示”輸入分類器中，最終就會得到這個句子屬于哪一類。

傳統(tǒng)的sentence representation 有以下幾個經(jīng)典模型：

bag-of-wordsCNNRNN加入注意力機制的方法

以上幾種方法有一個共同的不足之處，完全沒有考慮句子的結(jié)構(gòu)信息。所有就有第五種 tree-structured LSTM。

不過這種方法也有一定的不足，雖然用到了結(jié)構(gòu)信息，但是用到的是需要預處理才能得到的語法樹結(jié)構(gòu)。并且在不同的任務中可能都是同樣的結(jié)構(gòu)，因為語法都是一樣的。

所以我們希望能夠?qū)W到和任務相關(guān)的結(jié)構(gòu)，并且基于學到的結(jié)構(gòu)給句子做表示，從而希望能得到更好的分類結(jié)構(gòu)。但面臨的挑戰(zhàn)是我們并不知道什么樣的結(jié)構(gòu)對于這個任務是好的，我們并沒有一個結(jié)構(gòu)標注能夠指導我們?nèi)W這個結(jié)構(gòu)。但我們可以根據(jù)新的結(jié)構(gòu)做出的分類結(jié)果好不好從而判斷這個結(jié)構(gòu)好不好。

這個任務同樣可以建模為強化學習問題，用強化學習的思想來解。同樣的，在這個任務中的reward也是有延遲的，因為需要把整個結(jié)構(gòu)都學到后，才能得到句子的表示，才能用句子的表示做分類，中間的過程是不知道這個結(jié)構(gòu)是好的還是不好的。

實驗部分的數(shù)據(jù)集來源

實驗的分類結(jié)果；最后兩行是我們的方法。

總結(jié)

在這個工作中，我們學習了跟任務相關(guān)的句子結(jié)構(gòu)，基于句子機構(gòu)得到了不同的句子表示，并且得到個更好的文本分類方法。我們提出兩種不同的表示方法，ID-LSTM和HS-LSTM。這兩個表示也得到了很好的分類結(jié)果，得到了非常有意思的和任務相關(guān)的表示 。

雷鋒網(wǎng)提供視頻直播回放，如果對文中有不清楚的地方，可點擊觀看視頻 ：http://www.mooc.ai/open/course/318。

中南大學和清華大學，哪個比較好

你還不如死了算了，活在世上浪費糧食

清華大學和北京大學哪個好

其實各有優(yōu)勢，北大文、理都排全國第一，清華工科第一。但是因為如今的科技引領(lǐng)世界發(fā)展，使得易拿經(jīng)費的工科清華發(fā)展進步很快。在學習上，北大學生保持學霸的狀態(tài)下更加喜歡蔡元培先生的主張，并且對隔壁的書呆子做法比較不屑，了。而清華作為當年的旅美學校發(fā)展而來，自然對于出國是情有獨鐘的，并且留在國外的也絕對冠絕全國。在對全國高精尖人才的培養(yǎng)上，兩者各有風格，也往往比較好的互補。只要能去上，有能力去讀，那都是夠牛逼的。出人頭地的方式很多種，但是這兩個學校的概率和比例要高出很多。

有哪些好句子

【第1句】：某天，你無端想起一個人，她曾讓你對明天有所期許，但是卻完全沒有出現(xiàn)在你的明天里。

【第2句】：我淋過最大的一場雨，是那天你在烈日下的不回頭。【第3句】：如果你真的非常喜歡過一個人，就會知道，要真心祝福她跟別人永遠幸福快樂，根本是不可能的事。

【第4句】：少年時代的歲月，即使擁有相同的過去，記憶最深的細節(jié)也會出現(xiàn)趣味性差異，那就是7屬于每個人的，不會重復的時光。

【第5句】：“人生總是那么痛苦嗎？還是只有小時候是這樣？”

“總是如此。”

【第6句】：一直以為我跟他不一樣，原來寂寞的時候，所有的人都一樣。

【第7句】：其實愛情是有時間性的認識太早或太晚都是不行的，如果我在另一個時間或空間認識她，這個結(jié)局也許會不一樣。【第8句】：我想成為一個溫柔的人，因為曾被溫柔的人那樣對待，深深了解那種被溫柔相待的感覺。

【第9句】：我也喜歡，當年喜歡著你的我。那時候的我，簡直無時無刻都在發(fā)光呢。

有哪些好句子

和你分享一下我珍藏的七月手寫版、詩意與美感富集的好句子，希望您有時間能夠靜下心來細細品味。

【第1句】：我有一碗酒，可以慰風塵。

【第2句】：愿你的眼中總有光芒，活成你想要的樣子。

【第3句】：我渴望一生被人收藏好，妥善安放，細心保存。免我驚，免我苦，免我四處流浪，免我無枝可依。

【第4句】：行走在路上，與所有人微笑，卻只想與你相遇。

【第5句】：時間也需要沒用的東西，如果一切事物都必須有其意義，會讓人喘不過氣來。

【第6句】：穿山越海，哼你的歌，踏浪飄帆，忘記你，更忘記我。

【第7句】：有人信你，有人陪你，有人等你。

【第8句】：苦非苦，樂非樂，只是一時執(zhí)念罷了。執(zhí)于一念，將受困于一念，一念放下，會自在于心間。

【第9句】：容我做個長夢，醒來黃歷堆成山，張張都是萬事大吉。

【第10句】：你最可愛，我說時來不及思索，但思索之后，還是這樣說。

【第11句】：可遇不可求的事，后海有樹的院子，夏代有工的玉，此時此刻的云，二十來歲的你。

【第12句】：我沒有生來勇敢，天賦過人，面對人山人海，只剩一些誠懇。

【第13句】：我選擇一條不那么好走的路，是因為想著路上會遇到你。

【第14句】：有些時候，失去才是平常，而得到只是幸運。

【第15句】：你知道我想說什么嗎？你只知道我說了什么。

【第16句】：我的心事蒸發(fā)成云在下雨，卻舍不得淋濕你。【第17句】：走過多少辜負，雨打芭蕉哭成狗，總有一個終點，滿處花開是人間。

【第18句】：我們都需要一個，愿意陪你的人，不需要那么多承諾，給一個適時的擁抱，噓聲后安靜地與你走完一生的人。

【第19句】：與君初相識，猶如故人歸。

【第20句】：余生很長，你一定要來。

圖片來源于網(wǎng)絡。

清華大學附近怎么逛比較好

我被冰清這個老娘們兒限制不能發(fā)言了，可能它怕我了，讓我來介紹一下，它在美國原來是賣有機食品起步的，聚了人氣后改賣轉(zhuǎn)基因，大家都知道美國是嚴謹轉(zhuǎn)基因當主食的，一個已經(jīng)是美國人的它天天嚷著讓國人吃轉(zhuǎn)基因，無非是轉(zhuǎn)基因集團給它的豐厚報酬，而且它仇視中國人。知道它底細的人都知道。與方肘子及他的老婆懷疑探索者、司馬夾頭等沆瀣一氣，為利益出賣良知，是標準的漢奸賣國賊。

清華大學好還是復旦大學好？為什么

清華大學好，還是復旦大學好？哪一個瘋?cè)嗽禾映龅募一镌诖税l(fā)問？此外此人還提問了武大、浙大、南大等校，這是貶低清華抬高他校還是挖苦他校呢？用心險惡！

認為復旦可以與清華齊名者，只能是以復旦的局部優(yōu)勢，以偏概全地看待問題！

清華好，不是一切都好，不是所有獲獎都是第一，不是所有學科都是A+！

如果以某校的A檔、B檔學科，與清華的C檔學科作比較，全國有多少9【第85句】：211超過清華？單獨地比眉毛、鼻子、嘴巴，有些丑女未必沒有勝處，她們是美女嗎？

不說比學校的某一方面，籠統(tǒng)地比學校，不比綜合實力比什么？清華北大屬于第一檔，華五屬于第二檔，這是不爭的事實，不容否認！

至于有些上海人不喜歡清畢，喜歡復旦，也許是清華的某專業(yè)比不上復旦，并非是學校的整體實力清華在復旦之下！難道清華在上海的招生分數(shù)線比復旦還要低嗎？怎能自圓其說？

還有些上海人看全國，都是農(nóng)村，能說明什么呢？上海好幾所高校都不錯，但在外地招生人數(shù)很少，分數(shù)線自然高！

如果把清復看作同一檔次，那么其它學校就有理由看成和復旦同一檔次，至少華五各校與清華同一檔次了，怪不得此搞笑的提問者一下子用好幾個學校與清華相比呢！原來他們有同樣的思維！

清華大學的本科生比研究生好嗎

肯定好啊，研究生都是本科生淘汰下去的學渣，怎么可能和本科生比。

清華大學好還是浙江大學好

無論是從國內(nèi)的名氣還是從世界上排名來看，肯定都是清華大學比較好一些。按照2024年QS世界大學排名來看，清華大學排名全球17名，而浙江大學排名僅是87名，二者相差還是比較大的。并且在國內(nèi)大部分人對清華大學的認可度還是高于浙江大學的，當然也存在部分人認為浙江大學比較好。

從我個人的看法來說，學校沒有絕對的好，也沒有絕對不行的學校，主要還是要看專業(yè)。并且一個學校的發(fā)展靠的是教育資金的投入，清華大學的經(jīng)費還是高于浙江大學的，當然浙江大學也是很不錯的一所重點大學。

就拿第四輪學科評估來說吧，清華大學共有21個學科評為A+檔，8個學科評為A檔，8個學科評為A-檔。浙江大學11個學科評為A+檔，11個學科評為A檔，17個學科評為A-檔。整體來看還是清華大學高層次的學科要多一些！

歡迎關(guān)注：考研在大學

您的關(guān)注、點贊就是對我最大的鼓勵和支持！

你收藏過哪些經(jīng)典的好句子

【第1句】：欲望以提升熱忱，毅力以磨平高山。

【第2句】：拿望遠鏡看別人，拿放大鏡看自己。

【第3句】：把你的臉迎向陽光，那就不會有陰影。

【第4句】：明天的希望，讓我們忘了今天的痛苦。

【第5句】：人的價值，在遭受誘惑的一瞬間被決定 。

【第6句】：世上最累人的事，莫過於虛偽的過日子 。

【第7句】：留著一個號碼，不過是為了守候—個人。

【第8句】：生活不是電影，不會有那么多的不期而遇。

【第9句】：愚者用肉體監(jiān)視心靈，智者用心靈監(jiān)視肉體。

【第10句】：再美好也經(jīng)不住遺忘 ，再悲傷也抵不過時間。