BERT對(duì)于NLP而言無疑是向前邁出的重要一步。諸如主題檢測(cè)和情感分析之類的業(yè)務(wù)活動(dòng)將更易于創(chuàng)建和執(zhí)行，結(jié)果也將更加準(zhǔn)確。但是如何找到BERT的，該模型是如何工作的呢？為什么這么強(qiáng)大？最后但并非最不重要的一點(diǎn)是，它可以為業(yè)務(wù)帶來什么好處，以及決定將其集成到 sandsiv +客戶體驗(yàn)平臺(tái)中的呢。這些問題很難，我為自己設(shè)定了一個(gè)目標(biāo)。向既沒有編程知識(shí)又沒有人工智能背景的人們講解。挑戰(zhàn)很大，會(huì)盡力而為。

今天早上，我想起了學(xué)習(xí)葡萄牙語的新語言。我喜歡這種語言的聲音，我對(duì)自己說，讓我們學(xué)習(xí)吧。我想到的第一件事是要用葡萄牙語翻譯成葡萄牙語，以建立第一個(gè)基本詞匯。

之所以很有趣，是因?yàn)槟承﹩卧~聽起來很像意大利語，在意大利語的背景下，我試圖將事物理解為同義詞和自主語，以使其看起來比它們的真實(shí)氣味更香。因此，我試圖理解單詞之間關(guān)系的語義或含義。

實(shí)際上，我使用一種我熟知的語言-我的母語-然后關(guān)聯(lián)了這些新的葡萄牙語術(shù)語并慢慢學(xué)習(xí)了這種新語言。由于深度的機(jī)器學(xué)習(xí)和計(jì)算能力的顯著提高，在計(jì)算領(lǐng)域已經(jīng)完成了類似的過程。

計(jì)算機(jī)只知道一種語言，數(shù)學(xué)，因此如果要“教”機(jī)器對(duì)人類語言的解釋，則必須參考。

重要的是要記住，深度學(xué)習(xí)解決的任何問題都是數(shù)學(xué)問題。例如，借助卷積神經(jīng)網(wǎng)絡(luò)，計(jì)算機(jī)可以“看到”。該CNN接收數(shù)學(xué)矩陣形式的圖像，然后應(yīng)用線性代數(shù)規(guī)則。在諸如主題檢測(cè)，情感分析等任務(wù)中也是如此。

如果有人為您提供對(duì)語言敏感的NLP解決方案，但問題出在數(shù)學(xué)上，而不是語言上，知道它可能已經(jīng)存在了四代，甚至更糟： 關(guān)鍵字搜索解決方案。

在計(jì)算機(jī)世界中， 向量嵌入程序已解決了將一個(gè)未知單詞轉(zhuǎn)化為嘗試學(xué)習(xí)的已知語言的問題。諸如FasText，Word2Vec和GloVe之類的算法正是這樣做的：將任何語言的單詞轉(zhuǎn)換為計(jì)算機(jī)可以通過線性代數(shù)“理解”的數(shù)學(xué)矢量。再一次，這是一個(gè)數(shù)學(xué)問題，而不是語言問題。

我學(xué)習(xí)葡萄牙語的下一步是翻譯小句子。我仔細(xì)聽了每個(gè)葡萄牙語單詞，將其翻譯成意大利語。每個(gè)新單詞的線性運(yùn)算與我的翻譯工作相吻合。在計(jì)算機(jī)世界中，相同的操作是通過稱為Encoder和Decoder的算法完成的。

該系統(tǒng)依次“收聽”“單詞”，將其轉(zhuǎn)換為新的指令，包括語言到語言的轉(zhuǎn)換以及“理解”的計(jì)算模型。

當(dāng)然，這使我可以將葡萄牙語中的小句子翻譯成意大利語，但是當(dāng)句子變長(zhǎng)甚至變成完整的文檔時(shí)，此時(shí)逐詞系統(tǒng)已無法很好地工作。我必須提高專心致志的能力，并試圖更好地理解葡萄牙語中每個(gè)新單詞的呈現(xiàn)背景，當(dāng)然，這與我的意大利語知識(shí)相關(guān)。

這比我以前使用的逐字方法多了一步。即使在計(jì)算世界中，下一步就是在Encoder-Decoder模型中添加所謂的 “注意力機(jī)制” ，該機(jī)制使計(jì)算機(jī)可以更加關(guān)注上下文中的單詞。實(shí)際上嘗試應(yīng)用線性過程中缺少的那些語義規(guī)則。

盡管關(guān)注的程度有所提高，但該方法始終是順序的，并且清楚地表明了其局限性。就我而言，每一個(gè)來自葡萄牙語的新單詞，我都會(huì)嘗試用意大利語閱讀它，這引起了很多關(guān)注，但是我不得不說，由于語言的某些歧義，我很難正確地解釋它們。在計(jì)算機(jī)上，模型很難理解復(fù)雜的語義規(guī)則的情況也是如此。

我不得不說，我從葡萄牙語到意大利語的翻譯水平已大大提高，盡管有一些錯(cuò)誤，但我可以翻譯比以前使用的方法更長(zhǎng)的句子。但是，在這一點(diǎn)上，我需要更多，我想更快，更精確。我想更好地理解上下文。我想減少歧義。我需要某種并行過程以及上下文知識(shí)，最后，我需要了解長(zhǎng)期依賴關(guān)系。

我的計(jì)算過程與我的需求完全相同，這就是 變形金剛的 用武之地。

讓我們舉個(gè)例子，讓我們看看這兩個(gè)句子：

· 我去銀行開了一個(gè)帳戶。

· 該船已接近銀行。

完全相同的單詞“ bank”在兩種情況下都有兩種含義會(huì)發(fā)生變化。您需要從整體上看這句話，以了解其語法和語義。 語言模型的ELMo嵌入會(huì) 查看整個(gè)句子，以了解語法，語義和上下文，以提高NLP任務(wù)的準(zhǔn)確性。

為了更好地學(xué)習(xí)葡萄牙語，我的下一步是閱讀大量書籍，收聽葡萄牙語電視節(jié)目，觀看葡萄牙語電影等。我試圖顯著提高自己的詞匯量，了解該語言及其依賴性。

我的電腦做同樣的事情。例如，它已經(jīng)用葡萄牙語“閱讀并記住”了所有Wikipedia，從技術(shù)上講，它做了所謂的“ 轉(zhuǎn)移學(xué)習(xí)”。這樣，當(dāng)我的計(jì)算機(jī)必須以葡萄牙語執(zhí)行任何語言操作時(shí)，就不再?gòu)念^開始，而是以該語言創(chuàng)建了相當(dāng)廣泛的知識(shí)。

從大量單詞中“學(xué)習(xí)”到對(duì)語言有很強(qiáng)的初步理解的模型稱為 生成預(yù)訓(xùn)練變壓器。該模型僅使用Transformer的解碼器部分。它使用從閱讀中學(xué)到的知識(shí)，例如Wikipedia，并從左到右“閱讀”單詞。

當(dāng)您學(xué)習(xí)語言的不同方面時(shí)，您會(huì)意識(shí)到，接觸多種文本對(duì)于應(yīng)用遷移學(xué)習(xí)非常有用。開始閱讀書籍以建立強(qiáng)大的詞匯量和對(duì)該語言的理解。當(dāng)句子中的某些單詞被掩蓋或隱藏時(shí)，請(qǐng)依靠您對(duì)語言的了解，從左到右和從右到左閱讀整個(gè)句子。

現(xiàn)在，您可以更準(zhǔn)確地預(yù)測(cè)被屏蔽的單詞。這就像填補(bǔ)空白。您還可以預(yù)測(cè)兩個(gè)句子何時(shí)相關(guān)。這是一個(gè)簡(jiǎn)單的BERT代表來自變壓器的雙向編碼器表示（BERT）是瀏覽器公司開發(fā)的NLP預(yù)訓(xùn)練技術(shù)。它的工作可以從首字母縮略詞一目了然：變壓器編碼器的雙向表示。

你困惑嗎？不用擔(dān)心，我也是。我只會(huì)嘗試從實(shí)際的角度解釋BERT的真正優(yōu)勢(shì)。

在我們之前看到的所有事情中，BERT是一個(gè)巨大的進(jìn)步。它收集了以前模型的所有功能，從詞嵌入到轉(zhuǎn)換器，以及它們實(shí)現(xiàn)的所有優(yōu)點(diǎn)。但這帶來了其他非常有趣的實(shí)踐創(chuàng)新：

BERT是雙向的，它不只是從左到右的“讀取”，而是相反的。這使它可以更好地“理解”上下文中的單詞。不僅對(duì)于歧義詞，而且對(duì)于相關(guān)詞，例如：M登上了舞臺(tái)。他玩得很開心！BERT理解“他”是指M，這對(duì)解決語言問題來說不是一件小事。BERT在訓(xùn)練時(shí)不僅會(huì)“閱讀”，而且會(huì)隱藏15%的單詞并嘗試“猜測(cè)”它們。

通過這種方式，他嘗試創(chuàng)建超越“閱讀”范圍的知識(shí)，但可以幫助BERT根據(jù)先前的上下文來預(yù)測(cè)單詞，甚至可以根據(jù)先前的上下文來預(yù)測(cè)句子。例如，在自動(dòng)問答系統(tǒng)或聊天機(jī)器人中，這并不是一件小事。BERT提供了幾種通用模型，這些模型可以“上載”，然后進(jìn)行微調(diào)以適應(yīng)特定情況，而無需海量數(shù)據(jù)進(jìn)行微調(diào)。

對(duì)于那些已經(jīng)嘗試通過標(biāo)記數(shù)據(jù)來訓(xùn)練NLP模型的人來說，這不是一件小事。

我從事自然語言處理已經(jīng)有好幾年了-真實(shí)的東西，而不是我的競(jìng)爭(zhēng)對(duì)手因文本挖掘而失去的關(guān)鍵字搜索-我對(duì)BERT印象深刻。讓我給您一個(gè)小的實(shí)際例子。我建立了一個(gè)情感模型，根據(jù)這樣構(gòu)成的數(shù)據(jù)集，最終精度為F1 89%：

· 1270快樂

· 154淡然

· 26生氣

· 11無聊

· 3沮喪

所有這一切都是可能的，因?yàn)橥ㄟ^使用Transfer Learning和BERT提供的通用模型，即使是很小的情況也可以進(jìn)行微調(diào)。實(shí)際上，就像您可以在大腦中加載一個(gè)模型一樣，該模型總結(jié)了通過閱讀所有葡萄牙語獲得的Wikipedia所獲得的語言知識(shí)，然后對(duì)要解決的特定情況進(jìn)行了一些微調(diào)NLP的飛躍！

我忘記了，BERT顯然提供了許多用于遷移學(xué)習(xí)的模型。它顯然提供了多種語言。例如，基于BERT的多語言案例模型可使用104種不同的語言“閱讀文本”，并且每種語言都可以使用自己的小型數(shù)據(jù)集進(jìn)行完善。

BERT很快將在我們的sandisv +解決方案中可用 ，并且我們的客戶將能夠利用這項(xiàng)偉大的創(chuàng)新帶來的主題檢測(cè)和情感分析帶來的所有這些好處。想了解更多關(guān)于自然語言處理的信息，請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。