(2)輿情分析在大數(shù)據(jù)時(shí)代的背景下，網(wǎng)絡(luò)上存在大量以文本為代表的非結(jié)構(gòu)化數(shù)據(jù)，特別是互聯(lián)網(wǎng)上的新聞、社交媒體數(shù)據(jù)，其中更不乏與商業(yè)銀行有關(guān)的輿情信息。對(duì)這些信息進(jìn)行有效的挖掘和利用，將為商業(yè)銀行及時(shí)掌握在互聯(lián)網(wǎng)上傳播的潛在風(fēng)險(xiǎn)事件提供一個(gè)全新的視角。

實(shí)現(xiàn)輿情風(fēng)險(xiǎn)管理的文本挖掘技術(shù)過程一般分為文本獲取、預(yù)處理、分析挖掘、可視化展現(xiàn)等步驟。

1)文本獲取：商業(yè)銀行獲取文本的方式包括已采購的財(cái)經(jīng)新聞、行業(yè)動(dòng)態(tài)、研究報(bào)告等外部資訊信息，還可以通過開發(fā)采集工具來進(jìn)一步擴(kuò)大新聞媒體的采集范圍，比如對(duì)以微博、論壇為代表的社交媒體信息進(jìn)行采集。采集方式包括搜索引擎（通過搜索引擎進(jìn)行關(guān)鍵詞搜索，之后將所有結(jié)果通過爬網(wǎng)程序進(jìn)行采集）、新聞網(wǎng)站、論壇頁面適配（通過Web爬蟲程序抓取微博或論壇頁面，并從頁面結(jié)構(gòu)中解析出正文和評(píng)論數(shù)據(jù)）、微博頁面適配（通過模擬實(shí)際用戶登錄后對(duì)微博信息進(jìn)行采集）。

2)預(yù)處理：包括中文分詞和文本去重等步驟，從而實(shí)現(xiàn)文本的預(yù)處理。前者是在獲取到文本數(shù)據(jù)之后，將文本切分成詞匯的集合，使得機(jī)器能夠更好地理解詞匯組成的文本。后者則通過相似哈希算法快速對(duì)海量文本相似程度進(jìn)行計(jì)算：將文檔看成特征詞的集合，為每個(gè)特征詞分配唯一編碼；根據(jù)特征詞的編碼以及在文檔中的權(quán)重，通過相似哈希算法生成文檔的信息指紋（可比較的64位二進(jìn)制編碼）；文檔指紋完全相同的文檔，則認(rèn)定為內(nèi)容相同；指紋間不同的位數(shù)越少，則說明文檔內(nèi)容越相似。文本虛詞的增減、語句位置的變換將不會(huì)影響近似文本的發(fā)現(xiàn)。