作為代理服務(wù)和數(shù)據(jù)抓取解決方案提供商的人，完全理解為什么有時(shí)出現(xiàn)在新聞?lì)^條上的全球數(shù)據(jù)泄露給網(wǎng)絡(luò)抓取帶來了可怕的聲譽(yù)，以及為什么如今有這么多人對(duì)大數(shù)據(jù)持懷疑態(tài)度。同時(shí)有許多偉大的人，他們?cè)诖髷?shù)據(jù)方面做著重要的工作。本文將介紹一些重要的示例，這些示例說明了大數(shù)據(jù)和Web爬蟲如何對(duì)我們的生活產(chǎn)生積極影響，此外還提供了一些有關(guān)如何從道德上做到這一點(diǎn)的想法。

　　Web爬網(wǎng)是一種有益的力量

世界上幾乎所有東西都可以用于善惡，包括大數(shù)據(jù)。這完全取決于意圖。以下是我最喜歡的網(wǎng)絡(luò)抓取示例，這些示例以顯著的方式為互聯(lián)網(wǎng)增值：

　　價(jià)格匯總網(wǎng)站

對(duì)于我們?cè)S多人來說，即使是在我們真正不需要的東西上，價(jià)格購物也很有趣。如果您正在尋找新的筆記本電腦，電動(dòng)混音器或降噪耳機(jī)，則可以選擇很多。同時(shí)，如果您想在價(jià)值數(shù)百萬美元的游艇上租船，大數(shù)據(jù)也可以滿足您的需求。

無論我們是在預(yù)訂機(jī)票還是在酒店房間，購買汽車還是私人飛機(jī)，似乎都有無數(shù)的網(wǎng)站在為消費(fèi)者提供各種商品和服務(wù)的競(jìng)爭(zhēng)優(yōu)勢(shì)。而這一切都?xì)w功于網(wǎng)絡(luò)抓取。

　　追蹤假新聞

新聞的完整性正日益成為全世界關(guān)注的問題，因?yàn)閺恼问录浇】敌畔ⅲ摷傩侣剮缀蹩梢云茐奈覀兩畹姆椒矫婷妗?/p>

少數(shù)初創(chuàng)公司正在通過解決方案來解決這個(gè)問題，這些解決方案包括機(jī)器學(xué)習(xí)算法，該算法可以處理來自數(shù)千個(gè)來源的大量數(shù)據(jù)，并確定準(zhǔn)確性和政治傾向的水平以及其他因素。這一發(fā)展代表了信息共享方面的重大進(jìn)步，這將使所有人受益。

　　聲譽(yù)管理

如今，市場(chǎng)不僅競(jìng)爭(zhēng)激烈，而且消費(fèi)者也像以往一樣敏感。品牌監(jiān)控和聲譽(yù)管理對(duì)于保護(hù)產(chǎn)品，服務(wù)乃至您的聲譽(yù)都至關(guān)重要。只要公司合法地抓取數(shù)據(jù)，數(shù)十億美元的資源就可以幫助他們確保消費(fèi)者，品牌和任何在公眾視野中經(jīng)營(yíng)的人一塵不染。

　　追蹤世界新聞和事件

Web抓取可用于跟蹤影響我們世界的事件的統(tǒng)計(jì)數(shù)據(jù)，從經(jīng)濟(jì)統(tǒng)計(jì)數(shù)據(jù)到金融市場(chǎng)指標(biāo)再到傳染病的影響。

　　搜索引擎優(yōu)化SEO

我們每天都看到小型企業(yè)與主要參與者競(jìng)爭(zhēng)的形式。SEO是一個(gè)特別具有挑戰(zhàn)性的領(lǐng)域，因此可以使用Web抓取來研究特定的搜索詞，標(biāo)題標(biāo)簽，目標(biāo)關(guān)鍵字和反向鏈接。這些寶貴的數(shù)據(jù)可用于制定有效的策略，以使內(nèi)容在搜索結(jié)果中排名較高。

　　學(xué)術(shù)研究

隨著互聯(lián)網(wǎng)給他們提供了幾乎無限的可用于學(xué)術(shù)論文和研究的數(shù)據(jù)，學(xué)術(shù)機(jī)構(gòu)的研究人員在現(xiàn)代中處于令人羨慕的地位。當(dāng)數(shù)據(jù)公開時(shí)，這是應(yīng)該鼓勵(lì)就真正的網(wǎng)絡(luò)抓取進(jìn)行交流以造福整個(gè)社會(huì)的標(biāo)志之一。

　　符合道德的網(wǎng)頁搜刮

我們希望傳達(dá)信息，即可以積極使用Web抓取。有透明的方法可以完成工作，因此個(gè)人和企業(yè)可以獲取推動(dòng)業(yè)務(wù)發(fā)展所需的數(shù)據(jù)。

以下是一些指南，以確保公平地對(duì)待收集數(shù)據(jù)的人和提供數(shù)據(jù)的網(wǎng)站：

1. 僅抓取公開可用的網(wǎng)頁。

2. 確保以不影響服務(wù)器或不會(huì)受到DDoS攻擊混淆的合理速率請(qǐng)求數(shù)據(jù)。

3. 尊重獲得的數(shù)據(jù)以及與源網(wǎng)站有關(guān)的任何隱私問題。

4. 進(jìn)行刮刮時(shí)要考慮到最終用戶的興趣，為數(shù)據(jù)增加價(jià)值和/或上下文。

5. 研究目標(biāo)網(wǎng)站的法律文件，以確定您是否將在法律上接受其服務(wù)條款，以及是否愿意-是否不會(huì)違反這些條款。

此外，每個(gè)代理資源提供者都使用來自不同來源的質(zhì)量不同的代理。因此，與經(jīng)過驗(yàn)證和受信任的代理服務(wù)提供商合作完成了等式。基于透明與合作的協(xié)同關(guān)系可以平衡各方利益的平衡，并推動(dòng)大數(shù)據(jù)的發(fā)展，從而造福于所有人。

盡管上述建議不是法律，但它們可以通過建立道德守則來開始對(duì)話，這可能被證明有助于進(jìn)一步合法化使用網(wǎng)絡(luò)抓取行為以增加互聯(lián)網(wǎng)價(jià)值。與體現(xiàn)類似核心價(jià)值的受信任代理提供商合作對(duì)于該過程至關(guān)重要。

互聯(lián)網(wǎng)仍然是人類已知的最重要的大數(shù)據(jù)來源，并且這種情況不會(huì)很快改變。在當(dāng)今時(shí)代，讓我們對(duì)擺在我們面前的無盡可能性視而不見是愚蠢的。借助網(wǎng)絡(luò)抓取實(shí)踐，每個(gè)人都可以從不斷提供的大數(shù)據(jù)中隱藏的見解中受益。

出于道德考慮，網(wǎng)絡(luò)抓取可以開拓新的信息世界，將人們，組織和學(xué)科聯(lián)系起來。像任何工具一樣，我們可以選擇最佳意圖，并使大數(shù)據(jù)成為永遠(yuǎn)的力量。想了解更多關(guān)于大數(shù)據(jù)和Web爬蟲的信息，請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。