8月22日消息，據(jù)報道，近日百度百科開始屏蔽谷歌和必應(yīng)等大多數(shù)搜索引擎，預(yù)計是為了阻止這些搜索引擎和其他爬蟲，未經(jīng)授權(quán)抓取百度百科的內(nèi)容用于訓(xùn)練AI。

百度百科的robots.txt文件（https://baike.baidu.com/robots.txt）顯示，目前僅有百度搜索、搜狗搜索、中國搜索（Chinaso）、YYSpider和宜搜搜索(EasouSpider)等少數(shù)幾個搜索引擎被允許抓取其內(nèi)容。

谷歌搜索、必應(yīng)搜索、微軟MSN、UC瀏覽器的Yisouspider以及其他一切搜索引擎爬蟲均被明確禁止抓取百度百科的內(nèi)容。

雖然360搜索沒有在封禁列表中單獨列出，但百度百科的策略是禁止一切非白名單爬蟲抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

robots.txt文件是一種公開的說明文件，只能防君子，不能防小人，因為一些爬蟲是不遵守robots協(xié)議的。

目前AI時代，幾乎所有的AI都在大量抓取互聯(lián)網(wǎng)公開內(nèi)容來訓(xùn)練自己，主機幫博客發(fā)現(xiàn)這兩年服務(wù)器配置明顯吃不消，其原因就是網(wǎng)站時不時會有大量的爬蟲在抓取網(wǎng)站的內(nèi)容，為此，主機幫還特地購買了百度云防護來攔截特定UA的爬蟲，不過顯然效果不大，因為實在太多爬蟲了，防不勝防。

總之這個時代，做網(wǎng)站太煩了，網(wǎng)站沒什么流量不說，還在被一堆爬蟲爬，有時候還要被DDOS，簡直太慘了。