今天登陸寶塔查看網(wǎng)站日志后,發(fā)現(xiàn)網(wǎng)站出現(xiàn)了一個(gè)非常奇怪的請(qǐng)求,而且頻率賊高,如下圖:

126.128.224.2 – – [20/May/2025:15:00:41 +0800] "GET /users/auuAwtzuk/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/gold%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/xieyi%5C%22 HTTP/1.1" 301 5 "http://m.nwhl.com.cn/users/auuAwtzuk/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/%5C%22https:%5C/%5C/m.nwhl.com.cn%5C/gold%5C/credit%5C" "Mozilla/5.0 (compatible; SBIntuitionsBot/0.1; +https://www.sbintuitions.co.jp/bot/)"
其請(qǐng)求鏈接是可以明顯看到是黑客來的,而UA是一個(gè)來自日本網(wǎng)絡(luò)機(jī)器人,同時(shí)日志里還直接顯示了這個(gè)爬蟲的IP126.128.224.2,按理說主機(jī)幫使用了百度云防護(hù),也沒有做真實(shí)用戶IP識(shí)別,日志里顯示的IP應(yīng)該是百度云防護(hù)的IP才對(duì),但這里直接顯示了日本IP,說明這個(gè)爬蟲是沒有經(jīng)過WAF直接請(qǐng)求源服務(wù)器IP進(jìn)來的。
這種情況很多時(shí)候都有,只要服務(wù)器IP的80、443端口對(duì)公網(wǎng)開放的話,總有一天會(huì)被掃到的,這就是黑客的厲害之處。
那么要如何解決這種繞過web應(yīng)用防火墻進(jìn)來的爬蟲呢?
主機(jī)幫用最簡(jiǎn)單的方法,直接進(jìn)入云服務(wù)器的安全組,把這個(gè)爬蟲的IP拒絕掉,這樣他就無法進(jìn)來的了。

如果爬蟲的IP比較多怎么辦,那么我們建議把80,443端口的所有請(qǐng)求都拒絕了,只讓web應(yīng)用防火墻的IP段進(jìn)來,這樣就可以保證所有訪問都經(jīng)過web應(yīng)用防火墻了。
可以參考