BFE(Baidu Front End,百度統(tǒng)一前端)是百度的統(tǒng)一七層流量轉發(fā)平臺。BFE平臺目前已接入百度大部分流量,每日轉發(fā)請求接近1萬億,峰值QPS超過1000萬。在2019年百度春晚紅包活動中,BFE平臺在超大用戶壓力、數次流量波峰下平穩(wěn)運行,保證了春晚紅包活動的順利進行。
作為綜合的流量轉發(fā)平臺,BFE平臺集成了以下4大功能:
- 流量接入和轉發(fā):支持HTTP、HTTPS、HTTP/2、QUIC等多種協議,并支持強大的應用層路由能力
- 流量全局調度:支持由外網流量調度和內網流量調度共同構成的全局流量調度系統(tǒng)
- 安全和防攻擊:支持黑名單封禁、精細限流和應用層防火墻(WAF)等多種防攻擊能力
- 實時數據分析:支持分鐘級的超高維度時序報表
作為BFE平臺的核心組件,BFE轉發(fā)引擎從2012年開始研發(fā),并于2014年使用Go語言完成重構。
由于基于Go語言,和業(yè)界普遍使用的Nginx開源軟件相比,BFE具有以下優(yōu)勢:
- 研發(fā)效率高:Go語言的開發(fā)效率遠高于C語言(及Lua),在代碼的可維護性方面也有巨大優(yōu)勢。
- 系統(tǒng)的安全和穩(wěn)定性高:Go語言沒有C語言固有的緩沖區(qū)溢出隱患,規(guī)避了大量的穩(wěn)定性和安全風險;另外對于異??梢圆蹲剑WC程序在快速迭代上線的情況下也不崩潰。
有理由相信,從長期趨勢看,基于更高級編程語言的軟件系統(tǒng)會逐步取得競爭的優(yōu)勢。CPU等硬件資源的價格仍會快速下降,而開發(fā)人力成本、項目研發(fā)風險、系統(tǒng)穩(wěn)定性/安全性方面會成為更重要的決策考慮。從這方面出發(fā),主要基于C語言的Nginx會逐步衰落,而類似BFE這樣的基于更高級編程語言的軟件會逐步成為主流。
另外,BFE在設計中,還特別增加了企業(yè)級應用場景的考慮:
- 轉發(fā)場景的直接支持:和Nginx這樣從Web Server轉型為Proxy的進化路徑不同,BFE直接為轉發(fā)場景設計,從轉發(fā)模型和轉發(fā)配置方面更滿足轉發(fā)場景的需求
- 多租戶的支持:在云計算的場景下,多租戶復用是普遍的需求。在BFE的設計中,內置提供了多租戶的支持
- 結構化的配置:BFE的配置設計,大量使用JSON這樣的結構化方式,便于和相關配置管理系統(tǒng)對接
- 豐富的監(jiān)控探針:作為一個工業(yè)級軟件,在BFE的設計中充分考慮了線上監(jiān)控的需求,BFE程序通過HTTP方式向外暴露數千個內部狀態(tài)變量
為了促進負載均衡技術的交流和發(fā)展,BFE轉發(fā)引擎于2019年夏天正式開源。
(https://github.com/baidu/bfe)
BFE目前已開源并支持以下重要能力:
1、主流網絡協議接入
- 支持HTTP/HTTPS/SPDY/HTTP2/WebSocket等
- 支持TLS/HTTP/ WebSocket反向代理模式
2、可擴展插件框架
- 通過可擴展插件框架,快速定制開發(fā)擴展模塊,滿足業(yè)務定制化需求
- 內置重寫、重定向、流量修改、封禁等豐富插件
3、基于請求內容的分流
- 基于領域專有語言的分流規(guī)則,滿足復雜業(yè)務場景定制化流量轉發(fā)
- 支持完備的分流條件原語集,包括基于請求內容(URI/Header/Cookie等)以及請求上下文(IP、協議、標簽、時間等)的條件原語。
4、靈活的負載均衡策略
- 支持集群級別負載均衡及實例級別負載均衡,實現多可用區(qū)容災及過載保護
- 內置加權輪詢、加權最小連接數策略,基于IP或請求內容識別用戶實現會話保持
關于BFE開源版本詳情及后續(xù)路線圖,有興趣的用戶請關注
https://github.com/baidu/bfe,或登錄github直接搜索BFE。
BFE轉發(fā)引擎的研發(fā)過程,秉承了百度優(yōu)良的研發(fā)傳統(tǒng),經過了多年的技術積累。BFE已經在百度穩(wěn)定運行多年,并歷經多次大流量的洗禮。以開源貢獻社區(qū),是百度技術價值體現的重要方式。希望能借BFE開源的機會,與各位同行切磋技術,共建網絡接入領域的開源技術生態(tài)。