分散式存儲協議或加速邊緣計算技術演進

作者：傅翔

邊緣計算潮起

雲計算自從它與2005年提出之後，產生了大量可伸縮的基礎設施平台和基於中心化的雲計算模型，高密度計算資源的集中和大規模的IDC部署儼然已成為各個國家信息產業的基礎設施建設一部分，並且隨著大數據，AI，5G，物聯網等產業的蓬勃發展，雲計算的產業規模還將日益擴大。但是隨著各種各樣的巨量數據不停的產生於互聯網的各個位置，網路帶寬受限，不穩定的處理延時，隱私保護等等問題的出現，使集中式的雲計算模型在許多場景下迎來越來越多的挑戰。

當今的物聯網發展使幾乎所有的電子設備都可以連接互聯網，也對數據計算帶來不同的處理要求。比如實時視頻採集系統，要求在短時間內對視頻內容進行分析處理和預警，如果所有數據傳輸回雲中心，不僅會造成中心網路擁堵，帶來海量數據的存儲壓力，更會造成不可預測的處理時延，影響用戶體驗。同時視頻內容的隱私性也無法保證，在許多國家造成合規風險。因此越來越多的行業應用將對數據和內容的處理從集中的雲和數據中心轉移到網路邊緣，將傳統的數據採集-雲中心-數據消費的雲計算範式轉變為數據採集-邊緣雲中心-數據消費（雲中心）這樣的邊緣計算範式，邊緣計算為應用開發者和服務提供商在網路的邊緣側提供雲服務和IT環境服務。

邊緣計算的優勢

1. 快速響應：

隨著晶元性能的不斷提升以及功耗的持續下降，使得從前需要大量運算的數據處理過程在終端即可快速完成，比如人臉識別，智能交通管理等領域。邊緣側產生特徵數據，立刻通知業務中心或者邊緣協作介面，同時可以利用位置信息對事件進行及時定位，大大提高了數據整合遷移的時間。同時降低了業務功耗，保護了源數據的隱私性，可謂是一舉多得。

2. 網路帶寬優化

在未來的智慧城市中，無時無刻不在產生著大量的數據，而這些數據如果通通交由雲來處理，在網路拓撲中將產生大量的擁塞堵點。如果這些數據能夠在邊緣側進行處理，在數據源所在的區域網內進行處理，同時利用邊緣計算的就近存儲特點，可以最大化利用可用鏈路，提高數據上傳下載的速率。

3. 數據安全和隱私保護

在邊緣側對源數據進行處理，可以有效的分離特性向量，使回傳數據與數據源脫敏，實現敏感隱私數據的可靠保護。數據存儲在網路邊緣側，降低了集中存儲數據的風險，降低了IDC的數據維護難度，如果結合分散式存儲協議，在邊緣側分片冗餘存儲則可以有效的降低單點故障的概率，安全隔離用戶數據。

邊緣存儲面臨的問題

隨著晶元技術的不斷發展，各種大數據、AI演算法的不斷演進和5G的部署，邊緣計算的計算和網路接入能力已經不斷提高，但是存儲的問題一直沒做到很好的解決。邊緣數據需要分流處理，這是不可避免的趨勢。在IOT生成的海量數據中，有些數據是需要被實時計算，上傳特徵值，有些數據需要分時計算，分步計算，有些數據需要經常性被重新計算，分析，還有些數據需要長時間留存，甚至很少被使用。現有的物聯網設備存儲主要靠本地存儲單元來保存數據，存在存儲能力有限，擴展困難的問題。為此又提出了不少企業級的存儲方案，但這些方案也存在許多問題，比如各家標準不統一，基於不同的硬體方案有不同的介面方案，不同的服務商之間無法進行數據的鏈接和處理，使大量數據存在互相隔離的「容器」中，無法有效的在不同存儲提供商之間擴容。並且同一個邊緣中心內的數據沒有隱私保護和足夠的冗餘備份，相當於在業務環境中架設了一個個私有「雲盤」。最後，採購的多餘存儲服務無法實現價值，浪費資源。

分散式存儲協議重構邊緣存儲

針對上面提出的問題，需要一個新的分散式存儲協議來重構邊緣存儲方案，將不同存儲業務的垂直擴展變成水平擴展，打破業務邊界，使邊緣存儲成為一個獨立的，對外提供統一服務的存儲層。

1.統一完整的面向服務的上層介面，隔離存儲業務的複雜性

在分散式存儲協議中，需要將存儲服務的加入，退出，數據的確權，存儲，分發，檢索，支付等抽象為介面，成為標準協議，這些標準不基於特定的語言，演算法和網路協議來組織業務，只要符合統一介面的實現，並且基於服務方共識的業務治理邏輯，不管治理模式是區塊鏈，還是傳統的中心化管理平台，只要符合協議標準，服務商都可以參與服務。

2.統一的點對點通信協議

在存儲服務層，沒有預設的拓撲結構，以端對端的服務為核心。在網路協議上層提供可組合的序列化/反序列化方法，加密演算法，握手機制，數據摘要演算法等，隔離網路層的複雜性，使運行不同語言編寫的，不同操作系統的設備在網路層能夠互相識別，完成數據交互服務。

3.基於數據內容確權的命名機制

命名機制對於邊緣計算的數據定址，確權和交換非常重要，但是在現有的邊緣計算中還沒有特別有效的處理方法。如今大量依託不同的通信技術，比如藍牙，wifi，5G，NFC等的設備接入互聯網，傳統的以IP地址為核心的定址方式已不能滿足異構網路之間的數據交換，網路拓撲的動態變化，接入方式的不停切換，設備的移動性等，是當前傳統的命名機制如DNS(域名解析服務)、URI(統一資源標誌符)等不能很好解決的。我們需要一種完整的解決方案，這個方案基於對數據內容的確權，一個設備對外的服務聲明，不再是網路地址加設備名稱的方式，而是基於數據的鍵值模式。我們使用數據生產者，時間，位置，數據屬性，標識符，數據存取方法等數據描述符來表達網路中產生的數據，同時這個描述方式還是由數據生產者簽名確認的。

4.可編程的許可權控制

從數據的誕生開始，提供全周期的許可權控制。用戶可以控制數據是在邊緣側進行處理，還是以加密的形式在存儲層持久化。對於不同的應用，設置可編程的許可權控制信息，該信息應該做到整個網路的業務治理邏輯同步。基於上面的命名進位，對數據在網路中的交換做到可控可查。

物聯網的快速發展和雲計算的促進了大數據，AI產業的蓬勃興起，同時也引入邊緣計算的計算範式。在各種網路接入模式和巨量數據的爆髮式增長的背景下，邊緣存儲也受到了很大的挑戰，DSP Labs長期關注分散式數據存儲和共享協議的實現和迭代，儘管上面的分散式存儲協議還有很多實際問題需要解決後才能實現，但也不失為邊緣計算的一個好的演進方向，希望以後有更多的開發者能夠關注到這麼一個領域，共同推進下一代網路技術演進。

在這裡可以找到我們:

Facebook:https://www.facebook.com/DSP-Labs-110430797334480

Twitter:https://twitter.com/DSP_Labs

微信公眾號：DSPLabs