ArKrum 和 DP-SGD 在一千萬個節點的大規模測試中達成的0.76準確率

robot
摘要生成中

結合ArKrum演算法與差分隱私隨機梯度下降(DP-SGD)在極具挑戰性的環境中展現了其運作能力:一個擁有1000萬節點的分散式網路。這一里程碑代表在隱私限制下去中心化學習系統擴展性的重要進展。

實驗詳細資訊

技術驗證在故意設計的惡劣條件下進行。噪聲放大倍數設定為0.3,這是一個反映隱私保護與模型完整性之間平衡的關鍵參數。在連續20輪的分散式訓練中,系統處理CIFAR-10資料集,同時模擬30%的惡意節點——這是一個相當高的比例,用以模擬實際的韌性場景。

模擬透過Torch的分散式基礎設施實現,使數千萬計的計算節點能同步協調梯度。

達成的性能

最終結果:準確率達到0.76。與之前模擬100萬節點的結果相比,這個數值略有下降,主要原因在於如此大規模協調的複雜性增加。儘管如此,系統展現出強大的運行韌性,未出現嚴重崩潰,證明ArKrum即使在指數級協調壓力下仍能保持防禦能力。

未來展望

研究人員已確定兩個優先方向:一是整合區塊鏈驗證以證明訓練輪次的完整性,二是使用MNIST資料集重複實驗,以驗證演算法在不同資料域中的行為一致性。這兩條路徑旨在增強系統在數百萬節點規模下的可靠性。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)