做網(wǎng)站怎么自定義背景圖片管理系統(tǒng)
個人閱讀筆記,如有錯誤歡迎指出
Arxiv 2019????????[1912.11464] Attack-Resistant Federated Learning with Residual-based Reweighting (arxiv.org)
問題:
????????聯(lián)邦學(xué)習(xí)容易受到后門攻擊
創(chuàng)新:
????????提出一種基于殘差的重新加權(quán)聚合算法
????????聚合算法將重復(fù)中值回歸和加權(quán)最小二乘中的加權(quán)方案相結(jié)合
方法:
????????1)用重復(fù)中值估計回歸線
????????2)計算本地模型中第個參數(shù)的殘差,由于對于不同的參數(shù)
不好比較,因此將
標(biāo)準(zhǔn)化
????????3)參數(shù)置信度。其中是
中的第
個參數(shù),
,
,
是超參數(shù)本文中定義為2,
是置信空間用
調(diào)整,
?是
中的第
個對角矩陣
????????4)極值矯正。若存在非常大的值即使乘很小的權(quán)重也足以威脅到全局模型,引入閾值,若置信值低于\
,則用下式矯正
????????5)本地模型權(quán)重。通過衡量每個參數(shù)的標(biāo)準(zhǔn)差進(jìn)行聚合
????????6)全局模型
????????整體算法思路:通過垂直距離(殘差)將每個參數(shù)重新加權(quán),然后通過累積每個局部模型中的參數(shù)置信度來估計每個局部模型的權(quán)重
實驗:
讀后感:
????????優(yōu)點:
????????????????可以防御放大梯度的后門攻擊
????????????????可以防御標(biāo)簽翻轉(zhuǎn)的后門攻擊
????????局限性:
????????????????犧牲了一定的隱私,與安全聚合策略不兼容