下载链接

目的:推测出数据分布相接近的节点,进行聚类。利用该集群对已有的全局模型进行参数微调,实现联邦个性化。

  • 现在神经网络一般都会使用ReLU作为激活函数,这样处理后的矩阵就会是系数矩阵。

  • 利用该矩阵的稀疏度表示这个原始数据(用处理后的数据表示原始数据,保证了数据的隐私安全)

  • 多个样本稀疏度的均值,构成一个节点的稀疏度向量的一个元素。(向量的元素个数就是通道数)

  • 计算两节点的相似性:

    sim(Ri,Rj)=k=1q(EikEjk)2sim(R_i,R_j)=\sqrt{\sum_{k=1}^q(E_i^k-E_j^k)^2}

    其中:

    • q表示通道数
    • E表示稀疏度向量,长度为q
  • 为防止计算相似度矩阵耗费O(N2)O(N^2)的时间复杂度,本文计算相似度过程如下:

    • 挑选一个节点zz,计算其与其他节点的相似度向量:(sim(Rz,R1),sim(Rz,R2)...sim(Rz,Rn))(sim(R_z,R_1),sim(R_z,R_2)...sim(R_z,R_n))
    • 如果sim(Rz,Ri)sim(R_z,R_i)很小,表示z,iz,i很相似
    • 如果sim(Rz,Rp),sim(Rz,Rq)sim(R_z,R_p),sim(R_z,R_q)很接近,就说明p,qp,q很相似!!!!