Federated Learning in Mobile Edge Networks: A Comprehensive Survey🕊

百度学术链接

0x00 摘要

一篇联邦学习的综述,还没看完(~ ̄▽ ̄)~

KEY WORDS: FL,Communication,Resources,Privacy,Security

0x01 介绍

  • 传统以云端为中心数据处理方式、阻碍新技术的发展:

    • 用户的隐私保护意识越来越强;保护个人隐私法律的出台。
    • 数据长距离传输产生的延迟会满足应用的时效性。
    • 增加主干网络的负担、特别是处理无结构数据。
  • 移动边缘计算MEC:

    End-edge-cloud:

    • 组成:终端设备、边缘节点、云端服务器。

    • 特点:训练数据被发送到边缘节点进行训练。

    • 问题:增加大量的传输开销、不能满足那些需持久稳定训练的应用;而且边缘计算的卸载和数据加工,也会涉及到个人敏感数据。用户不相信平台所说的保护措施,仍然怕数据泄露。

  • Federated Learning:

    • 简单介绍

      特性:

      带宽的高利用率:网络传输模型而不是未训练的模型、降低了带宽的占用,提高利用率。

      隐私的保密性:数据不必上传至云服务器。

      低延时:模型的参数更新快

    • 应用:

      一般应用:例如谷歌的输入法、进行输入预测。

      移动边缘网络优化技术:传统网络优化技术是建立静态模型、很少建立动态模型。FL可用于优化计算卸载和传输网络。

    • 挑战:

      • 通信开销高的问题仍然存在:高纬度的模型数据更新和实际中设备的可用带宽限制、例如DNN中上百万的参数。
      • 参与设备的参差不齐:包括数据质量、算力、参与计算的意向等、必须从资源配置的角度考虑好。
      • 拜占庭陷阱:当恶意用户和聚集服务器存在时、隐私无法得到保障。(已经得到证实、恶意参与者可以从其他参与者分享的参数中提取有用信息)
    • 研究现状:

      研究FL没有考虑移动边缘网络;研究MEC的没有考虑实施FL的挑战、和FL作为优化的潜力。

      本文贡献:

      • 令FL成为合作机器学习的重要样例;为后续研究人员提供FL执行指南和开源框架。
      • 讨论FL与集中机器学习的不同特性;讨论在执行过程中困难的解决办法。
      • 利用FL优化移动边缘网络;讨论在边缘计算中将FL作为隐私保护的应用。
      • FL的挑战和未来研究方向。
  • 说明:

    对现有研究分成两类:研究FL的基础问题和探索FL的应用。

0x02 背景&基础

FL训练的两个步骤:在终端本地训练模型、在服务器端更新参数实现全局模型的整合。

本节先讲DNN、特别是DNN的联合训练模型;当数据很大时、DNN模型的整合和表现比传统模型出色。通过对DNN过程研究、制定FL在本地训练和云端整合的过程概要。

A Deep Learning

  • 从大量数据提取特征方面、DNN比传统的ML要好,(自动提取模型特征)

B Federated Learning

C FL 的统计学挑战

D FL的协议和框架

E FL的特征与问题

0x03 通信开销

0x04 资源分配

0x05 隐私&安全

0x06 移动边缘计算的应用

0x07 挑战&未来研究方向

0x08 总结