Federated Learning in Mobile Edge Networks: A Comprehensive Survey
Federated Learning in Mobile Edge Networks: A Comprehensive Survey🕊
0x00 摘要
一篇联邦学习的综述,还没看完(~ ̄▽ ̄)~
KEY WORDS: FL,Communication,Resources,Privacy,Security
0x01 介绍
-
传统以云端为中心数据处理方式、阻碍新技术的发展:
- 用户的隐私保护意识越来越强;保护个人隐私法律的出台。
- 数据长距离传输产生的延迟会满足应用的时效性。
- 增加主干网络的负担、特别是处理无结构数据。
-
移动边缘计算MEC:
End-edge-cloud:
-
组成:终端设备、边缘节点、云端服务器。
-
特点:训练数据被发送到边缘节点进行训练。
-
问题:增加大量的传输开销、不能满足那些需持久稳定训练的应用;而且边缘计算的卸载和数据加工,也会涉及到个人敏感数据。用户不相信平台所说的保护措施,仍然怕数据泄露。
-
-
Federated Learning:
-
特性:
带宽的高利用率:网络传输模型而不是未训练的模型、降低了带宽的占用,提高利用率。
隐私的保密性:数据不必上传至云服务器。
低延时:模型的参数更新快
-
应用:
一般应用:例如谷歌的输入法、进行输入预测。
移动边缘网络优化技术:传统网络优化技术是建立静态模型、很少建立动态模型。FL可用于优化计算卸载和传输网络。
-
挑战:
- 通信开销高的问题仍然存在:高纬度的模型数据更新和实际中设备的可用带宽限制、例如DNN中上百万的参数。
- 参与设备的参差不齐:包括数据质量、算力、参与计算的意向等、必须从资源配置的角度考虑好。
- 拜占庭陷阱:当恶意用户和聚集服务器存在时、隐私无法得到保障。(已经得到证实、恶意参与者可以从其他参与者分享的参数中提取有用信息)
-
研究现状:
研究FL没有考虑移动边缘网络;研究MEC的没有考虑实施FL的挑战、和FL作为优化的潜力。
本文贡献:
- 令FL成为合作机器学习的重要样例;为后续研究人员提供FL执行指南和开源框架。
- 讨论FL与集中机器学习的不同特性;讨论在执行过程中困难的解决办法。
- 利用FL优化移动边缘网络;讨论在边缘计算中将FL作为隐私保护的应用。
- FL的挑战和未来研究方向。
-
-
说明:
对现有研究分成两类:研究FL的基础问题和探索FL的应用。
0x02 背景&基础
FL训练的两个步骤:在终端本地训练模型、在服务器端更新参数实现全局模型的整合。
本节先讲DNN、特别是DNN的联合训练模型;当数据很大时、DNN模型的整合和表现比传统模型出色。通过对DNN过程研究、制定FL在本地训练和云端整合的过程概要。
A Deep Learning
- 从大量数据提取特征方面、DNN比传统的ML要好,(自动提取模型特征)
B Federated Learning
C FL 的统计学挑战
D FL的协议和框架
E FL的特征与问题
0x03 通信开销
0x04 资源分配
0x05 隐私&安全
0x06 移动边缘计算的应用
0x07 挑战&未来研究方向
0x08 总结
All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.