背 景
盘算机学院的学生小A意图使用大数据及人工智能的相关手艺完成自己的一个课题《大学生男生生涯费消费行为的偏好剖析》，然而苦于数据量不够，便寄希望于身边的同伙以及学校的宽大男性同砚，原本以为是一件易如反掌的事，然而…
由于小我私人隐私易泄露，数据生意难订价，互助者激励制度不健全，以及恶意提供无用或者虚伪数据等问题，网络真实且有价值的的数据远比想象中难。
而近两年来，“联邦学习”被学术界和工业界经常提及，联邦学习事实是什么，为何能解决以上问题，我们从它的宿世今生最先逐步揭开面纱。
▲ 人工智能（AI）是什么
人工智能是人为制造出来的智能，可以让机械“智能”地完成一些通常以为只能由人来完成的简朴事情。其研究目的是促使智能机械会“听”（语音识别、机械翻译等）、会“看”（图像识别、文字识别等）、会“说”（语音合成、人机对话等）、会“思索”（人机对弈、定理证实等）、会“学习”（机械学习、知识示意等）、会“行动”（机械人、自动驾驶汽车等）。
自1956年人工智能的看法被提出至今，有了飞速的生长。从早期的电子游戏AI（娱乐）等，到现阶段的智能家居（室内生涯）、围棋新星阿尔法狗（竞技运动）等，到未来的无人驾驶工具（交通运输）以及毁天灭地的终结者（战争）都是人工智能应用的产物。
人工智能已经改变了我们的生涯，从遥不能及的实验室科技转酿成为我们身边随处可见的工具，甚至改变天下的主要同伴。人工智能中的“学习”能力是人工智能生长的焦点，方式也层出不穷，机械学习、深度学习、强化学习……可以统称为机械学习。生长至今，我们也逐渐发现了制约机械学习和人工智能进一步生长的瓶颈。
▲ 机械学习的瓶颈
1. 算法瓶颈
现在的机械学习存在着鲁棒性较差以及算法的不能注释性两大问题。
虽然人工智能领域依赖深度学习在图像识别上取得了伟大的突破，然而在加入“噪声”后将图片内容完全识别错误的“人工智障”行为依旧习以为常；其次，在引着迷经网络的机械学习中，“黑盒子”状态的算法虽然提升了算法的效果，但因缺乏严酷的数学理论证实以及算法的注释性，从而一直为学业界的人士所诟病。
2. 数据瓶颈
2.1 数据需求量大
盘算能力和盘算成本是首当其冲需解决的问题，而一个好的机械学习算法背后，是大量数据多轮次的重复性盘算的效果，需要大量算力成本。
2.2 数据供应稀缺
云盘算、AI手艺生长至今，我们发现制约AI应用落地的是没有足够的数据支持算法的训练和验证。巧妇难为无米之炊，缺少数据的机械学习算法犹如空油的F1赛车，无法施展它最强的性能。
联邦学习的宿世今生
▲ 数据隐私问题
数据是机械学习的原油，随同机械学习的兴起和大数据的浪潮，数据的网络成为业内的产业之一。由于产业的暴利和法制的不健全，用户的信息被放肆的爬取、网络、销售，导致很长一段时间我们的生涯不堪其扰。
APP上的信息爬取，电话与身份信息泄露让我们总是能吸收到种种广告推销电话。更有甚者，“裸贷”风浪和Facebook用户信息泄露，让民众在信息化时代对于小我私人信息平安加倍郑重小心。2018年的欧洲隐私和数据珍爱法案GDPR的出台虽然一定水平上保障信息隐私平安并规范了数据网络方式，但无形中加剧了优质数据整合的难度，对机械学习与人工智能领域都是一次重大的挑战。
▲ 联邦学习的宿世
随同着以上涉及到的问题，Google公司早在2016年提出联邦学习的看法，这一看法原本用于解决安卓手机终端用户在内陆更新模子的问题，详细如下：
Step1. 手机下载现有模子；
Step2. 用手机的内陆数据来训练模子；
Web3.0：个人价值崛起的互联网时代
当Web3.0逐渐成型之际，用户将拥有更多选择，能够真正掌握自己的数据，掌握去中心化互联网环境当中的话语权，实现真正的“互联网民自己当家做主”。
btcpro
Step3. 训练好后，迭代更新，并将更新的额内容加密上传到云端；
Step4. 与其它用户的更新举行整合，作为对共享模子的改善；
Step5. 该历程不停重复，改善后的共享模子也会不停地被下载到内陆。
值得注重的是，在执行的历程中有两个特其余点：
- 每个装备端在更新己方模子时都是依赖于自己数据的个性化更新；
- 该场景中的共享模子可能不是完整的机械学习模子/神经网络模子，可能是经由压缩的模子。
▲ 联邦学习的今生
联邦学习的正式降生是在2017年，Google的AI blog中提出的一种漫衍式机械学习框架，目的是在保证数据隐私平安及正当合规的基础上，实现多方配合建模，并提升AI模子的效果。当完成训练后，凭证联邦学习特有的激励机制，会给予所有的介入方一定的激励作为配合介入训练的奖励。随后以杨强教授为首的团队进一步推进联邦学习框架，直至我们现在所看的样子。
联邦学习的分类
▲ 联邦学习的精髓
国际人工智能团结会主席杨强教授曾经举过一个联邦学习的例子：
我们每小我私人的大脑里都有数据，当两小我私人在一起做作业或者一起写书的时刻，我们并没有把两个脑壳物理性合在一起，而是两小我私人用语言交流。以是我们写书的时刻，一小我私人写一部门，通过语言的交流最后把互助的文章或者誊写出来。
我们交流的是参数，在交流参数的历程中有没有设施珍爱我们大脑里的隐私呢？是有设施的，这个设施是让差其余机构相互之间转达加密后的参数，以确立共享的模子，数据可以不出内陆。
故而，在内陆数据不出库的情形下，通过对中央加密数据的流通与处置来完成多方对共享模子的机械学习训练，即是联邦学习的精髓所在。
▲ 横向联邦学习
横向联邦学习是指，在差异数据集之间数据特征重叠较多而用户重叠较少的情形下，根据用户维度对数据集举行切分，并取出双方数据特征相同而用户不完全相同的那部门数据举行训练。
横向联邦学习的本质是样本的团结，适用于介入者间业态相同但触达客户差异，即特征重叠多、用户重叠少时的场景，好比差异区域的银行间，他们的营业相似（特征相似），但用户差异（样本差异）。
▲ 纵向联邦学习
纵向联邦学习是指，在差异数据集之间用户重叠较多而数据特征重叠较少的情形下， 根据数据特征维度对数据集举行切分，并取出双目的对相同用户而数据特征不完全相同的那部门数据举行训练。
纵向联邦学习的本质是特征的团结，适用于用户重叠多，特征重叠少的场景，好比统一区域的商超和银行，他们触达的用户都为该区域的住民（样真相同），但营业差异（特征差异）。
▲ 迁徙联邦学习
联邦迁徙学习是指，在多个数据集的用户与数据特征重叠都较少的情形下，纰谬数据举行切分，而是行使迁徙学习来战胜数据或标签不足的情形。
当介入者间特征和样本重叠都很少时可以思量使用联邦迁徙学习，如差异区域的银行和阛阓间的团结。主要适用于以深度神经网络为基模子的场景
小结
本次带人人走进“联邦学习的大门”，简要先容了联邦学习的「宿世今生」及「差异分类」，下一篇将会详细解说「差异分类下的联邦学习」，敬请期待！
作者简介
严杨
来自数据网格实验室BitXMesh团队
PirvAIの修道者
