联邦学习 内容简介

如何在保证本地训练数据不公开的前提下，实现多个数据拥有者协同训练一个共享的机器学习模型？传统的机器学习方法需要将所有的数据集中到一个地方（例如，数据中心），然后进行机器学习模型的训练。但这种基于集中数据的做法无疑会严重侵害用户隐私和数据安全。如今，世界上越来越多的人开始强烈要求科技公司必须根据用户隐私法律法规妥善地处理用户的数据，欧盟的《通用数据保护条例》是一个很好的例子。在本书中，我们将描述联邦学习（亦称联邦机器学习）如何将分布式机器学习、密码学、基于金融规则的激励机制和博弈论结合起来，以解决分散数据的使用问题。我们会介绍不同种类的面向隐私保护的机器学习解决方案以及技术背景，并描述一些典型的实际问题解决案例。我们还会进一步论述联邦学习将成为下一代机器学习的基础，可以满足技术和社会需求并促进面向安全的人工智能的开发和应用。

联邦学习 本书特色

如何在保证本地训练数据不公开的前提下，实现多个数据拥有者协同训练一个共享的机器学习模型？传统的机器学习方法需要将所有的数据集中到一个地方（例如，数据中心），然后进行机器学习模型的训练。但这种基于集中数据的做法无疑会严重侵害用户隐私和数据安全。如今，世界上越来越多的人开始强烈要求科技公司必须根据用户隐私法律法规妥善地处理用户的数据，欧盟的《通用数据保护条例》是一个很好的例子。在本书中，我们将描述联邦学习（亦称联邦机器学习）如何将分布式机器学习、密码学、基于金融规则的激励机制和博弈论结合起来，以解决分散数据的使用问题。我们会介绍不同种类的面向隐私保护的机器学习解决方案以及技术背景，并描述一些典型的实际问题解决案例。我们还会进一步论述联邦学习将成为下一代机器学习的基础，可以满足技术和社会需求并促进面向安全的人工智能的开发和应用。

联邦学习 目录

序言Ⅲ
前言Ⅳ
作者简介Ⅷ
第1 章 引言/1
1.1 人工智能面临的挑战/2
1.2 联邦学习概述/4
1.2.1 联邦学习的定义/5
1.2.2 联邦学习的分类/8
1.3 联邦学习的发展/11
1.3.1 联邦学习的研究/11
1.3.2 开源平台/13
1.3.3 联邦学习标准化进展/14
1.3.4 联邦人工智能生态系统/15
第2 章 隐私、安全及机器学习/17
2.1 面向隐私保护的机器学习/18
2.2 面向隐私保护的机器学习与安全机器学习/18
2.3 威胁与安全模型/19
2.3.1 隐私威胁模型/19
2.3.2 攻击者和安全模型/21
2.4 隐私保护技术/22
2.4.1 安全多方计算/22
2.4.2 同态加密/27
2.4.3 差分隐私/30
第3 章 分布式机器学习/35
3.1 分布式机器学习介绍/36
3.1.1 分布式机器学习的定义/36
3.1.2 分布式机器学习平台/37
3.2 面向扩展性的DML /39
3.2.1 大规模机器学习/39
3.2.2 面向扩展性的DML 方法/40
3.3 面向隐私保护的DML /43
3.3.1 隐私保护决策树/43
3.3.2 隐私保护方法/45
3.3.3 面向隐私保护的DML 方案/45
3.4 面向隐私保护的梯度下降方法/48
3.4.1 朴素联邦学习/49
3.4.2 隐私保护方法/49
3.5 挑战与展望/51
第4 章 横向联邦学习/53
4.1 横向联邦学习的定义/54
4.2 横向联邦学习架构/55
4.2.1 客户-服务器架构/55
4.2.2 对等网络架构/58
4.2.3 全局模型评估/59
4.3 联邦平均算法介绍/60
4.3.1 联邦优化/60
4.3.2 联邦平均算法/63
4.3.3 安全的联邦平均算法/65
4.4 联邦平均算法的改进/68
4.4.1 通信效率提升/68
4.4.2 参与方选择/69
4.5 相关工作/69
4.6 挑战与展望/71
第5 章 纵向联邦学习/73
5.1 纵向联邦学习的定义/74
5.2 纵向联邦学习的架构/75
5.3 纵向联邦学习算法/77
5.3.1 安全联邦线性回归/77
5.3.2 安全联邦提升树/80
5.4 挑战与展望/85
第6 章 联邦迁移学习/87
6.1 异构联邦学习/88
6.2 联邦迁移学习的分类与定义/88
6.3 联邦迁移学习框架/90
6.3.1 加法同态加密/93
6.3.2 联邦迁移学习的训练过程/94
6.3.3 联邦迁移学习的预测过程/95
6.3.4 安全性分析/95
6.3.5 基于秘密共享的联邦迁移学习/96
6.4 挑战与展望/97
第7 章 联邦学习激励机制/99
7.1 贡献的收益/100
7.1.1 收益分享博弈/100
7.1.2 反向拍卖/102
7.2 注重公平的收益分享框架/103
7.2.1 建模贡献/103
7.2.2 建模代价/104
7.2.3 建模期望损失/105
7.2.4 建模时间期望损失/105
7.2.5 策略协调/106
7.2.6 计算收益评估比重/108
7.3 挑战与展望/109
第8 章 联邦学习与计算机视觉、自然语言处理及推荐系统/111
8.1 联邦学习与计算机视觉/112
8.1.1 联邦计算机视觉/112
8.1.2 业内研究进展/114
8.1.3 挑战与展望/115
8.2 联邦学习与自然语言处理/116
8.2.1 联邦自然语言处理/116
8.2.2 业界研究进展/118
8.2.3 挑战与展望/118
8.3 联邦学习与推荐系统/119
8.3.1 推荐模型/120
8.3.2 联邦推荐系统/121
8.3.3 业界研究进展/123
8.3.4 挑战与展望/123
第9 章 联邦强化学习/125
9.1 强化学习介绍/126
9.1.1 策略/127
9.1.2 奖励/127
9.1.3 价值函数/127
9.1.4 环境模型/127
9.1.5 强化学习应用举例/127
9.2 强化学习算法/128
9.3 分布式强化学习/130
9.3.1 异步分布式强化学习/130
9.3.2 同步分布式强化学习/131
9.4 联邦强化学习/131
9.4.1 联邦强化学习背景/131
9.4.2 横向联邦强化学习/132
9.4.3 纵向联邦强化学习/134
9.5 挑战与展望/136
第10 章 应用前景/139
10.1 金融/140
10.2 医疗/141
10.3 教育/142
10.4 城市计算和智慧城市/144
10.5 边缘计算和物联网/146
10.6 区块链/147
10.7 第五代移动网路/148
第11 章 总结与展望/149
附录A 数据保护法律和法规/151
A.1 欧盟的数据保护法规/152
A.1.1 GDPR 中的术语/153
A.1.2 GDPR 重点条款/154
A.1.3 GDPR 的影响/156
A.2 美国的数据保护法规/157
A.3 中国的数据保护法规/158
参考文献/161

联邦学习 相关资料

联邦学习作为我国新一代人工智能重大项目的核心技术之一，能促进企业间数据合作和产业技术联盟，满足社会的需求并加快人工智能的产业落地。《联邦学习》原创性地阐述了联邦学习作为下一代人工智能大规模协作的基础理论、开源平台和应用场景，为目前发展人工智能面临的小数据和隐私等关键问题提供了有效的解决思路，是一本值得认真研读的好书。
高文
中国工程院院士，北京大学教授，鹏城实验室主任
隐私保护是人工智能时代的一项重要议题，联邦学习技术可有效平衡效益和隐私的矛盾。杨强教授作为联邦学习技术*早的布道者和领军人物，用浅显直白的语言介绍了联邦学习技术和各类适用场景，本书十分值得一读。李开复创新工场董事长兼CEO
大数据时代，如何在保障数据安全和隐私的前提下，实现数据共享，促进多源（元）数据的碰撞、融合，*限度地释放数据价值，是当前学术界和产业界共同面临的重要技术挑战之一。近年来，联邦学习作为应对这一挑战的一项新技术，受到了广泛的关注。本书以通俗简明的语言，系统地介绍了联邦学习的发展背景、理论框架和基础算法，并辅以丰富生动的实践应用，是一本值得大数据、人工智能技术与应用相关领域从业者拥有的学习和参考书。
梅宏教授，中国科学院院士，欧洲科学院外籍院士，IEEE Fellow，中国人民解放军军事科学院副院长
人工智能和金融的深度融合是金融业发展的必然趋势，也是现有金融行业的进化与升级，将会带来颠覆性变革。针对人工智能在金融业发展所遇到“数据孤岛”和“隐私保护”的难题，联邦学习技术应运而生，使得各机构可以在不交换数据的情况下，完成人工智能算法模型训练，且有望在世界范围内广泛推广。《联邦学习》中文版的出版，对联邦学习技术的知识传播、落地应用必将起到显著推动作用，有利于解决金融数据安全与共享运用的难题，加速我国金融业与人工智能的深度融合。肖钢
第十三届全国政协经济委员会委员
在欧盟《通用数据保护条例》等用户隐私数据法律法规陆续出台的今天，联邦学习的意义和作用日趋显著。本书由联邦学习的主要推动者之一杨强教授领衔撰写，对理解和实践联邦学习有重要参考价值。
周志华南京大学人工智能学院院长，欧洲科学院外籍院士，ACM/AAAI/IEEE Fellow

联邦学习 作者简介

杨强
杨强教授是微众银行的首席人工智能官（CAIO）和香港科技大学（HKUST）计算机科学与工程系讲席教授。他是香港科技大学计算机科学与工程系的前任系主任，并曾担任大数据研究院的创始主任（2015-2018 年）。他的研究兴趣包括人工智能、机器学习和数据挖掘，特别是迁移学习、自动规划、联邦学习和基于案例的推理。他是多个国际协会的会士（Fellow），包括ACM、AAAI、IEEE、IAPR 和AAAS。他于1982 年获得北京大学天体物理学学士学位，分别于1987年和1989 年获得马里兰大学帕克分校计算机科学系硕士学位和博士学位。他曾在在滑铁卢大学（1989-1995 年）和西蒙弗雷泽大学（1995-2001 年）担任教授。他是ACM TIST 和IEEE TBD 的创始主编。他是国际人工智能联合会议（IJCAI）的理事长（2017-2019 年）和人工智能发展协会（AAAI）的执行委员会成员（2016-2020 年）。杨强教授曾获多个奖项，包括2004/2005 ACM KDDCUP 冠军、ACM SIGKDD 卓越服务奖（2017）、AAAI 创新人工智能应用奖（2018, 2020）和吴文俊人工智能杰出贡献奖（2019）。他是华为诺亚方舟实验室的创始主任（2012-2014 年）和第四范式（AI 平台公司）的共同创始人。他是Intelligent Planning （Springer）、Crafting Your Research Future (Morgan Claypool)、Transfer Learning （Cambridge University Press）与Constraint-based Design Recovery for Software Engineering （Springer）等著作的作者。杨强杨强教授是微众银行的首席人工智能官（CAIO）和香港科技大学（HKUST）计算机科学与工程系讲席教授。他是香港科技大学计算机科学与工程系的前任系主任，并曾担任大数据研究院的创始主任（2015-2018 年）。他的研究兴趣包括人工智能、机器学习和数据挖掘，特别是迁移学习、自动规划、联邦学习和基于案例的推理。他是多个国际协会的会士（Fellow），包括ACM、AAAI、IEEE、IAPR 和AAAS。他于1982 年获得北京大学天体物理学学士学位，分别于1987年和1989 年获得马里兰大学帕克分校计算机科学系硕士学位和博士学位。他曾在在滑铁卢大学（1989-1995 年）和西蒙弗雷泽大学（1995-2001 年）担任教授。他是ACM TIST 和IEEE TBD 的创始主编。他是国际人工智能联合会议（IJCAI）的理事长（2017-2019 年）和人工智能发展协会（AAAI）的执行委员会成员（2016-2020 年）。杨强教授曾获多个奖项，包括2004/2005 ACM KDDCUP 冠军、ACM SIGKDD 卓越服务奖（2017）、AAAI 创新人工智能应用奖（2018, 2020）和吴文俊人工智能杰出贡献奖（2019）。他是华为诺亚方舟实验室的创始主任（2012-2014 年）和第四范式（AI 平台公司）的共同创始人。他是Intelligent Planning （Springer）、Crafting Your Research Future (Morgan & Claypool)、Transfer Learning （Cambridge University Press）与Constraint-based Design Recovery for Software Engineering （Springer）等著作的作者。 刘洋刘洋是微众银行AI 项目组的高级研究员。她的研究兴趣包括机器学习、联邦学习、迁移学习、多智能体系统、统计力学，以及这些技术的产业应用。她于2012 年获得普林斯顿大学博士学位，2007 年获得清华大学学士学位。她拥有多项国际发明专利，研究成果曾发表于Nature、IJCAI 和ACM TIST 等科研刊物和会议上。她曾获AAAI 人工智能创新应用奖、IJCAI 创新应用奖等多个奖项，并担任IJCAI 高级程序委员会委员，NeurIPS 等多个人工智能会议研讨会联合主席，以及IEEE Intelligent Systems 期刊客座编委等。 程勇程勇是微众银行AI 项目组的高级研究员。他曾任华为技术有限公司（深圳）高级工程师和德国贝尔实验室高级研究员，也曾在华为-香港科技大学创新实验室担任研究员。他的研究兴趣和专长主要包括联邦学习、深度学习、计算机视觉和OCR、数学优化理论和算法、分布式和网络计算以及混合整数规划。他发表期刊和会议论文20 余篇。他于2006 年、2010 年、2013 年分别在浙江大学、香港科技大学、德国达姆施塔特工业大学获工学学士学位（一等荣誉）、硕士学位和博士学位。他于2014 年获达姆施塔特工业大学最佳博士论文奖，于2006 年获浙江大学最佳学士论文奖。他在ICASSP’15 会议上做了关于“混合整数规划”的教程。他是IJCAI’19 和NIPS’19 等国际会议的程序委员会委员。 康焱康焱是微众银行AI 项目组的高级研究员。他的工作重点是面向隐私保护的机器学习和联邦迁移学习技术的研究和实现。他在马里兰大学巴尔的摩分校获计算机硕士和博士学位。他的博士论文研究的是以机器学习和语义网络进行异构数据集成，并获得了博士论文奖学金。在就读研究生期间，他参与了与美国国家标准与技术研究院（NIST）和美国国家科学基金会（NSF）合作的多个项目，设计和开发语义网络集成系统。他在商业软件项目方面也有着丰富的经验。他曾在美国Stardog Union 公司和美国塞纳公司工作了四年多的时间，从事系统设计和实现方面的工作。 陈天健陈天健是微众银行AI 项目组的副总经理。他现在负责构建基于联邦学习技术的银行智能生态系统。在加入微众银行之前，他是百度金融的首席架构师，同时也是百度的首席架构师。他拥有超过12 年的大规模分布式系统设计经验，并在Web 搜索引擎、对等网络存储、基因组学、推荐系统、数字银行和机器学习等多个应用领域中实现了技术创新。他现居于中国深圳，与其他工作伙伴一起建设和推广联邦AI 生态系统和相关的开源项目FATE。 于涵于涵现任职新加坡南洋理工大学（NTU）计算机科学与工程学院助理教授、微众银行特聘顾问。在2015—2018 年期间，他在南洋理工大学担任李光耀博士后研究员（LKY PDF）。在加入南洋理工大学之前，他曾在新加坡惠普公司担任嵌入式软件工程师。他于2014 年获南洋理工大学计算机科学博士学位。他的研究重点是在线凸优化、人工智能伦理、联邦学习及其在众包等复杂协作系统中的应用。他在国际学术会议和期刊上发表研究论文120 余篇，获得了多项科研奖项。