内容简介

一本书带你读懂ChatGPT背后的技术，自然语言处理迁移学习 ！

迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理（NLP）、语音识别等领域都得到广泛应用。本书是迁移学习技术的实用入门图书，能够带领读者深入实践自然语言处理模型。

◎内容简介：

首先，本书回顾了机器学习中的关键概念，并介绍了机器学习的发展历史，以及NLP迁移学习的进展；其次，深入探讨了一些重要的NLP迁移学习方法—NLP浅层迁移学习和NLP深度迁移学习；最后，涵盖NLP迁移学习领域中最重要的子领域—以Transformer作为关键功能的深度迁移学习技术。读者可以动手将现有的先进模型应用于现实世界的应用程序，包括垃圾电子邮件分类器、IMDb电影评论情感分类器、自动事实检查器、问答系统和翻译系统等。

本书文字简洁、论述精辟、层次清晰，既适合拥有NLP基础的机器学习和数据科学相关的开发人员阅读，也适合作为高等院校计算机及相关专业的学生参考用书。

◎编辑推荐：

◆内容基础且实用。本书是关于迁移学习技术在NLP领域的实用指南，能够帮助读者快速了解相关的机器学习概念，并将其应用于现实世界的问题。

◆内容技术新。本书详细介绍了如何使用迁移学习技术来解决新场景、新任务和新环境的问题，使得机器学习系统更加可靠和鲁棒。

◆极具实战性。本书提供了如何使用迁移学习来改进NLP模型的实践指导，读者可以学习如何从预训练模型开始，调整以满足确切的需求，从而提供先进的结果。

◆涵盖广泛主题。本书涵盖了各种NLP应用程序，包括垃圾电子邮件分类器、IMDb电影评论情绪分析器、自动事实检查器、问答系统和翻译系统等，使读者能够全面了解迁移学习在NLP领域的应用。

◆参考价值高。本书不仅适合拥有NLP基础的机器学习和数据科学的开发人员阅读，同时也适合高等院校计算机及相关专业的学生和软件学院的学生参考，具有很高的参考价值。

◆清晰易懂的文字表述：本书采用简洁明了的文字表述，使读者能够轻松理解书中的内容，降低阅读门槛。

◎专业书评：

这本书对NLP背景下的迁移学习做了精彩阐述。内容深入浅出，案例丰富，值得深入阅读。迁移学习本质上是知识、算力的复用。在目标检测、模式识别、NLP等领域，迁移学习大有可为。

——许国强，三一重工SaaS首席信息官

迁移学习是近几年NLP领域最重要的研究方向之一。这本书以实例和代码的形式对NLP迁移学习的基本概念、业务应用以及发展方向做了详细介绍。这本书介绍的多个先进模型和算法在业务实践中都得到广泛应用。对想了解NLP迁移学习并在实际工作中落地的研究人员来说，这是一本很好的参考书。

——梁磊，蚂蚁集团资深技术专家

迁移学习技术在感知类机器学习场景取得了长足的进步，尤其是BERT系列的预训练模型将NLP领域的基线提升到新的高度。这本书系统、全面且贴合实际地介绍了这个高速发展的主题，值得NLP领域的工程师深入阅读和探究。

——朱亮，Meta（原Facebook）资深算法工程师

迁移学习是机器学习领域一次革命性的技术突破，特别是在NLP领域取得了令人振奋的成就。同时，我们相信迁移学习深刻的思想也会应用到其他领域，并且取得不错的成绩。推荐机器学习相关领域的工程师阅读这本书，保持对迁移学习的持续关注。

——刘冰洋，Google资深算法工程师

这本书对迁移学习的理论给出了全面且翔实的介绍，可以帮助读者建立清晰的认知。更为难得的是，这本书以实际的业务问题作为驱动，引领读者阅读和学习。推荐给NLP领域的相关工程师。

——赵海，美团技术专家

作品目录

第一部分 导论
第1章 迁移学习简介 3
1.1 NLP领域典型任务概述 5
1.2 理解人工智能背景下的NLP技术 6
1.2.1 人工智能 7
1.2.2 机器学习 7
1.2.3 自然语言处理 11
1.3 NLP发展简史 12
1.3.1 NLP简介 12
1.3.2 迁移学习的进展 14
1.4 计算机视觉中的迁移学习 16
1.4.1 概述 16
1.4.2 ImageNet预训练模型 17
1.4.3 ImageNet预训练模型的微调 18
1.5 NLP迁移学习成为一个令人兴奋的研究课题的原因 19
小结 20
第2章 从头开始：数据预处理 21
2.1 垃圾电子邮件分类任务中示例数据的预处理 23
2.1.1 加载并检视Enron电子邮件语料库 24
2.1.2 加载并检视欺诈电子邮件数据集 26
2.1.3 将电子邮件文本转换为数值 30
2.2 电影评论情感分类任务中示例数据的预处理 32
2.3 广义线性模型 35
2.3.1 逻辑斯谛回归 36
2.3.2 支持向量机 38
小结 38
第3章 从头开始：基准测试和优化 41
3.1 基于决策树的模型 41
3.1.1 随机森林 42
3.1.2 梯度提升机 42
3.2 神经网络模型 47
3.2.1 语言模型嵌入 47
3.2.2 BERT模型简介 52
3.3 效果优化 56
3.3.1 手动超参调优 56
3.3.2 系统化超参调优 57
小结 58
第二部分 基于循环神经网络的浅层迁移学习和深度迁移学习
第4章 NLP浅层迁移学习 63
4.1 基于预训练词嵌入的半监督学习 65
4.2 基于高级表示的半监督学习 69
4.3 多任务学习 71
4.3.1 问题的提出以及浅层神经网络单任务基线 72
4.3.2 双任务实验 74
4.4 领域适配 75
小结 78
第5章 基于循环神经网络的深度迁移学习实验的数据预处理 79
5.1 表格分类数据的预处理 81
5.1.1 获取并检视表格数据 82
5.1.2 预处理表格数据 85
5.1.3 对预处理数据进行数字编码 87
5.2 预处理示例数据的事实核查 87
5.2.1 特殊问题考量 88
5.2.2 加载并检视事实核查数据 88
小结 89
第6章 基于循环神经网络的NLP深度迁移学习 91
6.1 SIMOn 91
6.1.1 通用神经网络结构概述 92
6.1.2 表格数据建模 93
6.1.3 SIMOn在表格数据分类中的应用 93
6.2 ELMo 100
6.2.1 ELMo双向语言建模 101
6.2.2 ELMo在虚假新闻检测任务中的应用 102
6.3 ULMFiT 104
6.3.1 以语言模型为目标任务的微调 104
6.3.2 以分类为目标任务的微调 105
小结 105
第三部分 基于Transformer的深度迁移学习以及适配策略
第7章 基于Transformer的深度迁移学习和GPT 109
7.1 Transformer 110
7.1.1 transformers库简介与注意力可视化 113
7.1.2 自注意力 115
7.1.3 残差连接、编码器-解码器注意力和位置编码 117
7.1.4 预训练的编码器-解码器在机器翻译任务中的应用 120
7.2 GPT 121
7.2.1 模型结构概述 122
7.2.2 Transformer pipeline及其在文本生成任务中的应用 124
7.2.3 聊天机器人任务中的应用 126
小结 128
第8章 基于BERT和mBERT的NLP深度迁移学习 129
8.1 BERT 130
8.1.1 BERT模型结构 131
8.1.2 在自动问答任务中的应用 134
8.1.3 在空白填写和后续句预测任务中的应用 136
8.2 mBERT的跨语言学习 138
8.2.1 JW300数据集概述 139
8.2.2 用预训练分词器将mBERT迁移到Twi单语言数据 139
8.2.3 根据Twi单语言数据从头训练mBERT模型和分词器 142
小结 143
第9章 ULMFiT与知识蒸馏的适配策略 145
9.1 逐步解冻和差别式微调 146
9.1.1 预训练语言模型微调 147
9.1.2 以分类为目标任务的微调 149
9.2 知识蒸馏 151
小结 156
第10章 ALBERT、适配器和多任务适配策略 157
10.1 嵌入因子分解与跨层参数共享 158
10.2 多任务微调 162
10.2.1 GLUE数据集 163
10.2.2 GLUE单任务微调 164
10.2.3 序列化适配 167
10.3 适配器 169
小结 171
第11章 总结 173
11.1 关键概念概述 174
11.2 其他新兴研究趋势 179
11.2.1 RoBERTa 180
11.2.2 GPT-3 180
11.2.3 XLNet 182
11.2.4 BigBird 182
11.2.5 Longformer 182
11.2.6 Reformer 183
11.2.7 T5 183
11.2.8 BART 184
11.2.9 XLM 185
11.2.10 TAPAS 185
11.3 NLP迁移学习的发展方向 186
11.4 伦理和环境因素 187
11.5 最新进展 189
11.5.1 Kaggle和Zindi比赛 189
11.5.2 arXiv 190
11.5.3 新闻与社交媒体 190
11.6 写在最后 191
附录A Kaggle入门 193
A.1 通过Kaggle Kernel免费使用GPU 193
A.2 竞赛、讨论区和博客 198
附录B 深度学习的基础工具简介 201
B.1 随机梯度下降 202
B.2 TensorFlow 203
B.3 PyTorch 206
B.4 Keras、fast.ai库和Hugging Face的transformers库 207
· · · · · ·

作者简介

Paul Azunre拥有麻省理工学院计算机科学博士学位，曾担任美国国防部高级研究计划局（DARPA）的多个研究项目的主任研究员。由他创建的Algorine公司致力于推进AI/ML技术并让这些技术产生重大社会影响。Paul还参与创建了Ghana NLP开源社区。该社区专注于NLP技术的应用，尤其是对加纳语和其他低资源语言进行迁移学习。