《用户画像：方法论与工程化解决方案》内容简介

本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。全书共分为9个章节。第一章 用户画像基础：讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计；第二章 数据指标体系：从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签，这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式；第三章 标签数据存储：讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储，以及存储实现方式；第四章 标签数据开发：本章是全书的重点章节，讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。；第五章 开发性能调优：主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面；第六章 作业流程调度：数据的ETL调度是数据开发中的重要内容，本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作；第七章 用户画像产品化：开发画像后的标签数据，如果只是“躺在”数据仓库中，并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子？如何帮助业务人员进行分析，提供服务的；第八章 用户画像应用：用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景；第九章 实践案例详解：前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景，本章从完整的工业实践应用角度，通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的。
作者：赵宏田

作品目录

前言
第1章：用户画像基础
1.1、用户画像是什么
1.1.1、画像简介
1.1.2、标签类型
1.2、数据架构
1.3、主要覆盖模块
1.4、开发阶段流程
1.4.1、开发上线流程
1.4.2、各阶段关键产出
1.5、画像应用的落地
1.6、某用户画像案例
1.6.1、案例背景介绍
1.6.2、相关元数据
1.6.3、画像表结构设计
1.7、定性类画像
1.8、本章小结
第2章：数据指标体系
2.1、用户属性维度
2.1.1、常见用户属性
2.1.2、用户性别
2.2、用户行为维度
2.3、用户消费维度
2.4、风险控制维度
2.5、社交属性维度
2.6、其他常见标签划分方式
2.7、标签命名方式
2.8、本章小结
第3章：标签数据存储
3.1、Hive存储
3.1.1、Hive数据仓库
3.1.2、分区存储
3.1.3、标签汇聚
3.1.4、ID-MAP
3.2、MySQL存储
3.2.1、元数据管理
3.2.2、监控预警数据
3.2.3、结果集存储
3.3、HBase存储
3.3.1、HBase简介
3.3.2、应用场景
3.3.3、工程化案例
3.4、Elasticsearch存储
3.4.1、Elasticsearch简介
3.4.2、应用场景
3.4.3、工程化案例
3.5、本章小结
第4章：标签数据开发
4.1、统计类标签开发
4.1.1、近30日购买行为标签案例
4.1.2、最近来访标签案例
4.2、规则类标签开发
4.2.1、用户价值类标签案例
4.2.2、用户活跃度标签案例
4.3、挖掘类标签开发
4.3.1、案例背景
4.3.2、特征选取及开发
4.3.3、文本分词处理
4.3.4、数据结构处理
4.3.5、文本TF-IDF权重
4.3.6、朴素贝叶斯分类
4.4、流式计算标签开发
4.4.1、流式标签建模框架
4.4.2、Kafka简介
4.4.3、Spark
Streaming集成Kafka
4.4.4、标签开发及工程化
4.5、用户特征库开发
4.5.1、特征库规划
4.5.2、数据开发
4.5.3、其他特征库规划
4.6、标签权重计算
4.6.1、TF-IDF词空间向量
4.6.2、时间衰减系数
4.6.3、标签权重配置
4.7、标签相似度计算
4.7.1、案例场景
4.7.2、数据开发
4.8、组合标签计算
4.8.1、应用场景
4.8.2、数据计算
4.9、数据服务层开发
4.9.1、推送至营销系统
4.9.2、接口调用服务
4.10、GraphX图计算用户
4.10.1、图计算理论及应用场景
4.10.2、数据开发案例
4.11、本章小结
第5章：开发性能调优
5.1、数据倾斜调优
5.2、合并小文件
5.3、缓存中间数据
5.4、开发中间表
5.5、本章小结
第6章：作业流程调度
6.1、crontab命令调度
6.2、Airflow工作平台
6.2.1、基础概念
6.2.2、Airflow服务构成
6.2.3、Airflow安装
6.2.4、主要模块功能
6.2.5、工作流调度
6.2.6、脚本实例
6.2.7、常用命令行
6.2.8、工程化调度方案
6.3、数据监控预警
6.3.1、标签监控预警
6.3.2、服务层预警
6.4、ETL异常排查
6.5、本章小结
第7章：用户画像产品化
7.1、即时查询
7.2、标签视图与标签查询
7.3、元数据管理
7.4、用户分群功能
7.5、人群分析功能
7.6、本章小结
第8章：用户画像应用
8.1、经营分析
8.1.1、商品分析
8.1.2、用户分析
8.1.3、渠道分析
8.1.4、漏斗分析
8.1.5、客服话术
8.1.6、人群特征分析
8.2、精准营销
8.2.1、短信/邮件营销
8.2.2、效果分析
8.3、个性化推荐与服务
8.4、本章小结
第9章：实践案例详解
9.1、风控反欺诈预警
9.1.1、应用背景
9.1.2、用户画像切入点
9.2、A/B人群效果测试
9.2.1、案例背景
9.2.2、用户画像切入点
9.2.3、效果分析
9.3、用户生命周期划分与营销
9.3.1、生命周期划分
9.3.2、不同阶段的用户触达策略
9.3.3、画像在生命周期中的应用
9.3.4、应用案例
9.4、高价值用户实时营销
9.4.1、项目应用背景
9.4.2、用户画像切入点
9.4.3、HBase应用场景小结
9.5、短信营销用户
9.5.1、案例背景
9.5.2、画像切入及其应用效果
9.6、Session行为分析应用
9.6.1、关于用户行为分析
9.6.2、案例背景
9.6.3、特征构建
9.6.4、分析方法与结论
9.7、人群效果监测报表搭建
9.7.1、案例背景
9.7.2、逻辑梳理
9.7.3、自动报表邮件
9.8、基于用户特征库筛选目标人群
9.8.1、案例背景
9.8.2、应用方式及效果
9.9、本章小结
附录
某产品用户画像项目规划文档