第1章 多模态数据分析概述 1
1.1 什么是多模态数据 1
1.2 多模态数据分析的意义 4
1.3 多模态数据分析的挑战 7
1.4 小结 9
第2章 单一模态数据处理与分析 11
2.1 文本数据处理与分析 11
2.1.1 文本数据处理 12
2.1.2 文本分类与主题建模 21
2.2 图像数据处理与分析 25
2.2.1 图像数据处理 25
2.2.2 图像目标检测 35
2.3 音频数据处理与分析 37
2.3.1 音频数据预处理 38
2.3.2 音频分类与事件检测 46
2.4 视频数据处理与分析 49
2.4.1 视频数据预处理 50
2.4.2 行为识别与动作分析 60
2.5 小结 65
第3章 多模态数据融合 66
3.1 多模态数据融合的研究意义 66
3.2 多模态数据融合的常规方法 67
3.2.1 特征级融合 67
3.2.2 决策级融合 71
3.2.3 模型级融合 75
3.2.4 混合级融合 80
3.3 多模态数据融合的创新方法 84
3.3.1 基于深度学习的多模态特征自适应融合 84
3.3.2 基于跨模态语义对齐的一致性增强融合 89
3.3.3 基于图的多模态图像关系推理融合 92
3.4 小结 95
第4章 统计学与数据分析 96
4.1 统计学概述 96
4.2 基础知识 98
4.2.1 描述统计 98
4.2.2 假设检验 105
4.3 相关性分析 107
4.4 回归分析 109
4.4.1 回归分析介绍 109
4.4.2 案例：二手车怎么买 111
4.5 算法案例：基于相关性统计的短语词云 121
4.5.1 文本数据处理 121
4.5.2 短语词云算法原理与展示 125
4.6 小结 126
第5章 基于机器学习的多模态数据分析 128
5.1 经典机器学习算法介绍 128
5.1.1 线性回归 129
5.1.2 逻辑回归 130
5.1.3 支持向量机 131
5.1.4 决策树 132
5.1.5 随机森林 134
5.1.6 XGBoost 137
5.1.7 朴素贝叶斯 137
5.1.8 神经网络 138
5.2 案例：基于支持向量机的车牌识别 140
5.3 案例：基于神经网络的机器翻译 150
5.4 小结 154
第6章 基于深度学习的多模态数据分析 156
6.1 深度学习介绍 156
6.2 卷积神经网络及其数据分析案例 158
6.2.1 卷积神经网络介绍 158
6.2.2 案例：颜值评分 160
6.3 序列数据应用—LSTM 167
6.3.1 循环神经网络和LSTM介绍 167
6.3.2 案例：用模型作诗 169
6.4 深度学习扩展知识与应用 175
6.5 小结 180
第7章 基于知识图谱的多模态数据分析 181
7.1 知识图谱技术体系及其构建方法 181
7.1.1 知识图谱技术体系 181
7.1.2 案例：构建知识图谱 184
7.2 知识图谱与多模态数据融合 190
7.2.1 融合的优势及应用方向 190
7.2.2 案例：构建基于多模态知识图谱的多标签预测模型 191
7.3 知识图谱推理与分析 203
7.3.1 推理与分析方法介绍 203
7.3.2 案例：基于图神经网络的知识图谱给用户推荐电影 204
7.4 知识图谱数据分析的企业级拓展应用 208
7.4.1 用户传播路径 208
7.4.2 用户搜索观星台 209
7.4.3 用户关系网络及健康度评估 210
7.5 小结 212
第8章 基于大模型的多模态数据分析 213
8.1 大模型概述 213
8.1.1 大模型的定义与特点 213
8.1.2 大模型的基本原理 214
8.1.3 大模型在多模态数据分析中的重要作用 217
8.2 大模型应用架构 218
8.2.1 业务架构 218
8.2.2 技术架构 220
8.2.3 技术路线选择 224
8.3 大模型在多模态数据分析中的应用 226
8.3.1 大模型助力多模态数据处理 226
8.3.2 大模型助力多模态数据融合 228
8.3.3 大模型助力多模态数据分析 230
8.4 GPT与DeepSeek：多模态数据分析领域的交锋 231
8.4.1 GPT：多模态先驱，当下实力究竟几何 231
8.4.2 DeepSeek：新晋黑马，突破重围有何独特优势 233
8.4.3 巅峰对垒：GPT与DeepSeek多模态数据分析比拼 235
8.5 小结 237
第9章 实战案例：挖掘肺部病变，赋能精准医疗 239
9.1 多模态数据分析在医疗领域的发展和应用现状 239
9.2 肺部病变识别的背景介绍 241
9.3 肺部病变识别的实践过程 242
9.3.1 CT影像数据预处理 242
9.3.2 使用TensorFlow搭建CNN模型 250
9.3.3 使用模型识别疑似病灶图像 255
9.4 小结 258
第10章 实战案例：剖析疾病数据，助力早期筛查 260
10.1 疾病早筛数据预处理 260
10.2 建立重大疾病预测模型 267
10.3 疾病早筛实际业务过程和价值预估 269
10.4 小结 272
第11章 实战案例：聚焦直播高光时刻，推动话题制造 273
11.1 直播数据特点 273
11.2 直播数据反馈 274
11.3 视觉内容识别 276
11.4 弹幕评论解析 280
11.5 音频情感分析 283
11.6 协同确定直播高光时刻 286
11.7 小结 287
第12章 实战案例：解析优质视频，汲取创作灵感 288
12.1 短视频数据特点 288
12.2 使用多模态大模型做视频分析的优势和局限性 290
12.3 从视频内容预处理到灵感孵化 293
12.4 数据驱动的灵感闭环 299
12.5 小结 301
