目录
《大数据与数据科学专著系列》序
序一
序二
前言
符号表
第1章绪论 1
1.1 机器学习中的带约束优化问题举例 1
1.2 ADMM的代表性工作综述 3
1.3 关于本书 5
第2章 ADMM的推导 6
2.1 从拉格朗日视角推导ADMM 6
2.1.1 对偶上升法 6
2.1.2 增广拉格朗日法 7
2.1.3 交替方向乘子法（ADMM） 10
2.1.4 与分裂布雷格曼算法的联系 11
2.2 从算子分裂视角推导ADMM 13
2.2.1 Douglas-Rachford分裂（DRS） 13
2.2.2 从DRS到ADMM 15
第3章 确定性凸优化问题中的ADMM 18
3.1 经典ADMM 18
3.1.1 收敛性分析 18
3.1.2 次线性收敛速度 23
3.1.3 线性收敛速度 27
3.2 布雷格曼ADMM 31
3.2.1 次线性收敛速度 35
3.2.2 线性收敛速度 41
3.3 加速线性化ADMM 45
3.3.1 次线性收敛速度 45
3.3.2 线性收敛速度 63
3.4 特例：线性化增广拉格朗日算法及其加速 70
3.5 多变量块ADMM 73
3.5.1 使用高斯回代的ADMM 74
3.5.2 使用预测-校正的ADMM 78
3.5.3 使用并行分裂的线性化ADMM 81
3.5.4 结合串行与并行更新 83
3.6 变分不等式视角下的ADMM 84
3.6.1 统一的变分不等式框架 86
3.6.2 统一的收敛速度分析 89
3.7 非线性约束问题 90
第4章 确定性非凸优化问题中的ADMM 97
4.1 多变量块布雷格曼ADMM 97
4.1.1 满射条件下的收敛性分析 98
4.1.2 对目标函数做更多假设下的收敛性分析 102
4.2 使用指数平均的邻近ADMM 106
4.3 多线性约束优化问题的ADMM 118
第5章 随机优化问题中的ADMM 124
5.1 随机ADMM 125
5.2 方差缩减 132
5.3 冲量加速 142
5.4 非凸随机ADMM及其加速 167
5.4.1 非凸随机ADMM 167
5.4.2 SPIDER加速 172
第6章 分布式优化问题中的ADMM 181
6.1 中心化优化 181
6.1.1 ADMM 181
6.1.2 线性化ADMM 183
6.1.3 加速线性化ADMM 185
6.2 去中心化优化 187
6.2.1 ADMM 187
6.2.2 线性化ADMM 193
6.2.3 加速线性化ADMM 194
6.3 异步分布式ADMM 196
6.3.1 收敛性分析 197
6.3.2 线性收敛速度 203
6.4 非凸分布式ADMM 209
6.5 求解一般线性约束问题的分布式ADMM 210
第7章 实践中的问题和总结 212
7.1 实践中的问题 212
7.1.1 停止条件 212
7.1.2 惩罚系数的选择 213
7.1.3 避免过多的辅助变量 215
7.1.4 非精确求解子问题 215
7.1.5 其他考虑 216
7.2 总结 216
参考文献 217
附录A 数学基础 224
A.1 代数与概率 224
A.2 凸分析 225
A.3 非凸分析 231
缩略语 233
索引 234
后记 237
致谢 238
《大数据与数据科学专著系列》已出版书目 239
《大数据与数据科学专著系列》序
序一
序二
前言
符号表
第1章绪论 1
1.1 机器学习中的带约束优化问题举例 1
1.2 ADMM的代表性工作综述 3
1.3 关于本书 5
第2章 ADMM的推导 6
2.1 从拉格朗日视角推导ADMM 6
2.1.1 对偶上升法 6
2.1.2 增广拉格朗日法 7
2.1.3 交替方向乘子法（ADMM） 10
2.1.4 与分裂布雷格曼算法的联系 11
2.2 从算子分裂视角推导ADMM 13
2.2.1 Douglas-Rachford分裂（DRS） 13
2.2.2 从DRS到ADMM 15
第3章 确定性凸优化问题中的ADMM 18
3.1 经典ADMM 18
3.1.1 收敛性分析 18
3.1.2 次线性收敛速度 23
3.1.3 线性收敛速度 27
3.2 布雷格曼ADMM 31
3.2.1 次线性收敛速度 35
3.2.2 线性收敛速度 41
3.3 加速线性化ADMM 45
3.3.1 次线性收敛速度 45
3.3.2 线性收敛速度 63
3.4 特例：线性化增广拉格朗日算法及其加速 70
3.5 多变量块ADMM 73
3.5.1 使用高斯回代的ADMM 74
3.5.2 使用预测-校正的ADMM 78
3.5.3 使用并行分裂的线性化ADMM 81
3.5.4 结合串行与并行更新 83
3.6 变分不等式视角下的ADMM 84
3.6.1 统一的变分不等式框架 86
3.6.2 统一的收敛速度分析 89
3.7 非线性约束问题 90
第4章 确定性非凸优化问题中的ADMM 97
4.1 多变量块布雷格曼ADMM 97
4.1.1 满射条件下的收敛性分析 98
4.1.2 对目标函数做更多假设下的收敛性分析 102
4.2 使用指数平均的邻近ADMM 106
4.3 多线性约束优化问题的ADMM 118
第5章 随机优化问题中的ADMM 124
5.1 随机ADMM 125
5.2 方差缩减 132
5.3 冲量加速 142
5.4 非凸随机ADMM及其加速 167
5.4.1 非凸随机ADMM 167
5.4.2 SPIDER加速 172
第6章 分布式优化问题中的ADMM 181
6.1 中心化优化 181
6.1.1 ADMM 181
6.1.2 线性化ADMM 183
6.1.3 加速线性化ADMM 185
6.2 去中心化优化 187
6.2.1 ADMM 187
6.2.2 线性化ADMM 193
6.2.3 加速线性化ADMM 194
6.3 异步分布式ADMM 196
6.3.1 收敛性分析 197
6.3.2 线性收敛速度 203
6.4 非凸分布式ADMM 209
6.5 求解一般线性约束问题的分布式ADMM 210
第7章 实践中的问题和总结 212
7.1 实践中的问题 212
7.1.1 停止条件 212
7.1.2 惩罚系数的选择 213
7.1.3 避免过多的辅助变量 215
7.1.4 非精确求解子问题 215
7.1.5 其他考虑 216
7.2 总结 216
参考文献 217
附录A 数学基础 224
A.1 代数与概率 224
A.2 凸分析 225
A.3 非凸分析 231
缩略语 233
索引 234
后记 237
致谢 238
《大数据与数据科学专著系列》已出版书目 239
tpg0 2023-03-25 11:10:31
交替方向乘子法（Alternating Direction Method of Multipliers，简称ADMM）是一种优化算法，在机器学习和图像处理等领域被广泛应用。它的主要优点是解决了一些传统优化算法的限制，如二次规划、整数规划等问题，而且可以高效地解决大规模数据的问题。 ADMM是一个基于对偶问题的算法，它通过将原问题的约束条件映射到对偶空间中，然后通过求解对偶问题来得到原问题的解。ADMM在解决一些凸优化问题方面表现出色，如最小化凸函数加一个简单集合的形式，这种问题的解有许多应用，如正则化、稀疏编码等。 然而，ADMM的使用也有一些限制。它的收敛速度可能比其他算法慢，特别是对于非凸问题和高维问题，可能会导致收敛速度降低和收敛到次优解。另外，它的公式较为复杂，需要一定的理论基础和实践经验才能使用。 总之，ADMM是一种优秀的优化算法，在机器学习等领域得到了广泛应用。对于一些凸优化问题，它能够有效地解决，并具有一些优点。但是，对于一些非凸问题和高维问题，可能需要采用其他算法来解决。