参考书《优化：建模、算法和理论》
文章目录
1 建模设计 1.1 目标函数设计 1.2 约束设计 2 建模技巧
2.1 监督学习
在机器学习中，监督学习的任务是根据给定的包含输入信息的数据集学习模型，使模型能够对新的输入数据做出良好的预测。经典的监督学习包括回归和分类。类问题。
2.1.1 回归2.1.2 分类
在分类问题中，输出变量取离散空间中的值。对于二元分类问题，预测变量只有两个值，-1, 1。
2.2 概率图形模型
概率图模型是概率论中的一个重要概念。它是一种利用图结构来描述多个随机变量之间的条件独立关系的概率模型。它在高维空间概率模型的研究中发挥着重要作用。当概率模型中有很多变量时，对应的依赖关系会更加复杂。图模型可以帮助我们更直观地理解随机变量之间的条件独立关系。
马尔可夫性质：给定当前状态和所有过去状态的随机过程未来状态的条件概率分布仅取决于当前状态。过去的状态（即过程的历史路径）是有条件独立的。
2.三相恢复
相位恢复是信号处理中的一个重要问题。它从变换域中的幅度测量中恢复信号。相位恢复问题本质上是以下二次方程的解：
bk2=∣aˉkTx∣2, k=1,2,...,mb_{k}^{2} = |\bar{a}_{k}^Tx|^2, k = 1,2 ,...,mbk2=∣aˉkTx∣2, k=1,2,...,m
在NP中求解二次方程组比较困难，可以将二次方程组转化为以下两种模型求解：
2.4 主成分分析
主成分分析是数据处理和降维中的一项重要技术。它提供了一种在低维子空间中表示高维空间中的点的方法。思路是找到一个由几个样本点方差最大的方向组成的子空间，然后将数据点投影到该子空间中小波域马尔可夫随机场在图像处理中的应用，实现降维。
2.5 个矩阵分离问题
矩阵分离问题，又称鲁棒主成分分析，也是一个重要的低秩矩阵计算问题。给定一个矩阵 M ∈ Rm×n，将其分解为一个低秩矩阵 X 和一个稀疏矩阵 S，使得 X + S = M，并尽量使矩阵 X 的秩和矩阵 S 的 ℓ0 范数小到可能。
2.6 字典学习
字典学习的目的是压缩现有的（超）大规模数据集，找到这些数据点背后的最基本原理。字典学习模型不同于多元线性回归模型，需要在字典学习模型中同时求解字典D和系数x。
2.7 K-means 聚类
聚类分析是统计学中的一个基本问题，在机器学习、数据挖掘、模式识别和图像分析中具有重要应用。聚类分析的任务是对一些未标注的数据点按照一定的相似度进行分类，然后从数据点本身中学习它们固有的类别特征。
2.8 图像处理中的总变差（TV）模型2.9 小波模型
小波分析是另一种图像重建方法。它通过不同的尺度变化对失真图像进行多尺度分析，然后保留期望的尺度信息，去除相应的噪声等干扰信息。小波分析最重要的概念之一是小波框架，它是空间中基函数的推广。具体来说，图像被理解为一个向量x∈Rnx ∈ R^nx∈Rn，设W∈Rm×nW ∈ R^{m×n}W∈Rm×n为小波帧。
2.10 强化学习
推荐书籍：《强化学习（第二版）》
强化学习解决的实际问题千差万别，但它们通常抽象出代理和环境的概念。 agent不断与环境交互，从环境中学习经验和规则小波域马尔可夫随机场在图像处理中的应用，如下图所示。代理在状态 st 执行动作 at 后，环境根据其内部规则做出响应，达到新的状态 st+1，并奖励 rt+1。系统会不断重复这个过程，直到系统停止。
强化学习通常可以用马尔可夫决策过程 (MDP) 来描述，其中环境状态转换的概率仅取决于当前状态和动作，而不取决于所有历史信息。环境仅取决于当前状态和操作。
强化学习在以下方面不同于其他机器学习：
