最优化的研究始于牛顿，拉格朗日和柯西时代的早期，特别是牛顿，高斯和莱布尼茨等在微积分领域做出的贡献，推动了包括微积分方法在内的数学基础的发展，使得对函数的优化成为可能，柯西第一个提出最速下降法求解无约束优化问题，然后，伯努利，欧拉拉格朗日，费马和魏尔施特拉斯发展了微积分最小化函数的基础，拉格朗日发明了求解约束优化问题的方法，该方法使用了以他的名字命名的位置乘数，称为“拉格朗日乘数法”。30世纪后半叶，随着数学计算机的发明，涌现出大量的求解复杂优化问题的方法和技术，持续的努力刺激了最优化时代不同的，全新的领域更深入的研究，一个重大事件是乔治丹茨格发明的线性规划，在此介绍了几个里程碑式的人物和事件：

库恩和塔克

在1951年开展了非线性规划的问题的早期研究。非线性规划是指目标函数或约束条件或者两者均包含非线性部分的一般形式。贝尔曼，在1057年提出了动态规划问题的最优性原则，该原则采用快乐将问题分解为更小的子问题的优化策略，描述子问题间关系的方程以他的名字命名。组合最优化，一个通用术语，指一组包含可运筹学，算法理论和计算复杂性理论的最优化方法。此域中的方法旨在当详尽搜索不可行时，在离散空间中搜索出一套可行解，其目标是找到最优解，它在多个领域有重要应用，包括人工智能，机器学习，数学和软件工程等，它也适用于设计不确定度性的优化问题。

丹齐格、查纳斯和库伯

约束和参数取决于随机变量的随机规划。鲁棒规划，类似于随机规划，掌握最优化问题中的数据的不确定性的尝试，它不通过随机变量解决问题，而是通过考虑输入数据的随机不准确性。模拟退火算法和进化算法家族，这些方法有时被称为启发式方法，它们很少或不进行问题的优化假设，因此可以在大量的候选方案中找出全局最优解，但是启发式方法并不能保证得到最优解。

在所有这些方法以及此处未提及的方法中，由于一种方法可以归类到很多分类中，因此很难对优化方法进行分类，一个粗略的分类是将其分为线性和非线性规划，线性规划旨在寻找一组线性方程组的最优解，如最小生成树和单纯性法，线性规划方法解决的一个问题是旅行商问题：寻求两个连通图的顶点之间的最小距离，非线性规划试图解决非线性方程组问题，可以进一步分为两个子类，确定性问题和随机问题。确定性非线性规划在解空间中进行基于梯度信息的迭代搜索，每一次迭代，都向函数最小化的方向进行搜索，随机方法则不同，它基于概率论的原则进行搜索，由于不需要梯度信息，这使得其能够适用于任意的优化问题，由于优化方法很多，本书中仅详细讨论大量的全局最优化技术中主要的、相关的优化方法，同时对最优化方法的令人激动的发展历史进行一次“普查”。

核心问题

最优化问题通常是多模的，即存在虚假的局部最优解，这导致最优解难以找到，因此是最优化问题的最大挑战之一。考虑确定性方法是基于其导数或逼近值的计算，它们沿着梯度向量的方向收敛到函数梯度为零的位置，如果问题的解空间是单峰的，则能快速找到可信的，鲁棒的全局最优解，然而，采用迭代方法使得它们通常不是找到了全局最优解，而是陷入了局部最优，多次运行的随机初始化可能有助于找到更好的局部最优解，但不能保证找到全局最优解。由于多模问题存在大量的局部最优解，因此随机初始化可能导致随机收敛，得到的结果不可复现且是次优的，此外，在实践中应用时也很少进行假设的，例如，函数的导数不能定义的情况。

除了微积分函数最小化，确定性方法通常还用于多个重要领域，例如，人工神经网络领域著名的训练方法，反向传播算法，是典型的梯度下降学习算法，前馈式神经网络的参数是随机初始化的，因此每一次的BP在解空间运行执行梯度下降，都会收敛于一组参数，另一个典型的例子是在一些统计模型中发现最大似然或最大后验概率的参数估计的期望最大化算法，最常见的模型是高斯混合模型，参数的概率密度函数表示为高斯概率密度函数的加权和，在信号处理，模式是被和其他相关的工具领域中，GMMs通常用作概率分布的属性或特征的参数化模型，为了确定一个特定的GMM的参数，EM用作执行期望，步骤或是最大化步骤的迭代方法，其中，期望步骤用于计算对数极大似然的期望，该对数极大似然基于当前参数估计得出，最大化步骤用于计算使得期望步骤找到期望的极大似然对数最大化的参数。这些估计值用于确定下一个期望步骤的潜在变量的分布。EM是确定性最优化方法中的典型例子，在误差空间中进行下降，如果下降步长选择合适，可以看到EM与梯度下降法师相同的，GFMMs是一个特别有用的数据挖掘工具，通常用于数据分布建模和聚类，K-均值算法是另一个确定性最优化技术，也许是最流行的数据聚类算法之一，类似的，当用于高维数据空间的复杂聚类结果，为了便于观察，结果分别着上了红，绿，蓝的颜色，数据点用着色的像素点表示，聚类中心用于白色+号表示。模拟中，分别进行4次，13次和127次K-均值运算，以提取图示中的前三个例子的真实聚类，尽管进行了产过10000次的运行，但是没有哪一次将最后一个例子成功聚类为42类，考虑到该例子的极端多模误差空间，具有极多的局部最优解，因此结果是符合预期的。

这些缺陷使得研究人员将目光转移到随机最优化方法尤其是进化算法上，如遗传算法，遗传规划，进化策略和进化规则。所有的进化算法都是以种群为基础的技术，这样可以避免陷入局部最优，但也并不能保证找到最优解，换言之，另一个主要的缺点依然存在：不能确定包含最优解的解空间的真正维数，很多问题，如数据聚类，需要解空间的维数信息，不然将不能收敛到全局最优解，聚类数目必须预先设定，在很多的聚类问题中，尤其是聚类数目的复杂聚类问题，这基本上是不可能过的，因此需要最优化方法根据解空间的维度信息找到最优解，这也是前面提到的最优化方法的主要问题，例如，BP只能训练前馈人工神经网络们不能搜索实际学习问题的最优化构型，因此典型的BP的一次运行能够实现次优化人工神经网络构型的的次优参数设置。

迄今为止所提到的所有最优化方法和很多其他方法都仅适用于静态问题。现实世界中的很多问题都是动态的，由于系统和/或环境的变化，需要系统进行二次优化，虽然可以将动态问题视为一系列的独立过程，采用在每一次变化之后重启最优化算法的方式解决，但这可能导致重要信息的丢失，尤其是当变化不是剧烈的而是渐进式的情况更是如此，此类问题中的大多数都具有多模的性质，使得动态最优化问题变得更加复杂，因此迫切需要强大而有效的最优化技术，鉴于上述原因，近10年来，研究人员的目光集中在了进化算法，尤其是粒子群优化上，PSO与EAs联系密切，介于GA与EP之间。与GA不同的是，PSO没有复杂的进化算子，如交叉，选择和突变等，它高度依赖于随机过程，但是PSO存在一些主要的问题和重大的缺陷，如参数依赖性和多样性丢失，多样性丢失问题和重大的缺陷，如参数依赖性和多样性丢失，多样性丢失问题增加陷入局部最优的概率，是导致提前收敛的主要原因，尤其是搜索空间维数过大以及处理多模优化问题时，这一缺陷更加明显。

低价特征，在许多的计算机视觉模式是和信号处理领域扮演了重要角色，特征是从原始数据中提取的能够表示一定的属性和特点的各种信息，然而，自动提取的特征，往往缺少正确处理所需的辨别能力，在大量多样的媒体内同数据情况下尤其如此，在基于内容的图像索引和检索领域，此即语义鸿沟问题，语义鸿沟是指用于计算机获取的图像视觉信息与用户对图像理解的语义信息不一致性而导致的低阶特征和高阶检索需求间的距离，因此，为了在多媒体分类，索引和检索应用领域以及其他相关领域取得合理的性能，对特征进行优化十分关键，由于特征通常为高维，因此能够处理多模态和维度成为最优化方法的基本要求。此外没在这些应用领域，特征往往是动态的，这又要求最优化方法具备应对随时对会发生的变化的可扩展型和即时适应性。总而言之，这些核心需求都超出了基本PSO和其他EA方法的能力。