Python实战开发及案例分析（12）—— 模拟退火算法

模拟退火算法（Simulated Annealing）是一种概率搜索算法，源自于金属退火过程。在金属退火中，通过缓慢降低温度，金属内部的原子能够从高能态逐步达到较低能态。模拟退火算法利用类似的原理，通过随机搜索和概率接受策略来找到近似最优解。

贾贾2023

3079人浏览 · 2024-05-09 10:04:00

贾贾2023 · 2024-05-09 10:04:00 发布

模拟退火算法的原理

目标：寻找最小化或最大化目标函数的近似最优解。
温度：从高温逐渐降到低温。
状态变换：通过随机变换产生邻域解。
接受概率：以一定概率接受当前解，概率与温度和能量变化相关。

伪代码

1. 初始化当前解 s0，并设定初始温度 T0
2. while 当前温度 T > Tmin:
3. 随机产生新的解 s'（当前解的邻域解）
4. 计算能量差 ΔE = f(s') - f(s)
5. if ΔE < 0:
6. 接受新的解 s = s'
7. else:
8. 以概率 P(ΔE, T) = exp(-ΔE / T) 接受新的解 s = s'
9. 降低温度 T = T * α
10. 返回最优解

Python 实现：模拟退火算法

示例问题：求解最小化 Rastrigin 函数

Rastrigin 函数是一个常见的多峰函数，用于测试优化算法的全局搜索能力。函数公式如下：

𝑓(𝑥,𝑦)=10×2+(𝑥2−10×cos⁡(2𝜋𝑥))+(𝑦2−10×cos⁡(2𝜋𝑦))

Python 实现：

import math
import random
import numpy as np
import matplotlib.pyplot as plt

# Rastrigin 函数
def rastrigin(x):
    A = 10
    return A * len(x) + sum([(xi**2 - A * math.cos(2 * math.pi * xi)) for xi in x])

# 邻域解生成函数
def random_neighbor(x, bounds, step_size=0.5):
    return [min(max(xi + random.uniform(-step_size, step_size), bounds[i][0]), bounds[i][1]) for i, xi in enumerate(x)]

# 模拟退火算法
def simulated_annealing(objective, bounds, T0=1000, Tmin=1e-5, alpha=0.9, max_iter=1000):
    # 随机初始化起点
    x = [random.uniform(b[0], b[1]) for b in bounds]
    best_solution = x
    best_score = objective(x)
    current_solution = x
    current_score = best_score
    T = T0
    scores = []

    for _ in range(max_iter):
        if T < Tmin:
            break

        # 生成新邻域解
        neighbor = random_neighbor(current_solution, bounds)
        neighbor_score = objective(neighbor)

        # 接受概率计算
        if neighbor_score < current_score:
            current_solution = neighbor
            current_score = neighbor_score
        else:
            p = math.exp((current_score - neighbor_score) / T)
            if random.random() < p:
                current_solution = neighbor
                current_score = neighbor_score

        # 更新最优解
        if current_score < best_score:
            best_solution = current_solution
            best_score = current_score

        scores.append(best_score)

        # 降低温度
        T *= alpha

    return best_solution, best_score, scores

# 定义搜索空间（x 和 y 的范围）
bounds = [(-5.12, 5.12), (-5.12, 5.12)]

# 使用模拟退火算法最小化 Rastrigin 函数
best_solution, best_score, scores = simulated_annealing(rastrigin, bounds)

print("Best solution:", best_solution)
print("Best score:", best_score)

# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Score")
plt.title("Simulated Annealing Optimization Process")
plt.show()

结果分析

通过运行以上代码，我们可以观察到模拟退火算法的搜索过程，并找到接近最优解的结果：

最优解：Best solution
最优值：Best score
优化过程：scores 显示了得分随迭代次数的变化趋势。

结论

模拟退火算法是一种用于全局优化的启发式搜索方法，能够有效地找到复杂多峰函数的近似最优解。它的成功取决于温度衰减率和接受概率策略等参数的选择。通过调整这些参数，可以提高算法的搜索效率和性能。

模拟退火算法参数调优

模拟退火算法的性能很大程度上取决于温度衰减率、初始温度和步长的选择。下面是这些参数的常见选择策略：

初始温度 (T0)：
- 设定得足够高，以确保在开始时接受不好的解，从而允许算法进行全局搜索。
- 常见值：1000、5000等。
温度衰减率 (alpha)：
- 温度每次迭代后的衰减比率。
- 常见值：0.9 ~ 0.99。
终止温度 (Tmin)：
- 温度降低到何值以下停止搜索。
- 常见值：1e-5 ~ 1e-8。
步长 (step_size)：
- 用于生成新邻域解的随机步长。
- 常见值：0.1 ~ 1.0。

多目标优化问题

多目标优化问题（Multi-objective Optimization Problem，MOP）是指同时优化多个相互冲突的目标。在模拟退火算法中，常见的多目标优化方法包括：

权重和法：为每个目标设置权重，将多个目标组合成一个加权目标函数。
帕累托优化：寻找帕累托最优解集，并通过模拟退火进行搜索。

案例分析：求解多目标优化问题

示例问题：双目标优化的 ZDT1 问题

ZDT1 问题是双目标优化问题的一个经典例子。目标函数如下：

$f_{1}\left ( x \right )=x_{1}$

$f_{2}\left ( x \right )=g\left ( x \right )\cdot \left ( 1-\sqrt{\frac{x_{1}}{g\left ( x \right )}} \right )$

$g\left ( x \right )=1+9\cdot \frac{\sum_{i=2}^{n}x_{i}}{n-1}$

约束条件：

$0\leq x_{i}\leq 1$

Python 实现：

import math
import random
import numpy as np
import matplotlib.pyplot as plt

# ZDT1 问题
def zdt1(x):
    f1 = x[0]
    g = 1 + 9 * sum(x[1:]) / (len(x) - 1)
    f2 = g * (1 - math.sqrt(f1 / g))
    return f1, f2

# 权重和目标函数
def weighted_sum(x, w):
    f1, f2 = zdt1(x)
    return w[0] * f1 + w[1] * f2

# 邻域解生成函数
def random_neighbor_multi(x, bounds, step_size=0.1):
    return [min(max(xi + random.uniform(-step_size, step_size), bounds[i][0]), bounds[i][1]) for i, xi in enumerate(x)]

# 多目标模拟退火算法
def simulated_annealing_multi(objective, bounds, w, T0=1000, Tmin=1e-5, alpha=0.9, max_iter=1000):
    # 随机初始化起点
    x = [random.uniform(b[0], b[1]) for b in bounds]
    best_solution = x
    best_score = objective(x, w)
    current_solution = x
    current_score = best_score
    T = T0
    scores = []

    for _ in range(max_iter):
        if T < Tmin:
            break

        # 生成新邻域解
        neighbor = random_neighbor_multi(current_solution, bounds)
        neighbor_score = objective(neighbor, w)

        # 接受概率计算
        if neighbor_score < current_score:
            current_solution = neighbor
            current_score = neighbor_score
        else:
            p = math.exp((current_score - neighbor_score) / T)
            if random.random() < p:
                current_solution = neighbor
                current_score = neighbor_score

        # 更新最优解
        if current_score < best_score:
            best_solution = current_solution
            best_score = current_score

        scores.append(best_score)

        # 降低温度
        T *= alpha

    return best_solution, scores

# 定义搜索空间
bounds = [(0, 1) for _ in range(30)]
weights = [0.5, 0.5]

# 使用多目标模拟退火算法最小化 ZDT1 问题
best_solution, scores = simulated_annealing_multi(weighted_sum, bounds, weights)

# 打印结果
f1, f2 = zdt1(best_solution)
print("Best solution:", best_solution)
print("Objective values:", (f1, f2))

# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Weighted Score")
plt.title("Simulated Annealing Multi-objective Optimization Process")
plt.show()

结论

通过优化 ZDT1 问题，我们了解到模拟退火算法在多目标优化问题上的适用性。重要的是选择适当的参数和策略，包括权重分配、温度衰减和步长等。模拟退火算法在全局搜索上具有广泛的应用潜力，可以有效地应对高维优化问题。

在继续深入探讨模拟退火算法的优化和应用过程中，让我们进一步扩展内容，包括：

非线性函数优化：优化非线性函数以显示模拟退火算法的多功能性。
组合优化问题：应用模拟退火算法于旅行商问题（TSP）。
参数调优：展示如何通过调优参数来改善算法性能。

非线性函数优化

在非线性函数优化问题中，我们可以尝试优化 Himmelblau 函数，这是一个常见的多极值函数，定义如下：

$f\left ( x,y \right )=\left ( x^{2}+y-11 \right )^{2}+\left (x+y^{2}-7 \right )^{2}$

Python 实现：

import random
import math
import numpy as np
import matplotlib.pyplot as plt

# Himmelblau 函数
def himmelblau(x):
    return (x[0]**2 + x[1] - 11)**2 + (x[0] + x[1]**2 - 7)**2

# 邻域解生成函数
def random_neighbor(x, bounds, step_size=0.5):
    return [min(max(xi + random.uniform(-step_size, step_size), bounds[i][0]), bounds[i][1]) for i, xi in enumerate(x)]

# 模拟退火算法
def simulated_annealing(objective, bounds, T0=1000, Tmin=1e-5, alpha=0.9, max_iter=1000):
    # 随机初始化起点
    x = [random.uniform(b[0], b[1]) for b in bounds]
    best_solution = x
    best_score = objective(x)
    current_solution = x
    current_score = best_score
    T = T0
    scores = []

    for _ in range(max_iter):
        if T < Tmin:
            break

        # 生成新邻域解
        neighbor = random_neighbor(current_solution, bounds)
        neighbor_score = objective(neighbor)

        # 接受概率计算
        if neighbor_score < current_score:
            current_solution = neighbor
            current_score = neighbor_score
        else:
            p = math.exp((current_score - neighbor_score) / T)
            if random.random() < p:
                current_solution = neighbor
                current_score = neighbor_score

        # 更新最优解
        if current_score < best_score:
            best_solution = current_solution
            best_score = current_score

        scores.append(best_score)

        # 降低温度
        T *= alpha

    return best_solution, best_score, scores

# 定义搜索空间
bounds = [(-5, 5), (-5, 5)]

# 使用模拟退火算法最小化 Himmelblau 函数
best_solution, best_score, scores = simulated_annealing(himmelblau, bounds)

print("Best solution:", best_solution)
print("Best score:", best_score)

# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Score")
plt.title("Simulated Annealing Optimization Process (Himmelblau)")
plt.show()

组合优化问题：旅行商问题（TSP）

旅行商问题（Traveling Salesman Problem，TSP）是组合优化问题中的经典问题。目标是在给定的城市集合中，找到访问所有城市且回到出发点的最短路径。

Python 实现：

import random
import math
import matplotlib.pyplot as plt

# 计算两城市之间的距离
def distance(city1, city2):
    return math.sqrt((city1[0] - city2[0])**2 + (city1[1] - city2[1])**2)

# 计算总路径长度
def total_distance(tour, cities):
    return sum(distance(cities[tour[i]], cities[tour[i + 1]]) for i in range(len(tour) - 1)) + distance(cities[tour[0]], cities[tour[-1]])

# 邻域解生成函数
def random_neighbor_tsp(tour):
    new_tour = tour[:]
    i, j = random.sample(range(len(tour)), 2)
    new_tour[i], new_tour[j] = new_tour[j], new_tour[i]
    return new_tour

# 模拟退火算法
def simulated_annealing_tsp(cities, T0=1000, Tmin=1e-5, alpha=0.99, max_iter=1000):
    tour = list(range(len(cities)))
    random.shuffle(tour)
    best_solution = tour
    best_score = total_distance(tour, cities)
    current_solution = tour
    current_score = best_score
    T = T0
    scores = []

    for _ in range(max_iter):
        if T < Tmin:
            break

        # 生成新邻域解
        neighbor = random_neighbor_tsp(current_solution)
        neighbor_score = total_distance(neighbor, cities)

        # 接受概率计算
        if neighbor_score < current_score:
            current_solution = neighbor
            current_score = neighbor_score
        else:
            p = math.exp((current_score - neighbor_score) / T)
            if random.random() < p:
                current_solution = neighbor
                current_score = neighbor_score

        # 更新最优解
        if current_score < best_score:
            best_solution = current_solution
            best_score = current_score

        scores.append(best_score)

        # 降低温度
        T *= alpha

    return best_solution, best_score, scores

# 随机生成城市坐标
random.seed(0)
num_cities = 20
cities = [(random.uniform(0, 100), random.uniform(0, 100)) for _ in range(num_cities)]

# 使用模拟退火算法解决 TSP
best_solution, best_score, scores = simulated_annealing_tsp(cities)

print("Best solution:", best_solution)
print("Best score:", best_score)

# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Score")
plt.title("Simulated Annealing Optimization Process (TSP)")
plt.show()

# 绘制 TSP 最优路径
x = [cities[i][0] for i in best_solution] + [cities[best_solution[0]][0]]
y = [cities[i][1] for i in best_solution] + [cities[best_solution[0]][1]]
plt.plot(x, y, marker='o')
plt.xlabel("X Coordinate")
plt.ylabel("Y Coordinate")
plt.title("Optimal Tour (TSP)")
plt.show()