粒子群算法PSO优化LSTM超参数-Toy模板网

这篇具有很好参考价值的文章主要介绍了粒子群算法PSO优化LSTM超参数。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

LSTM 航空乘客预测单步预测的两种情况。简单运用LSTM 模型进行预测分析。
加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制，将两者进行结合预测。
多层 LSTM 对航空乘客预测简单运用多层的LSTM 模型进行预测分析。
双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。
MLP多层感知器对航空乘客预测简化版使用MLP 对航空乘客预测
CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。
ConvLSTM 航空乘客预测采用ConvLSTM 航空乘客预测
LSTM的输入格式和输出个数说明中对单步和多步的输入输出格式进行了解释
LSTM 单变量多步预测航空乘客简单版
LSTM 单变量多步预测航空乘客复杂版
LSTM 多变量单步预测空气质量（1—》1）用LSTM 前一个数据点的多变量预测下一个时间点的空气质量
LSTM 多变量单步预测空气质量（3 —》1）用LSTM 前三个数据点的多变量预测下一个时间点的空气质量
麻雀算法SSA优化LSTM超参数
蚁群算法ACO优化LSTM超参数

本文主要是采用粒子群算法PSO优化LSTM超参数

PSO

pip3 install pyswarm

LSTM

def build_model(neurons1, neurons2, dropout):
    X_train, y_train, X_test, y_test = process_data()
    # X_train, y_train = create_dataset(X_train, y_train, steps)
    # X_test, y_test = create_dataset(X_test, y_test, steps)
    nb_features = X_train.shape[2]
    input1 = X_train.shape[1]
    model1 = Sequential()
    model1.add(LSTM(
        input_shape=(input1, nb_features),
        units=neurons1,
        return_sequences=True))
    model1.add(Dropout(dropout))

    model1.add(LSTM(
        units=neurons2,
        return_sequences=False))
    model1.add(Dropout(dropout))

    model1.add(Dense(units=1))
    model1.add(Activation("linear"))
    model1.compile(loss='mse', optimizer='Adam', metrics='mae')
    return model1, X_train, y_train, X_test, y_test

优化超参数

if __name__ == '__main__':
 if __name__ == '__main__':
    '''
    神经网络第一层神经元个数
    神经网络第二层神经元个数
    dropout比率
    batch_size
    '''
    UP = [150, 15, 0.5, 16]
    DOWN = [50, 5, 0.05, 8]

    # # 开始优化
    pso_ = pso(training, lb=DOWN, ub = UP)
    pso_.run()
    print('best_params is ', pso_.gbest_x)
    print('best_precision is', 1 - pso_.gbest_y)

    # 训练模型  使用ssa找到的最好的神经元个数
    neurons1 = int(pso_.gbest_x[0])
    neurons2 = int(pso_.gbest_x[1])
    dropout = pso_.gbest_x[2]
    batch_size = int(pso_.gbest_x[3])
    # neurons1 = 64
    # neurons2 = 64
    # dropout = 0.01
    # batch_size = 32
    model, X_train, y_train, X_test, y_test = build_model(neurons1, neurons2, dropout)
    history1 = model.fit(X_train, y_train, epochs=150, batch_size=batch_size, validation_split=0.2, verbose=1,
                         callbacks=[EarlyStopping(monitor='val_loss', patience=9, restore_best_weights=True)])
    # 测试集预测
    y_score = model.predict(X_test)
    # 反归一化
    y_score = scaler.inverse_transform(y_score.reshape(-1, 1))
    y_test = scaler.inverse_transform(y_test.reshape(-1, 1))

    print("==========evaluation==============\n")
    from sklearn.metrics import mean_squared_error
    from sklearn.metrics import mean_absolute_error #平方绝对误差
    import math

    MAE = mean_absolute_error(y_test, y_score)
    print('MAE: %.4f ' % MAE)
    RMSE = math.sqrt(mean_squared_error(y_test, y_score))
    print('RMSE: %.4f ' % (RMSE))
  
    # MAPE和SMAPE
    def mape(y_true, y_pred):
        return np.mean(np.abs((y_pred - y_true) / y_true)) * 100


    def smape(y_true, y_pred):
        return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100

    MAPE = mape(y_test, y_score)
    print('MAPE: %.4f ' % MAPE)

    SMAPE = smape(y_test, y_score)
    print('SMAPE: %.4f ' % SMAPE)