基于输入K-近邻的正则化路径上SVR贝叶斯组合

摘要：在ε-不敏感支持向量回归（ε—insensitive support vector regression，ε-SVR）正则化路径的基础上，提出基于输入尽近邻的三步式SVR模型组合方法。在整个样本集上进行训练，求得ε—SVR的正则化路径。由SVR正则化路径的分段线性性质确定初始模型集合，并应用平均贝叶斯信息准则（Bayesian Information Criterion，BIC）策略对初始模型集合进行修剪以获得候选模型集合。该修剪策略可减小候选模型集合的规模，提高模型组合的计算效率和预测性能。在预测或测试阶段，根据样本输入向量采用缸近邻法确定最终组合模型集合，并实现贝叶斯组合预测。证明了ε-SVR模型组合的Lε-风险-致性，给出了SVR模型组合基于样本的合理性解释。试验结果验证了正则化路径上基于输入K-近邻的ε-SVR模型组合的有效性。