基于神经网络训练的非线性时间序列预测的实验设计.doc

1、基于神经网络训练的非线性时间序列预测的实验设计A P.P.Balestrassi, E.Popova, A.P.Paiva, J.W.MarangonLima摘要： 在这项研究中，应用于实验设计（DOE）中的统计学方法更好地确定了人工神经网络（ANN）在非线性时间序列预测问题中的各种参数。取代了最常见的试错法，DOE被认为是人工神经网络训练的一个更好的方法。此研究的主要目的是预测季节性的非线性时间序列，也就是有关如短期电力负荷，每日价格和收益，耗水量等许多实际问题的预测。采用了此体系的个案研究中有六个时间序列，代表了巴西生产公司的工业用户的用电负荷。1.介绍对于解决试验在实际运用中的问题的研究

2、员来说，DOE被认为是最重要的方法之一，因为它已有过大量成功的案例。如今，DOE资源被纳入统计软件包，方便了数据的计算和结果的解释。同样，人工神经网络在时间序列预测的问题中也起着重要作用。然而，人们也经常提到应用人工神经网络的弊端，那就是对其参数的优化。在一般情况下，大多数的实践者会利用长时间的试错过程来实现参数的优化。这项工作的主要目的是利用人工神经网络预测非线性时间序列和季节性时间序列，这正是许多实际应用中需要解决的真正问题。通常日季节性，月度或年度季节性都与固有的几个问题有关，如价格，收益，用电负荷，耗水量，需求等。非线性结构也存在于大多数的案例研究中。在这里DOE可以通过模拟估算出AN

3、N的参数。由于缺乏相关文献对此进行阐述，还有一些问题也有待研究，此外以下问题也将在本文得到解决：如何利用ANN解决非线性季节性时间序列问题？如何设计ANN来解决这个问题呢？在这种方法中有哪些重要因素呢？是否有需要考虑的影响因素呢？在论文的第二部分回顾了基于ANN的实验设计进行非线性时间序列预测的最新文献。第三部分展示了整个实验过程的数据及图像结果。第四部分阐述了在ANN实验设计的框架内进行短期电力负荷的个案分析。第五部分陈述了我们的主要结论。2.背景及文献回顾2.1.实验设计的仿真一个人工神经网络的训练过程包括改变计算机算法的输入参数，运行算法，并检查结果。这可以被看做是ANN问题的模拟研究。

4、尽管在工业应用中DOE不乏成功的案例，但是它还并未被广泛应用于仿真领域。Kleijnenetal 34指出DOE在仿真领域的缺失主要由于以下原因：（一）仿真分析家不相信DOE能够带来益处。 （二）关于DOE的研究往往刊登在仿真分析家很少涉猎的专业期刊。 （三）大多数的DOE最初是被用来研究真实世界的实验，而非仿真设备。上述研究还指出了在模型研制和仿真方面实验设计的主要优点，并预测说，DOE的使用可能在这个方面变DOE可以揭示详尽的模型行为，使建模团队详细讨论各种模型假设的影响，当分析师可能提前不知道应该问什么问题时，帮助构思问题，质疑或确认预期方向的正确性和因子效应的相关重要性，甚至发现在程序

5、设计中的逻辑问题.DOE更适合特定的应用程序，它比试错法或一个小而简单的设计更好。因此，从业者应该开放观念，相信DOE是复杂的仿真分析中有用且必要的组成部分。仿真术语的翻译可以看成是将仿真模拟中的一个输入或参数对应DOE中的一个因子。通常在仿真中的因子要比现实试验中更多。因子可以是定性的或定量的。每个因子可以别赋于两个或两个以上的值，称为因子水平，通常用数字编码进行分析。一个方案或设计点是所有因子水平的结合。随机模拟复制指的是将不同的伪随机数（PRNs）用于模拟相同的情况。对各种情况的数据收集不是随机的，但是是连续的。除另有规定外，和大多数统计方法的假设一样，我们假设复制使用的是不重叠的伪随机

6、码流，所以通过复制的输出属于独立同分布（IID）。要对仿真有基本的理解就得测试DOE中因子效应的假设。另一个重要问题是，使用DOE进行模拟仿真的主要目的并不是优化。使用DOE我们应力求找到稳健的方法或策略，而非最佳方法。诚然，找到模拟系统的最优方法是一个热门话题，而且许多方法也曾被提议过。Fu和Spall对当前仿真优化的研究和实践进行了探讨。这些方法包括启发式搜索技术如遗传算法，响应面法（RSM），模拟退火，禁忌搜索以及通过分析模拟模型来估计梯度，如扰动分析和评价函数。优化的结果是以特定的分布和（通常假定独立）和多种输入变量为前提的。当所有这些假设在现实中甚至是在有限的时间内出现的概率为零时，

7、“最优”一词就存在问题了。与此相反，稳健的设计方法会将这些假设全部看做实验中的附加因素。这些被认为是噪声因素（而不是决定因素），因为他们在真实环境中是不可预知或无法控制的。尽管可能会遇到一系列噪声条件但是稳健的体系或方法仍能正常运行，因此，实施稳健的解决方案是不太可能导致意想不到的结果的。这个稳健的设计理念是受到Taguchi的启发65，他使用了简单的设计就确定了丰田汽车强大的产品配置。2.2.人工神经网络的时间序列预测问题人工神经网络，首先在认知科学和工程领域中被使用，是普遍的和高度灵活的函数逼近器。正如Tsay56所说，人工神经网络是预测应用中普遍和灵活的工具：ANN是现代数据分析中的热点

8、问题，它被归为半参数法。相对于基于模型的非线性方法，人工神经网络是数据驱动的办法，它不用事先对特殊问题中的隐含关系进行假设，直接就可以捕捉非线性数据结构。图.1显示了本研究中采用的ANN结构图：多层前向反馈网络结合反向传播训练。人工神经网络分三层，即输入层，输出层和隐蔽层，隐蔽层是输入和输出之间的中间层。隐蔽层通常有1到2层。每个层由神经元组成，两个相邻层的神经元是完全连接的，并有各自的权重，而在同一层的神经元没有连接。在本文中，输出层只有一个单一的神经元，它代表了基于前面节点的一步预测。输入层的每一个神经元被赋予了一个数据属性，产生一个输出，其值等于相应的属性（缩放）值。对于每一个在隐蔽层或

9、输出层的神经元，下面是输入-输出的转换函数：其中V是输出，H是前一层神经元的总数，h是上一个神经元第h个神经元的输出，Wh是相应的连接权重，Wo是偏差（或拦截）。f为非线性转换函数（或激活函数）也用于输出层。例如下面的转换函数就经常使用：当人工神经网络使用BP算法进行训练时，权重和误差得到了优化。采用优化的目标函数为期望输出与预计输出的差值的平方和。可以从统计学和计量经济学的观点看待ANN。如今，ANN被大量使用在建模和预测的问题中。尽管在现实问题中使用的许多模型一般是线性的，大多数真实数据集的性质表明，非线性问题更能进行准确预测和恰当的描述。ANN在这种预测中起着重要的作用。关于ANN的文献

10、不计其数，它被广泛应用于许多科学领域，并取得了不同程度的成功。在M -比赛39，M2比赛40和M3的比赛38中许多参与者都使用了人工神经网络。对于这种人工神经网络的不断普及的主要原因是，这些模型已被证明能够任意地逼近几乎任何一个非线性函数。因此，当应用到一个具有真正的非线性动态关系的特点的时间序列时，ANN将检测到，并提供优于线性模型的选择，而不需要构造一个特定的参数非线性时间序列模型。对于解决时间序列预测问题，一些重要的论文认为ANN是一个很有希望的方法和重要的议题。Franses和van Homelen 17探究过ANN具有捕获非线性的能力，这可由SETAR，Markov-Switchin

11、g和GARCH模型得到启示。在一个预测经济时间序列数据的神经网络设计中共有八个步骤Kaastra和Boyd 28提供了一个入门指南。Bodyanskiy和Popov66在阐述了序列准周期分量的基础上，提出了一种特殊的人工神经网络的方法来预测金融时间序列。Tsengetal。 57提出了一种混合预测模型，它结合了季节性时间序列ARIMA（SARIMA）和神经网络反向传播（BP）的模型，命名为SARIMABP。 Karunasinghe和Liong30研究了在广泛使用的局部模型（局部平均技术和局部多项式技术）中ANN作为全球模型，在混沌时间序列中的应用。在Aitkenhead等人的著述中 1，利用

12、数据记录器和其他测量仪器，在苏格兰东北部几个月的时间内对两种情形下的石油，水流，气候变量每个小时监测一次。使用三种方法用数据集来训练神经网络，包括一中新型的合理的生物学系统。BuHamra等 7结合Box-Jenkins（BJ）和ANN方法，对科威特的耗水量时间序列数据进行建模。Shi等人 49研究了使用状态相关自回归模型对非线性时间序列建模。Niska 等人 43使用ANN对空气质量建模，由于他们的混沌状态和非线性现象以及高维样本空间，使得这变成一项艰难的任务。Zhang61提出了一种混合的方法，将ARIMA模型和ANN模型结合起来，分别利用两者在线性建模和非线性建模中的独特优势。Kim32

13、使用支持向量机（SVM）用于金融时间序列预测。这项研究应用SVM预测股价指数。Ho等人 23对利用ANN建模和ARIMA建模进行时间序列预测进行了比较研究。与ARIMA相比，BP法和周期性的ANN的表现更令人满意。Kohzadi等人分别比较了ARIMA和ANN在价格预测中的表现。Terasvirta等人 54研究了线性自回归的预测准确性，平稳过渡自回归（STAR）的预测准确性，和ANN预测47个月内G7经济宏观变量的准确性。Ghiassi等人 19提出了一种动态神经网络模型来预测时间序列，使用了一种不同于传统模型的特别的构架。Aalkin和Ord3解释了一种ANN自动调用方法，它试图开发一种自

14、动程序，根据不同的预测目的来选择ANN的架构。Cubiles-de-la-Vega等人 67 提出了设计多层感知器来预测时间序列的步骤。它是根据ARIMA模型中事先设定好的一些列规则，衍生出非线性预测模型的一系列规则。Kalaitzakis等人 29阐述了先进的神经网络的发展和应用，利用希腊克里特岛上电力系统的实际小时电力负荷数据，成功地解决了短期电力负荷的问题。Qi和Zhang46揭露了一般使用信息化样本内模型的选择标准来选择ANN预测金融时间序列的模型的问题。Zhang和Qi62调查了季节性的问题，表明了只有有限的实证研究显示利用神经网络预测季节性时间序列会产生混合效果。在Chiang等人

15、的报告中证明， 12当数据的可用性有限时，人工神经网络优于回归模型，例如，新推出的共同基金的历史数据有限。这项研究部分出于下文中提出的结果。张60，使用模拟和真实数据验证了ANN预测线性时间序列的能力，并指出，人工神经网络在建模和预测各种情形下的线性时间序列是相当有效的，对于预测简单的神经结构往往也有效。Hwarng和Ang 27和Hwarng 26主要对线性时间序列预测提出了一些与目前工作相关的想法：（一） BP神经网络（BPNNs）普遍表现良好，其时间序列始终与ARMA（p，q）的结构保持一致，主要是当在网络训练中考虑到某个特定的噪音水平时。” （二）“鉴于多层前馈神经网络的概念可能作为通

16、用的逼近器，我们可以合理地预计BPNNs可能至少对线性数据的预测是有用的。如果是这样，我们可以发现，当不考虑数据的属性，尤其是数据的函数形式未知时，使用BPNN法非常方便。张等人63对过去十年中利用ANN预测时间序列的艺术调查做了综合分析，在这里有以下几点考虑：（一）整体而言，人工神经网络预测给予令人满意的绩效。 （二）有许多因素会影响人工神经网络的性能。但是并没有这些问题的系统调查。这种应对特殊问题的散弹法（试错法）通常被大多数研究者采用，这是文献表述不一致的主要原因。（三）在这方面已经有过大量的研究。2.3.非线性时间序列在过去的二十年，线性时间序列方法已被广泛的使用。然而，最近已经有越来

17、越多的兴趣放在了扩展Box-Jenkins的古典框架，使之与非标准属性相结合，如非线性，非高斯性，多相性。大量非线性模型都是用这种方法开发的，如Granger和Anderson的双线性模型20，Tong的阈值自回归（TAR）模型55，Priestley的状态依赖模型45 ，Hamiltion的马可夫转换模型22，Chen和Tsay的功能系数自回归模型，此外还有很多其他模型。虽然这些模型的性能往往有所重叠，但每一个都能够捕捉各种各样的非线性行为。然而，在大多数时间序列，然而，这种建模方式更加复杂，因为它具有高频率，日和周季节性，节假日的日历效应，高波动性和出现异常值等特征。它已经表明，特别是AN

18、N模型能够逼近任意功能良好的非线性关系到一个任意的准确程度，用同样的方式ARMA模型对一般的线性关系也能提供良好的逼近。9，24这就是所谓的人工神经网络通用逼近性。总之，隐蔽层的前馈神经网络可以被看作是一个将一般的连续非线性函数参数化的方法。当考虑使用非线性时间序列模型后，我们马上要面临的问题就是可能模型的数量问题，如果不是无限多，那也是巨大的。考虑一个单变量时间序列Xt，其简单性在于每隔相等的时间对其进行一次观察。我们分别观察了当t=1，.T时Xt的值，其中T是样本大小。一个纯粹的随机时间序列可以说是线性的可以写成如下式子： 其中u是一个常数，是实数，且= 1，是独立同分布（IID）的随机变

19、量数列，且是定义明确的分布函数。我们假设 的分布是连续的且E（）= 0。 在许多情况下，我们进一步假设或者甚至更强，即为高斯。 如果则是弱平稳（即前两个时间段是定常）。基于ARMA过程是线性的，因为它有一个方程中提到的MA表示法。任何不能满足这个方程的条件的随机过程则被认为是非线性的。更多细节见56。有关以前的非线性时间序列模型的更全面的调查，有兴趣的读者可以参考55,21。表1显示了该研究采用和仿真的非线性时间序列集合。在每一种情况下，N（0，1）假定为IID。我们选择了这八个时间序列模型代表了不同的问题，这些问题有不同的时间序列特征。例如，其中一些序列具有纯自回归（AR）或纯移动平均线（M

20、A）的相关性结构，而另一些则混合AR和MA两者的组成结构。张60对具有不同滞后的相似模型进行过探究。上述模型的典型曲线图见图2.，图中执行了具有自回归组件和一个滞后24季节性（通常为每小时季节性）的STAR模型。2.4 利用ANN进行非线性时间序列预测的实验设计尽管表1中的非线性模型，对特定的问题和数据是有用的，但是不能普遍适用于其他应用中。模型形式的前一种规格限制了这些参数非线性模型的用处，因为非线性模式存在太多的可能性。事实上，形成一个合适的特定数据集的非线性模型公式是一项非常艰巨的任务，与之相比，线性模型的建立会容易一些，因为有了更多的可能性，就有更多的参数，从而可能犯更多的错误 38。

21、此外，一个特定的非线性规格可能不足以捕捉所有数据的非线性。正如Diebold和Nason14所指出的，“绝大多数的非线性模型的各种可能的选择使得逼近真实的数据生成过程变得困难，且实际上看似种类繁多的参数非线性模型似乎是非线性数据生成过程的一个非常小的子集。”一些文献已经研究了人工神经网络的使用，在不同的环境下通过实验设计进行仿真，探索了不同因素和水平。许文远等人31在这一开创性的论文中描述了Taguchi法的一项创新应用，确定了包括微观结构和宏观结构两方面的设计参数。这种方法的可行性，可以通过优化BP法的设计参数来确定制造系统的操作方法得以证明。从这项研究得出的结果表明，Taguchi法提供了

22、一种有效的手段，提高神经网络获取的快速性和记忆的准确性。Kim和Yum 33有写过类似的文章。Sukthomya和Tannock52,53使用相同的Taguchi实验设计思想，经过复杂的形成过程，设置了ANN的参数。Lin和Tseng37也使用相同的Taguchi法将“学习矢量量化”ANN应用于自行车变速器系统。Enemuoh和El- Gizawy 16描述了一种方法，可利用有效的ANN设计预测钻入碳纤维增强环氧树脂时钻井的分层，损坏宽度和孔表面粗糙程度。对神经元的数目，隐蔽层，激活函数以及模型预测中均方误差的学习算法的影响进行了量化。利用上述方法，开发了一个强大的人工神经网络，可以高精度地预

23、测过程中引起的损坏。Zhang和张Zhang等人 64提出了利用神经网络进行线性及非线性时间序列预测的实验评价。通过计算机模拟实验对三个主要的ANN参数进行了检查：输入节点，隐藏节点和样本大小。同样，为了在目前的工作便于比较，这些论文中使用的模型（见表2）转载。较之前的文件相比，目前的研究主要有以下几点创新：l 使用的是混合的方法，而不是使用Taguchi法的DOE。l 人工神经网络的参数的数量增加;l 季节性因素包含模拟真实的非线性问题;l 允许和评价人工神经网络参数之间的互动关系。3.实验设计这一节将探讨ANN训练的实验设计。首先，提出工业实验的指导原则，以及在ANN训练情境下建议做出的调

24、整。最后阐述如何实施指导原则及其产生的结果。3.1指导原则科尔曼和蒙哥马利68提出了一些关于实验设计的指导，尽管这些指导原则主要用于工业性实验，但也可用于计算机模拟实验中：（一）问题的提出和阐述（二）因素，层次和范围的选择（三）应变量的选择（四）实验设计的选择（五）执行试验（六）数据的统计分析（七）结论和建议在实验的实际应用中，这些准则通常是相互影响的，其结构也不是一成不变的。有些步骤常常同时进行，或者也可以以相反的顺序进行。步骤a，b和c称为实验前的计划。下面是关于人工神经网络训练的一些意见。3.1.1问题的提出和陈述这点在工业性试验中可能很明显在计算机模拟中也一样它不是简单地获得一个问题的

25、全貌，而是需要组队工作法。由于这种应用涉及到许多不同领域和专长，许多观点会经常有冲突，这时组队工作法就会被用到。另外，对这个问题明确表态有助于实质性地解决这个问题。问题的发现及其正确的陈述常常能够集中实现一个目标。3.1.2.因素，层次和范围的选择在真实的实验中，通常只有少数的因素是多种多样的。事实上，试图控制10以上的因素是不切实际也是不可能的，许多已发表的试验中只有不到5个因素。相反，现实中使用的仿真模型存在着许多潜在的因素。在真实的实验中，基本的心态常常是如果不是专门的连续性设计，数据应被同步采用。样本必须按顺序采用，此时实验才被认为是更有效的。因此分析者在实验环境下必须随机抽样，以防范

26、与时间有关的变化（如温度，湿度，消费者信心和学习效果），并进行适当的统计测试，以确定这些结果是否已被影响。大多数的模拟实验都是按顺序实施的，即使他们没有正式的对此进行分析。如果有少数的设计要点需要探讨，分析者可能会实行手动更改因子水平34。计算机运转的提速，导致一些分析者在其仿真模型中增加更多的细节。分析者可能会使用不同的因素和水平。3.1.3.应变量的选择对于工业实验而言，如产量，负荷，成本等有用和实际反应变量的选择，涉及了测量能力的研究，并且在许多情况下用重复性和再现性研究来评估错误。而计算机模拟中，尽管初始条件可以被设定（通常设置一个随机数基）但其反应通常是一个可估的变量，通过设定相同的

27、初始条件可以准确无误地被重复。实验的选择也是如此，在一定程度上要比计算机模拟更复杂，需要事先进行评估。平均值，标准偏差等，经常被用来作为响应变量。多个反应在工业设计实验中也很常见，同时优化几个响应变量则涉及了Derringer和Suich 69的满意度函数。3.1.4.实验设计的选择设计这个词是指在一个矩阵，列表示输入的因素，每一行代表一个因素水平组合。设计的选择包括样本大小，实验运行秩序（计算机模拟通常与此无关），以及对最终生成工作表的矩阵的输出限制。一些统计软件包如Minitab，Statistica，SPSS,JMP,MATLAB软件，以及许多其他统计软件包，都是提供了一个经典的设计库的

28、好软件。这些设计通常是根据编码水平生成的，并在因素和水平的基础上进行选择，其他结构和解决方法，时间和资源来运行实验等。WebDOE是一个有趣的新方案，它能帮助用户通过一个易于使用的网络接口来设计他们的实验。（Grary Group70.）3.1.5.实验操作用计算机模拟来进行实验，通常会比工业性试验容易一些。如果仿真程序是开源的，有时能够方便地一次性运行完整的模拟。但这并不经常发生，因为往往这需要编程技巧，且始终存在软件限制。此外，这种迭代试验，被认为是工业性试验的错误。在研究的一开始就设计一个单一的大而全面的实验矩阵并不被认为是好的做法，因为实验者没有充分考虑到所涉及的水平和因素。科尔曼和蒙

29、哥马利68指出，试验应按顺序，并且作为一般规则，投资在第一个实验的可用资源应不超过25。3.1.6.统计分析数据如果遵守了之前的原则，统计方法在这里就不会很复杂。图形法，残留分析和模型配适度在这一阶段的发挥着重要作用。统计分析增加了决策过程的客观性。3.1.7. 结论和建议如果有流程知识和常识，统计分析可以产生合理的结论和建议。一个按顺序设计的实验，其后续运行及确认测试也应该有。3.2实验前规划在本节中，将对问题的发现和陈述，响应变量的选择，因素、水平和范围的选择进行探讨。关于的人工神经网络的训练，下面的问题陈述被认为是使用组队工作法而被移用的：当使用ANN预测非线性时间序列时，试错法是常被使

30、用的耗时的鸟枪法。这里的问题是建立一个结构良好的方法来估计人工神经网络的参数。一些错误的措施，如均方根误差（RMSE），平均绝对百分比误差（MAPE），中位数绝对百分比误差（MdAPE）等，已被用来作为时间序列预测的实行措施。有兴趣的读者可以看看Armstrong和Collopy71是否有更好的关于这一主题的讨论。应当指出的是，还没有被一致采用的预测误差的措施。在这项工作中，传统的MAPE将作为应变量，定义为 ：其中yt是指t时间内的实际观察， t为预测值，T为预测数。在文献中，训练ANN时考虑到了几个因素。表二列出了非线性时间序列预测会考虑到的筛选因素，使用的是Statistica软件（结合

31、神经网络工具箱）51。有关因素的详细描述如下。l 人工神经网络架构。人工神经网络的非线性建模算法。ANN非线性时间序列的例子有许多，如多层感知器（MLP），径向基函数（RBF），广义回归神经网络（GRNN），支持向量机（SVM）等。MLP是一个最流行的网络类型，也是在这项工作中唯一被考虑的，它似乎在许多问题领域都能尽可能地提供最好的性能。 隐蔽层的数目。一个隐蔽层是具有特定功能的一组神经元，被看做一个整体。理论上的结果规定一个MLP有一个隐藏层（三层感知器），能够逼近任何连续函数25。l 每层单位的数目。隐藏节点用于捕捉时间序列的非线性结构。在这里它的大小将介于输入值与输入值的倍数之间，（k（

32、N+1），其中N是输入的数字，k=1,1.5,2）l 回归输出函数（激活函数）。所有的神经网络都是利用数字输入并产生数字输出。一个单位的转移函数通常这样选择，它可以接受任何范围输入，并在严格限制的范围内产生输出（它有一个挤压效应）4。l 问题的类型/输入模式。作为ANN的输入，时间序列的显示方式通常被认为是根本。在这里，将对两种将时间序列显示到ANN的方法进行测试。（一）作为单变量时间序列问题，自回归过程的滞后信息将被保留。在这种方式下，输入一个特有的时间序列的一个样本，考虑到24个滞后，接着将逐步观察被监控的应变量的变化。（二）作为回归问题，暂时的解释（虚拟）变量将被使用。在这种方式下，输入

33、一组虚拟值（0和1），同时观察时间序列其中x表示一些最后的观测，是季节性或其他内生变数的二进制转换，如12小时可转化为虚拟数字1100。数据挖掘程序通常对原始时间序列的预处理很有用，3.3.实验设计和实验结果在本节中，将讨论有关实验设计的选择原则和统计结果的问题。如表2中的24个因素，当模拟ANN时，运行其组合的所有可能性，对其复杂性的评价将很有意思。在这个例子中，每个因素只有两个水平，运行完整的模拟过程（一次只改变一个因素），那么运行的次数将为224。如果使用高速计算机，粗略计算，一次的模拟时间为10分钟，那运行所有组合所需的时间将会是几百年。这对于试错法这一常用的方法来说，要找到ANN训练

34、的最佳组合是不可能的。幸运的是，大量的设计可用来处理当今的筛选程序。一些潜在的设计和策略适用于第一阶段的筛选，这一阶段的目的是确定最可能影响实验的因素，筛选无关变量和建立因果关系。筛选使用的方法取决于需要筛选的因素的数量。分数因子设计在工业上是最常用的设计类型（迈尔斯和蒙哥马利72）。然而，当因子数超过20且有两个以上的水平时，这种设计就不适用了。其他的多变量筛选方法有：（一）组筛选设计（Kleijnen 73）但在分组方式上存在缺陷；（二）连续分岔（Trocine和Malone74）缺点是只适用于定量变量;（三）迭代分数设计（Andres和Hajas 75）无法评估相互影响作用（四）Troc

35、ine筛选程序（Trocine 76）缺点是只能评估三到四个关键因素。一般来说，这些方法是有用的，而且比传统的试错法要好得多。3.3.1设计一：Taguchi的19个因素的筛选设计在这项工作中，Taguchi法被看做是筛选设计，其因子结构如图2所示，其中有11个二级因素，8个三级因子和3个条件四级因子。在这24个因子中，建立2个因子为约束因子，（ANN结构和Predict X steps ahead）将其排除在设计之外，这样做的理由如下：（一）人工神经网络结构必须事先定义，这样因子才能是相同的。使用不同的神经网络将意味着有不同的因子和级别，那样在这个例子中就失去了意义。例如，在这里只有MLP被

36、评价。（二）预测时域先被定义，这大大简化了比较结果。仅仅增加这个区间对ANN优化和研究目标没有任何重要作用。Taguchi设计的内/外部阵列结构，使得表2中的因子有很好的拟合，见表3。在这个筛选阶段，两级因子和三级因子被作为一个L36Taguchi设计中的内部阵列。条件因子（BP,QP和DD）与MLP的因子P1（第一阶段训练算法）的调整有关，在这里将用于外部阵列结构。这意味着，当因子P1的一个层次被选定，每层都会做出特定的调整。然后我们选定一个调整了y1到y4的L4Taguchi设计。这种设计是基于这样的层次，根据表2，A，B，C为因子BP,QP和DD的调整参数。应变量是度量的MAPE，外部阵

37、列结构取决于上面提到的因子P1的层次。当假设P1为一级（即BP）时，根据L4Taguchi的设计，做出的调整是设置A,B,C参数为是（1）或否（2），（A为调整每一时代的学习率和动量，B为打乱每一时代的例子的顺序，C为添加高斯噪音）。从y1到y4，L36将被重复运行4次。这里的想法是使用运行次数最少的设计。在这种情况下，L4Taguchi设计与经典设计2 3-1 相似，同样运行了4次。如果这两种设计的别名结构相似，则都可被视为方案 3。对于高阶设计，如全因子设计，其运行数量将增加一倍（模拟数也将增加一倍）。在这种情况下，尽管能够获得更高阶设计的分辨率，但最终还是得取决于其运行成本的高低。由于L

38、4Taguchi设计仅用于筛选阶段，且只用于条件因子，混杂效应（因为DOE的分辨率问题）将在下一个设计中解决。进行下面的实验设计，并计算MAPE，与训练样本相差12或24个百分点。Taguchi建议，要对内部阵列中每次运行的均变量，即信噪比（SN）进行评估。这里的SN可以使用下列标准望小型函数进行计算：该SN用分贝标度表示，在这个筛选层次中，Taguchi的分析策略是只挑选优胜者。计算出的SN层次值总是越大越好。平均值的大小取决于问题的类型，这里的MAPE应尽可能地小。Taguchi的倡导者声称，使用SN比通常能免去检查内外部阵列因子之间特定的相互作用。如图4所示，通过观察平均值和SN比，很容

39、易筛选出因子层次，使之同时产生较小的平均值和较大的SN值。边缘值将留给以后的设计，可以更好地评估相互作用的影响。关于MAPE的平均值和SN比，从这个筛选分析中我们可以得出一些结果：（一）因子IM,SC,PU,EE,和PI被认为是无意义的，在未来的设计中可以剔除或定义为噪声因子。这些因子对因子层次的影响是不变的。（二）因子PT,P1和P2被认为是有意义的，在未来的设计中将被建立。这些因子将影响到较大的SN和较小的平均值的产生，即P1（一级=BP），P2（三级=Levenberg Marquardt），PT（一级=单变量时间序列）。（三）因子HL,SM,UL,W1,W2,SS,OF,SP,Ep,L

40、R和ET被认为是边缘值，对于到底是被剔除还是被选作因子层次还不明确。在这里，还需要进一步的研究。（四）由于SN和平均值明显的相似性，三级边缘因子（UL,W1,W2和SS）被界定为二级因子。（五）对于噪声变量，统计检验并不拒绝相同平均值的零假设。因此，在未来的设计中作者们很自然地会忽略噪声变量。（六）关于被修剪的输入数据和输入模式有一个有趣的发现。对于24位的单变量时间序列问题，大多数情况下，被修剪的输入数据是小的（平均为3）。这意味着所有的位数对于预测来说都是重要的。作为回归问题，如果对时间序列输入进行预处理，被修剪的数据明显大于单变量时间序列模式的数据（平均数为7）。这就是说一些预处理技术对

41、提高神经网络的效率并没有帮助。3.3.2.设计2： 11因子的分数分子实验设计对于11个二级剩余因子，使用方案3 Plackett-Burman分数因子设计或者L12Taguchi设计，可能会有相同的结果，即最小运行数为12次。L16Taguchi设计和方案3分数因子设计是一些封闭选项，两者均运行16次。同时使用Plackett-Burman设计和Taguchi设计，在实践中往往很难诠释相互作用分析。如果要在运行16次的的几何设计和运行12次的Plackett - Burman设计中进行选择，几何设计将会是更好的选择（蒙哥马利，1993年），因为后者的运行次数可能必须加倍，达到24次。因此几何

42、分数因子设计（编码单位）被用在这里，实验结果见表4.MAPE1,MAPE2和MAPE3分别考虑了噪声变量的最低水平，中间水平和最高水平。图. 5为Pareto表，展示了表4中的因子的主要影响。第二次筛选分析的结果如下：（一）因子ET和W1被认为是无意义的，在未来的设计中可以将其剔除或界定为噪声因子。这些因子对因子水平的影响是恒定的。（二）因子LR被认为是有意义的，在未来的设计中可建立该因子的水平。该因子将影响较小平均误差的产生。（三）因子HL,SM,UL,W2,SS,OF,SP和Ep被认为是边缘值，是剔除还是选定因子水平还不清楚，有待进一步研究。（四）对于噪声变量，统计检验并没有拒绝相等平均值

43、的零假设。与设计一相同，设计者在未来的设计中将很自然地忽略调整变量。也就是说，这个设置直接移用前一个设计的设置，与Taguchi设计一致。3.3.3.设计3：8因子的分数因子实验设计对于8个二级剩余因子，L12型Taguchi设计是运行次数最少的解决方案。也可以选择L16型Taguchi设计或者方案4，二者均运行16次。根据之前设计中采用的相同标准，由于相互作用分析的缘故，自然会选择设计方案。方案4的分数分子设计使得两个因子间的相互作用的影响明显化。两个因子间的相互作用互相别名。方案4 正好包含2k次运行，2k运行被称为最小化设计，因为在这里K=8.最小化设计设计的结果见表5.该设计的设计生成

44、结构为：A=BCD, F=ACD, G=ABC, H=ABD这意味着，一个主要因子（A，F，G和H）会受到三个因子的相互作用的混淆（分别为BCD,ACD,ABC和ABD），通常混淆的影响很小。在分析的主要影响时，resolution越大越好。图6展示了表5中的因子的主要影响也展示了一些双向的相互作用影响。与设计2类似，设计3的结果如下：（一）因子W2被认为是无意义的。它对因子水平的影响是恒定的。（二）因子SM，OF和Ep被认为是有意义的，可以建立它们的因子水平。（三）因子HL，UL,SS和SP被认为是边缘值。两个因子的相互作用，大于一些主要因素，但不显着。（四）对于噪声变量，统计检验并没有拒绝

45、相等平均值的零假设。3.3.4设计4：24位全因子实验设计对于4个二级剩余因子，我们选择了运行16次的全因子实验设计，如表6所示。图7为实验结果。全因子实验设计的结果如下：（一）因子HL，UL，SS和SP被认为有意义的，可以建立因子水平。（二）因子HL和UL间的二阶相互作用被认为是有意义的。对于噪声变量，统计检验并没有拒绝相等的平均值的零假设。3.4确认测试根据前一节中类似的步骤，我们可以得到表7，表中列出了八个非线性时间序列的仿真结果，也提到了每个非线性模型中所使用的设计，最后还计算了ANN的MAPE以及该模型的MAPE。对于这些实验结果有如下几点总结：l 因子HL,SM,UL,SS,OF,

46、P1,P1,PT对eight非线性时间序列分析是有意义的。每个非线性模型的特点与ANN参数的确定无关。l 对于大多数时间序列分析来说，取样法（SM）与UL的数目两者之间有积极的影响。在理论上这正是人们所期望的，因为复杂的神经网络（如四层）需要更多的样品来训练。人们对HL和UL也有同样的期望。 UL和HL之间主要是通过主要因子减小MAPE来产生相互作用，并产生逆向作用。图.8显示了SETAR2模型的ANN预测结果，该模型使用了表6中的优化参数。当与特定的非线性模型相比时，ANN显示了很好的拟合性。表74.案例分析：短期电力负荷在美国，巴西，英格兰，和其他大多数解除电力管制的国家，使用时间序列预测

47、电力需求，成为企业订立买卖合同时必需提供的信息。如果生产或贸易公司，如何优化能源负荷和售价就是他们能否盈利的关键。这个案例研究将对一些重要的变量进行建模和预测，这些变量影响到电力合同（电力负荷/消耗）能否实现良好的投资组合。了解其未来的价值和变动，对于计算投资组合的风险和回报是必不可少的。虽然签订一定数量的不允许更改的能源合同是可能的，但这对消费者来说却有很高的风险。在工业过程中存在许多不可预测的因素，可能会导致能源消耗的增加或减少。如果一个电力生产商能够接受和管理这一风险，他将在市场上有更多的机会。因此，重要的是管理这些风险。正如Angelus和Mount所认为的那样，预测电价和负荷是一项艰

48、巨的任务，这是由许多因素造成的，如电力需求和供给发电的数量，传输和分配的限制等。在解除电力管制的市场，大量的电力是在现货市场和双边市场中，以及不同地区的代理间进行买卖的。 光是不可预测的气候变化就可以增加的需求的波动性，从而增加价格的波动性。Pai和Hong44还指出，进行电力负荷的预测是很复杂的，因为它的影响因素是非线性的。他们指出，在国家或区域的电力系统的战略管理中，最重要因素是准确地预测电力负荷的未来需求。本个案研究旨在利用DOE/ANN的框架，使用每小时时间序列，来预测巴西六个工业用户的电力负荷。图. 9展示了六个工业用户各自的每小时时间序列模式在所有的时间序列中都观察了每周季节性（滞后168）。可用数据集包括杜克能源公司三年里的每小时用电负荷，它是巴西的一家电力生产商。这时就有一个问题了，多个时间序列的