式中
?z?1???e?1??????z2e2?????, e???zL??L??????????zLeL????????????
u?0??u?1?nb????z?0???z?1?na????z1??z2?nu1?u2?n????????ab?HL???????????zL?1??zL?nuL?1?uL?n??????????ab??准则函数相应变为：
T?J??????ek?zk?h??????k??????????zL?HL??k?1k?1L2L2T?zL?HL?? （12）
极小化J???,求得参数?的估计值，将使模型更好的预报系统的输出。
三．最小二乘算法实现辨识 设?LS使得J????min，则有
?J??????LS????T?zL?HL???zL?HL???0 （13） ??展开上式，并根据以下两个向量微分公式：
?Tax??aT??x （14）
?TxAx??2xTA A为对称阵??xTTHL??LS?HLzL （15） 得正则方程： ?HL?TTTHL?HLzL （16） 当HLHL为正则阵时，有?LS??HL?1??2J???且有
??2?LS??T?2HLHL?0，所以满足式（16）的?LS唯一使得
J????min，这种通过极小化式（12）计算?LS的方法称作最小二乘法。
?而且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。
3 最小二乘法改进型
3.1传统最小二乘存在的问题
最小二乘法存在一些缺陷制约着最小二乘法的应用，在处理日益复杂的参数估计、系统辨识等问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。如传统的最小二乘法不适合在动态辨识系统中使用，而且其参数估计存在偏差，耗时较长等问题，因此，随着科学技术的发展，涌现出了很多改进型的最小二乘法。 3.2递推最小二乘算法
为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式[7]。
下面我们来推导递推最小二乘算法的原理。 首先，将式(12)的最小二乘一次完成算法写为
TTT?WLS??HLHL?HLzL?P?L?HLzL?1??L??L?T???h?i?h?i????h?i?z?i???i?1??i?1??1 （17）
定义
k??1TT?P?k??HkHk??h?i?h?i??i?1 （18） ?k?1?P?1?k?1??HTH?h?i?hT?i??k?1k?1?i?1?式中
?hT?1???hT?1???T??T?h2h2????? H??? （19） Hk??k?1???????T??T?hkhk?1????????????式中，h(i)是一个列向量，也就是HL的第i行的倒置，P(k)是一个方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n，则P(k)的维数是n×n。
由式18可得P(k)的递推关系为：
P?1?k???h?i?hT?i??h?k?hT?k?i?1k?1 （20）
?P?1?k?1??h?k?hT?k?设
?z??z?1?,z?2?,?,z?k?1??T?k?1?? （21） ?T??z?1?,z?2?,?,z?k????zk??则
TT??k?1???Hk?1Hk?1?Hk?1zk?1?1??k?1? （22）
?P?k?1???h?i?z?i???i?1?由此可得：P?k?1???k?1???h?i?z?i? （23）
?1i?1?k?1由式20和21可得
?k???k???HHk?Hz?P?k???h?i?z?i???i?1???1?P?k??P?k?1???k?1??h?k?z?k???? （24）
??1T?P?k??Pk?hkh?????k??????k?1??h?k?z?k???T???k?1??P?k?h?k???z?k??h?k???k?1???Tk?1Tkk???引进增益矩阵K(k)，定义K?k??P?k?h?k? （25）
Tzk?h式24可以进一步写为??k????k?1??K?k??（26） ???k???k?1????
???接下来可以进一步把式21写为
?1TP?k???Pk?1?hkh?????k???? （27）
?1利用矩阵反演公式?A?CC将式（27）演变成
T??1?A?AC?I?CAC?CTA?1
?1?1T?1?1TP?k??P?k?1??P?k?1?h?k?hT?k?P?k?1??h??k?P?k?1?h?k??1???1?P?k?1?h?k?hT?k????I?T?P?k?1??h?k?P?k?1?h?k??1? （28）
将上式代入式25，整理后可得
TK?k??P?k?1?h?k??h??k?P?k?1?h?k??1?? (29)
?1综合式26、28和29可得最小二乘递推参数估计算法RLS
??????k????k?1??K?k??z?k??hT?k???k?1??????1?T?K?k??P?k?1?h?k???h?k?P?k?1?h?k??1?? ?TI?KkhP?k?1????k???P?k??????3.3广义最小二乘法
广义最小二乘法的处理过程如下[8]，设SISO系统采用如下模型：
A?z?1?z?k??B?z?1?u?k??1v?k? （30） ?1C?z?其中A(z-1)，B(z-1)和C(z-1)的定义见式5和6。