基于多高斯核自優(yōu)化相關(guān)向量機(jī)污水水質(zhì)測(cè)量

　　申請(qǐng)日2015.06.16

　　公開(kāi)(公告)日2015.09.16

　　IPC分類號(hào)G01N33/18

　　摘要

　　本發(fā)明公開(kāi)了一種基于多高斯核自優(yōu)化相關(guān)向量機(jī)的污水水質(zhì)軟測(cè)量方法，包括以下步驟：1)剔除污水輸入和輸出的數(shù)據(jù)中的異常點(diǎn)，由于各輸入變量量綱的不同，對(duì)其進(jìn)行歸一化處理，歸一化到[0,1]區(qū)間中;2)多高斯核函數(shù)相關(guān)向量機(jī)軟測(cè)量模型模塊;3)多高斯核函數(shù)核參數(shù)自優(yōu)化算法;4)遺傳優(yōu)化算法對(duì)初始參數(shù)尋優(yōu)模塊;5)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)軟測(cè)量模型建模。本發(fā)明通過(guò)自優(yōu)化方法確定各尺度上的核參數(shù)，運(yùn)用遺傳優(yōu)化算法對(duì)初始參數(shù)尋優(yōu)，建立最優(yōu)模型，在保證模型收斂性和稀疏性的情況下，有效提高污水中BOD輸出精度。

　　摘要附圖

 

　　權(quán)利要求書(shū)

　　1.基于多高斯核自優(yōu)化相關(guān)向量機(jī)的污水水質(zhì)軟測(cè)量方法，其特征在于， 包括以下步驟：

　　1)剔除污水輸入和輸出的數(shù)據(jù)中的異常點(diǎn)，由于各輸入變量量綱的不同， 對(duì)其進(jìn)行歸一化處理，歸一化到[0,1]區(qū)間中;

　　2)多高斯核函數(shù)相關(guān)向量機(jī)軟測(cè)量模型模塊，其計(jì)算公式：

　　給定一組輸入和目標(biāo)值xn∈RM，且考慮目標(biāo)函數(shù)只 是一個(gè)標(biāo)量，根據(jù)概率方程式，假設(shè)目標(biāo)函數(shù)是模型的樣本并且?guī)в懈郊釉肼暎?/P>

　　tn=y(xn,w)+εn (1)

　　式中εn為附加噪聲，服從(0,σ2)的高斯分布，且彼此間相互獨(dú)立，因此 p(tn|y(xn),σ2)服從高斯分布，其分布由期望y(xn)和方差σ2決定，其中y(xn) 可由核函數(shù)的加權(quán)模型表示：

　　$y(x,w)=\underset{i=1}{\overset{N}{\Sigma }}{w}_{i}k(x,x_i)+w_0---\left(2\right)$

　　wi為模型權(quán)值，w=[w0,w1,w2,...,wn]T為(N+1)維列向量;k是核函數(shù)， φi=k(x,xi);t=[t1,t2,...tn]T為N維列向量，假設(shè)tn服從獨(dú)立分布，數(shù)據(jù)集的 似然估計(jì)概率為：

　　$p\left(t\right|w,{\sigma }^2)={\left(2\pi {\sigma }^2\right)}^{-N/2}\exp \{-\frac{1}{2{\sigma }^2}{\left|\right|t-\mathrm{\Phi w}\left|\right|}^2\}---\left(3\right)$

　　φ(xn)=[1,k(xn,x1),k(xn,x2),...k(xn,xn)]T為(N+1)*1維矩陣，貝葉斯矩陣表示 為：Φ=[φ(x1),φ(x2),...,φ(xn)]T，其是N*(N+1)維;為了約束rvm模型中 權(quán)值w，假設(shè)其服從(0,αi-1)高斯分布，且設(shè)各權(quán)值間相互獨(dú)立，其先驗(yàn)概率表 示如下：

　　$p\left(w\right|\alpha )=\underset{i=0}{\overset{N}{\Pi }}N\left(w_i\right|0,{{\alpha }_i}^{-1})---\left(4\right)$

　　α為N+1維超參數(shù)，引入超參數(shù)導(dǎo)致算法的稀疏性;

　　根據(jù)貝葉斯準(zhǔn)則，可得到后驗(yàn)概率公式：

　　給定新的測(cè)試樣本x，預(yù)測(cè)相應(yīng)的目標(biāo)t*，按照預(yù)測(cè)分布：

　　$p\left(t_{*}\right|t)=\∫p\left(t_{*}\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2|t)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　無(wú)法計(jì)算后驗(yàn)概率，因?yàn)闊o(wú)法計(jì)算$p\left(t\right)=\∫p\left(t\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　所以將后驗(yàn)概率分解：p(w,α,σ2|t)=p(w|t,α,σ2)p(α,σ2|t)

　　可得權(quán)重的后驗(yàn)概率為：

　　$\begin{array}{c}p\left(w\right|t,\alpha ,{\sigma }^2)=\frac{p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )}{p\left(t\right|\alpha ,{\sigma }^2)}\\ ={\left(2\pi \right)}^{-(N+1)/2}{\left|\Sigma \right|}^{-1/2}\exp \{-\frac{1}{2}{(w-u)}^T{\Sigma }^{-1}(w-u)\}\end{array}---\left(5\right)$

　　其后驗(yàn)協(xié)方差和均值分別為：

　　Σ=(σ-2ΦTΦ+A)-1 (6)

　　u=σ-2ΣΦTt (7)

　　因?yàn)閜(α,σ2|t)∝p(t|α,σ2)p(α)p(σ2)，所以可以用后者等價(jià)前者：

　　$\begin{array}{c}p\left(t\right|a,{\sigma }^2)=\∫p\left(t\right|w,\beta )p\left(w\right|\alpha )d_w\\ ={\left(2\pi \right)}^{-N/2}{|{\sigma }^{2}I+\Phi A^{-1}{\Phi }^T|}^{-1/2}\exp (-\frac{1}{2}{t}^T\mathrm{Ct})\end{array}$

　　其中矩陣C=(σ2I+ΦA(chǔ)-1ΦT)-1，對(duì)上述式子取對(duì)數(shù)得：

　　$L=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)---\left(8\right)$

　　為了找到超參數(shù)的優(yōu)化值，對(duì)上述似然估計(jì)最大化得到超參數(shù)的更新公式：

　　$a_i=\frac{{\gamma }_i}{u_i},{\sigma }^2=\frac{{\left|\right|t-\mathrm{\Phi u}\left|\right|}^2}{N-{\Sigma }_{i=1}^N{\gamma }_i}---\left(9\right)$

　　式中γi=1-αiΣii

　　傳統(tǒng)高斯核函數(shù)核參數(shù)均勻統(tǒng)一，限制了rvm模型的靈活性和預(yù)測(cè)精度; 基于提高預(yù)測(cè)精度的考慮，且不破壞其它性能，提出使用如下多高斯核函數(shù)：

　　$k(x_m,x_n)=\exp (-\underset{k=1}{\overset{d}{\Sigma }}{\eta }_k{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2)$

　　其各個(gè)尺度上使用不同核參數(shù)，ηk是第k個(gè)核參數(shù)的平方的倒數(shù)，d是輸入向 量的屬性個(gè)數(shù)，則多尺度核參數(shù)可表示為：η=(η1,η2,...ηd);用 φnm=k(xm,xn)來(lái)表示貝葉斯矩陣的元素，則似然估計(jì)對(duì)第k個(gè)核參數(shù)的梯 度為：

　　$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{N}{\Sigma }}\frac{{\∂}_L}{{\∂}_{{\phi }_{\mathrm{nm}}}}\frac{{\∂}_{{\phi }_{\mathrm{nm}}}}{{\∂}_{{\eta }_k}}$

　　該式的第一部分與貝葉斯核參數(shù)無(wú)關(guān)，用來(lái)表示，得到矩陣：

　　D=(C-1ttTC-1-C-1)ΦA(chǔ)-1

　　=β[(t-y)uT-ΦΣ] (10)

　　似然估計(jì)對(duì)核參數(shù)求導(dǎo)為：$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2$

　　3)多高斯核函數(shù)核參數(shù)自優(yōu)化算法

　　為了避免核參數(shù)過(guò)大或過(guò)小引起過(guò)平滑和過(guò)適應(yīng)問(wèn)題，增加限制條件從而 避免出現(xiàn)上述問(wèn)題：

　　$\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k=d\log \frac{1}{h^2}$

　　h是核參數(shù)幾何平均值，則似然估計(jì)模型變成：

　　$L^{-}=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)+\lambda (\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k-d\log \frac{1}{h^2})---\left(11\right)$該模型 對(duì)核參數(shù)求導(dǎo)為：

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\frac{\∂L}{\∂{\eta }_k}+\frac{\lambda }{{\eta }_k},k=1,...,d$

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2+\frac{\lambda }{{\eta }_k},k=1,...,d$

　　當(dāng)上式第一部分對(duì)核參數(shù)求導(dǎo)時(shí)，所得梯度同號(hào)，為了保證所得核參數(shù)均大于 零且最大似然估計(jì)盡可能的大，可用如下公式更新核參數(shù)，

　　若不滿足同號(hào)，為了保證核參數(shù)均大于零，且最大似然估計(jì)盡可能的大，梯度 小于零的核參數(shù)其更新公式為：

　　ηinew=p kηi (13)

　　梯度大于零的核參數(shù)其更新公式為：

　　式中i表示梯度小于零的屬性列，j表示梯度大于零的屬性列，p表示大于零的 梯度個(gè)數(shù);

　　4)遺傳優(yōu)化算法對(duì)初始參數(shù)尋優(yōu)模塊

　　在建模過(guò)程中，多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型有兩類參數(shù)，一類屬 于核函數(shù)參數(shù)，核參數(shù)的個(gè)數(shù)由輸入屬性個(gè)數(shù)決定，核參數(shù)可通過(guò)上述算法中 介紹的自優(yōu)化方法來(lái)確定;另一類是相關(guān)向量機(jī)模型的初始參數(shù)，多高斯核函 數(shù)自優(yōu)化相關(guān)向量機(jī)的初始參數(shù)包括核參數(shù)幾何平均值h和pk，其中核參數(shù)幾 何平均值決定初始核參數(shù)的值，pk影響核參數(shù)的自優(yōu)化過(guò)程;提出采用遺傳優(yōu) 化算法，對(duì)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型中的初始參數(shù)h,pk進(jìn)行優(yōu)化， 具體優(yōu)化算法的流程如下：

　　4.1)設(shè)定種群規(guī)模，遺傳進(jìn)化代數(shù)，染色體采用二進(jìn)制編碼，每個(gè)算子由 兩段編碼組成，兩段編碼分別代表兩個(gè)參數(shù)h,pk，并確定各參數(shù)取值范圍，生 成初始種群;

　　4.2)用初始種群訓(xùn)練多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型，目標(biāo)函數(shù)取測(cè) 試樣本的均方根誤差函數(shù)RMSE;

　　4.3)個(gè)體進(jìn)行選擇、重組、變異，終止條件若達(dá)到最大進(jìn)化數(shù)，則停止進(jìn) 化，輸出優(yōu)化參數(shù)，否則繼續(xù)尋優(yōu);

　　5)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)軟測(cè)量模型建模

　　污水處理中與BOD出水水質(zhì)息息相關(guān)的輸入屬性為可降解固體濃度 RD-SED-G，懸浮固體濃度RD-SS-G，生化需氧量RD-DBO-G，化學(xué)需氧量 RD-DQO-G，初沉池中的生化需氧量RD-DBO-P，懸浮固體濃度RD-SS-P，二沉 池中的生化需氧量RD-DBO-S，化學(xué)需氧量RD-DQO-S，入水中的生化需氧量 DBO，化學(xué)需氧量DQO，二級(jí)處理中的化學(xué)需氧量DQO，生化需氧量DBO， 懸浮固體濃度SS，PH值PH-S，可降解固體濃度SED，出水的化學(xué)需氧量DQO-S， 可降解固體濃度SED-S，懸浮固體濃度SS-S，PH值PH-S;輸入xn∈RM，是第n個(gè)輸入值，tn是BOD的輸出值，則出水BOD的預(yù)測(cè)算法步驟如 下：

　　5.1)對(duì)上述輸入屬性的污水?dāng)?shù)據(jù)進(jìn)行歸一化，去誤差平滑處理，然后確定 訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù);

　　5.2)根據(jù)訓(xùn)練樣本中的污水?dāng)?shù)據(jù)建立初始化模型，初始化模型參數(shù): α=[1/N2,1/N2,...,1/N2]T，σ2=0.1var(t)，初始核參數(shù)η=[1/h2,1/h2,...,1/h2]T;

　　5.3)循環(huán)迭代

　　5.3.1)按上式(6),(7)更新u,Σ;

　　5.3.2)按上式(9)更新超參數(shù)α,β;

　　5.3.3)如果超參數(shù)αi大于給定的大值，則認(rèn)為該超參數(shù)趨于無(wú)窮，從而將相 應(yīng)的權(quán)值行設(shè)為零，并且忽略相應(yīng)的貝葉斯矩陣列;否則，訓(xùn)練數(shù)據(jù)的相應(yīng)訓(xùn) 練樣本則為相關(guān)向量;

　　5.3.4)如果最大似然估計(jì)值變大，連續(xù)兩代間的核參數(shù)最大變化值大于一 定的小值，則按上面公式(12)，(13)，(14)更新核參數(shù)η，并更新貝葉斯矩陣Φ， 否則停止更新;

　　5.3.5)如果連續(xù)兩代間的超參數(shù)α最大變化值小于給定的小值，則迭代結(jié)束;

　　5.4)輸出模型權(quán)值w，核參數(shù)η，相關(guān)向量機(jī)，噪聲方差σ2。

　　說(shuō)明書(shū)

　　基于多高斯核自優(yōu)化相關(guān)向量機(jī)的污水水質(zhì)軟測(cè)量方法

　　技術(shù)領(lǐng)域

　　本發(fā)明涉及軟測(cè)量的技術(shù)領(lǐng)域，尤其是指一種基于多高斯核自優(yōu)化相關(guān)向 量機(jī)的污水水質(zhì)軟測(cè)量方法。

　　背景技術(shù)

　　隨著全球經(jīng)濟(jì)的增長(zhǎng)和人們生活水平的提高，城市生活污水和工業(yè)污水的 排放量日益增大，有限水資源受到不同程度的污染，防止水污染保護(hù)人們賴以 生存的水環(huán)境是人類面臨的當(dāng)務(wù)之急。保護(hù)水資源的一個(gè)重要方面就是要提高 污水處理的技術(shù)水平和檢測(cè)手段。污水處理過(guò)程相當(dāng)復(fù)雜，具有參數(shù)時(shí)變，多 變量耦合、強(qiáng)非線性，嚴(yán)重滯后等特點(diǎn)。使得出水水質(zhì)不易在線測(cè)量，廢水處 理成本高。污水處理過(guò)程中一些自動(dòng)化檢測(cè)設(shè)備、儀表的功能還不完善，處理 周期太長(zhǎng)，遠(yuǎn)遠(yuǎn)達(dá)不到國(guó)家對(duì)環(huán)境保護(hù)的要求。同時(shí)國(guó)家對(duì)環(huán)境保護(hù)的投入加 大，污水處理技術(shù)越來(lái)越受到更多的關(guān)注。國(guó)家發(fā)展規(guī)劃中明確提出要研發(fā)并 推廣低能耗、有效的污水處理技術(shù)。解決污水生物處理過(guò)程中參數(shù)在線測(cè)量的 方法有兩種：一是改進(jìn)測(cè)量?jī)x表，二是深入研究軟測(cè)量技術(shù)，這對(duì)于出水的優(yōu) 化排放有著重大的實(shí)際意義和應(yīng)用價(jià)值。由于在線儀表設(shè)備投資大，維護(hù)困難 以及分析周期長(zhǎng)、準(zhǔn)確性不高，而軟儀表成本低廉，測(cè)量具有實(shí)時(shí)性，盡管IAWQ 推出ASMs和ADM1等機(jī)理模型，但實(shí)際的污水處理現(xiàn)場(chǎng)條件太多，過(guò)程太復(fù) 雜，很難建立精確的機(jī)理模型，而神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等非機(jī)理建模都存在 局限性。相關(guān)向量機(jī)具有解更稀疏、核函數(shù)選擇更自由，泛化能力更強(qiáng)，魯棒 性更好等優(yōu)點(diǎn)，使其在污水領(lǐng)域的應(yīng)用中越來(lái)越受重視。但是傳統(tǒng)高斯核函數(shù) 核參數(shù)均勻統(tǒng)一，限制了rvm模型的靈活性和預(yù)測(cè)精度。

　　污水排放標(biāo)準(zhǔn)中，衡量是否達(dá)標(biāo)的參數(shù)指標(biāo)有：化學(xué)需氧量COD、生化需 氧量BOD、氨氮、磷、固體懸浮物等。其中生化需氧量BOD和化學(xué)需氧量COD 反映水被有機(jī)污染的程序，BOD/COD的比率反映出了污水的生物降解能力。這 兩個(gè)參數(shù)的測(cè)量對(duì)控制污水處理具有非常重要的價(jià)值。化學(xué)需氧量COD是指， 水樣在一定條件下，以氧化1升水樣中還原性物質(zhì)所消耗的氧化劑的量為指標(biāo)， 折算成每升水樣全部被氧化后，需要的氧的毫克數(shù)，以mg/L表示。生化需氧量 BOD是指微生物在一定的溫度和時(shí)間條件下分解氧化有機(jī)物所消耗的溶解氧 量，以mg/L表示。

　　現(xiàn)在的污水處理一般都采用稀釋法、傳感器等測(cè)量污水中BOD、COD的濃 度，但由于分析測(cè)定這兩個(gè)指標(biāo)的周期較長(zhǎng)，測(cè)量中時(shí)常出現(xiàn)誤差，不能及時(shí) 反應(yīng)污水處理的現(xiàn)場(chǎng)情況，因而污水控制系統(tǒng)存在著較大的延時(shí)，不能發(fā)揮其 最佳的性能。

　　軟測(cè)量技術(shù)就是利用易測(cè)量過(guò)程變量，依據(jù)這些易測(cè)量的過(guò)程變量和難以 直接測(cè)量的待測(cè)過(guò)程變量之間的數(shù)學(xué)模型，通過(guò)各種數(shù)學(xué)計(jì)算和估計(jì)方法，用 計(jì)算機(jī)軟件實(shí)現(xiàn)待測(cè)量過(guò)程變量的測(cè)量。是近年在過(guò)程控制和檢測(cè)領(lǐng)域涌現(xiàn)的 一種新技術(shù)。軟測(cè)量作為現(xiàn)代復(fù)雜過(guò)程工業(yè)中較難甚至無(wú)法由硬件在線檢測(cè)參 量實(shí)時(shí)估計(jì)的有效手段，具有投資低、維護(hù)保養(yǎng)簡(jiǎn)單等優(yōu)點(diǎn)。將軟測(cè)量技術(shù)用 于污水處理過(guò)程，能降低污水處理廠的能耗，節(jié)約成本，避免污水處理過(guò)程中 嚴(yán)重滯后等不足。但是污水過(guò)程非常復(fù)雜，傳統(tǒng)的機(jī)理建模無(wú)法適應(yīng)，而神經(jīng) 網(wǎng)絡(luò)、支持向量機(jī)等非機(jī)理建模都存在局限性，本發(fā)明提出多高斯核函數(shù)自優(yōu) 化相關(guān)向量機(jī)模型，打破了傳統(tǒng)高斯核函數(shù)參數(shù)均勻統(tǒng)一對(duì)預(yù)測(cè)精度的限制， 使模型更靈活。在保證模型收斂性和稀疏性的情況下，有效提高污水中BOD輸 出精度。該模型是對(duì)基本rvm的改進(jìn)，不僅離線情況下獲得良好效果，在此基 礎(chǔ)上展開(kāi)基于多尺度高斯核自優(yōu)化相關(guān)向量機(jī)的污水出水在線軟測(cè)量研究也很 有意義。

　　發(fā)明內(nèi)容

　　本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于多高斯核自優(yōu)化相 關(guān)向量機(jī)的污水水質(zhì)軟測(cè)量方法，通過(guò)自優(yōu)化方法確定各尺度上的核參數(shù)，運(yùn) 用遺傳優(yōu)化算法對(duì)初始參數(shù)尋優(yōu)，建立最優(yōu)模型。在保證模型收斂性和稀疏性 的情況下，有效提高污水中BOD輸出精度。

　　為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于多高斯核自優(yōu)化相關(guān) 向量機(jī)的污水水質(zhì)軟測(cè)量方法，包括以下步驟：

　　1)剔除污水輸入和輸出的數(shù)據(jù)中的異常點(diǎn)，由于各輸入變量量綱的不同， 對(duì)其進(jìn)行歸一化處理，歸一化到[0,1]區(qū)間中;

　　2)多高斯核函數(shù)相關(guān)向量機(jī)軟測(cè)量模型模塊，其計(jì)算公式：

　　給定一組輸入和目標(biāo)值xn∈RM，且考慮目標(biāo)函數(shù)只 是一個(gè)標(biāo)量，根據(jù)概率方程式，假設(shè)目標(biāo)函數(shù)是模型的樣本并且?guī)в懈郊釉肼暎?/P>

　　tn=y(xn,w)+εn (1)

　　式中εn為附加噪聲，服從(0,σ2)的高斯分布，且彼此間相互獨(dú)立，因此 p(tn|y(xn),σ2)服從高斯分布，其分布由期望y(xn)和方差σ2決定，其中y(xn) 可由核函數(shù)的加權(quán)模型表示：

　　$y(x,w)=\underset{i=1}{\overset{N}{\Sigma }}{w}_{i}k(x,x_i)+w_0---\left(2\right)$

　　wi為模型權(quán)值，w=[w0,w1,w2,...,wn]T為(N+1)維列向量;k是核函數(shù)， φi=k(x,xi);t=[t1,t2,...tn]T為N維列向量，假設(shè)tn服從獨(dú)立分布，數(shù)據(jù)集的 似然估計(jì)概率為：

　　$p\left(t\right|w,{\sigma }^2)={\left(2\pi {\sigma }^2\right)}^{-N/2}\exp \{-\frac{1}{2{\sigma }^2}{\left|\right|t-\mathrm{\Phi w}\left|\right|}^2\}---\left(3\right)$

　　φ(xn)=[1,k(xn,x1),k(xn,x2),...k(xn,xn)]T為(N+1)*1維矩陣，貝葉斯矩陣表示 為：Φ=[φ(x1),φ(x2),...,φ(xn)]T，其是N*(N+1)維;為了約束rvm模型中 權(quán)值w，假設(shè)其服從(0,αi-1)高斯分布，且設(shè)各權(quán)值間相互獨(dú)立，其先驗(yàn)概率表 示如下：

　　$p\left(w\right|\alpha )=\underset{i=0}{\overset{N}{\Pi }}N\left(w_i\right|0,{{\alpha }_i}^{-1})---\left(4\right)$

　　α為N+1維超參數(shù)，引入超參數(shù)導(dǎo)致算法的稀疏性;

　　根據(jù)貝葉斯準(zhǔn)則，可得到后驗(yàn)概率公式：

　　給定新的測(cè)試樣本x，預(yù)測(cè)相應(yīng)的目標(biāo)t*，按照預(yù)測(cè)分布：

　　$p\left(t_{*}\right|t)=\∫p\left(t_{*}\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2|t)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　無(wú)法計(jì)算后驗(yàn)概率，因?yàn)闊o(wú)法計(jì)算$p\left(t\right)=\∫p\left(t\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2|t)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　所以將后驗(yàn)概率分解：p(w,α,σ2|t)=p(w|t,α,σ2)p(α,σ2|t)

　　可得權(quán)重的后驗(yàn)概率為：

　　$\begin{array}{c}p\left(w\right|t,\alpha ,{\sigma }^2)=\frac{p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )}{p\left(t\right|\alpha ,{\sigma }^2)}\\ ={\left(2\pi \right)}^{-(N+1)/2}{\left|\Sigma \right|}^{-1/2}\exp \{-\frac{1}{2}{(w-u)}^T{\Sigma }^{-1}(w-u)\}\end{array}---\left(5\right)$

　　其后驗(yàn)協(xié)方差和均值分別為：

　　Σ=(σ-2ΦTΦ+A)-1 (6)

　　u=σ-2ΣΦTt (7)

　　因?yàn)閜(α,σ2|t)∝p(t|α,σ2)p(α)p(σ2)，所以可以用后者等價(jià)前者：

　　$\begin{array}{c}p(t,a,{\sigma }^2)=\∫p\left(t\right|w,\beta )p\left(w\right|\alpha )d_w\\ ={\left(2\pi \right)}^{-N/2}{|{\sigma }^{2}I+\Phi A^{-1}{\Phi }^T|}^{-1/2}\exp (-\frac{1}{2}{t}^T\mathrm{Ct})\end{array}$

　　其中矩陣C=(σ2I+ΦA(chǔ)-1ΦT)-1，對(duì)上述式子取對(duì)數(shù)得：

　　$L=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)---\left(8\right)$

　　為了找到超參數(shù)的優(yōu)化值，我們對(duì)上述似然估計(jì)最大化得到超參數(shù)的更新公式：

　　$a_i=\frac{{\gamma }_i}{u_i},{\sigma }^2=\frac{{\left|\right|t-\mathrm{\Phi u}\left|\right|}^2}{N-{\Sigma }_{i=1}^N{\gamma }_i}---\left(9\right)$

　　式中γi=1-αiΣii

　　相較于線性核函數(shù)，多項(xiàng)式核函數(shù)，sigmoid核函數(shù)，高斯核函數(shù)使用得更 多;傳統(tǒng)高斯核函數(shù)核參數(shù)均勻統(tǒng)一，限制了rvm模型的靈活性和預(yù)測(cè)精度; 基于提高預(yù)測(cè)精度的考慮，且不破壞其它性能，提出使用如下多高斯核函數(shù)：

　　$k(x_m,x_n)=\exp (-\underset{k=1}{\overset{d}{\Sigma }}{\eta }_k{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2)$

　　其各個(gè)尺度上使用不同核參數(shù)，ηk是第k個(gè)核參數(shù)的平方的倒數(shù)，d是輸入向 量的屬性個(gè)數(shù)，則多尺度核參數(shù)可表示為：η=(η1,η2,...ηd);用 φnm=k(xm,xn)來(lái)表示貝葉斯矩陣的元素，則似然估計(jì)對(duì)第k個(gè)核參數(shù)的梯 度為：

　　$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{N}{\Sigma }}\frac{{\∂}_L}{{\∂}_{{\phi }_{\mathrm{nm}}}}\frac{{\∂}_{{\phi }_{\mathrm{nm}}}}{{\∂}_{{\eta }_k}}$

　　該式的第一部分與貝葉斯核參數(shù)無(wú)關(guān)，用來(lái)表示，得到矩陣：

　　D=(C-1ttTC-1-C-1)ΦA(chǔ)-1

　　=β[(t-y)uT-ΦΣ] (10)

　　似然估計(jì)對(duì)核參數(shù)求導(dǎo)為：$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2$

　　3)多高斯核函數(shù)核參數(shù)自優(yōu)化算法

　　為了避免核參數(shù)過(guò)大或過(guò)小引起過(guò)平滑和過(guò)適應(yīng)問(wèn)題，增加限制條件從而 避免出現(xiàn)上述問(wèn)題：

　　$\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k=d\log \frac{1}{h^2}$

　　h是核參數(shù)幾何平均值，則似然估計(jì)模型變成：

　　$L^{-}=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)+\lambda (\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k-d\log \frac{1}{h^2})---\left(11\right)$該模型 對(duì)核參數(shù)求導(dǎo)為：

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\frac{\∂L}{\∂{\eta }_k}+\frac{\lambda }{{\eta }_k},k=1,...,d$

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2+\frac{\lambda }{{\eta }_k}k=1,...,d$

　　當(dāng)上式第一部分對(duì)核參數(shù)求導(dǎo)時(shí)，所得梯度同號(hào)，為了保證所得核參數(shù)均大于 零且最大似然估計(jì)盡可能的大，可用如下公式更新核參數(shù)，

　　若不滿足同號(hào)，為了保證核參數(shù)均大于零，且最大似然估計(jì)盡可能的大，梯度 小于零的核參數(shù)其更新公式為：

　　ηinew=p kηi (13)

　　梯度大于零的核參數(shù)其更新公式為：

　　式中i表示梯度小于零的屬性列，j表示梯度大于零的屬性列，p表示大于零的 梯度個(gè)數(shù);

　　4)遺傳優(yōu)化算法對(duì)初始參數(shù)尋優(yōu)模塊

　　在建模過(guò)程中，多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型有兩類參數(shù)，一類屬 于核函數(shù)參數(shù)，核參數(shù)的個(gè)數(shù)由輸入屬性個(gè)數(shù)決定，核參數(shù)可通過(guò)上述算法中 介紹的自優(yōu)化方法來(lái)確定;另一類是相關(guān)向量機(jī)模型的初始參數(shù)，多高斯核函 數(shù)自優(yōu)化相關(guān)向量機(jī)的初始參數(shù)包括核參數(shù)幾何平均值h和pk，其中核參數(shù)幾 何平均值決定初始核參數(shù)的值，pk影響核參數(shù)的自優(yōu)化過(guò)程;提出采用遺傳優(yōu) 化算法，對(duì)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型中的初始參數(shù)h,pk進(jìn)行優(yōu)化， 具體優(yōu)化算法的流程如下：

　　4.1)設(shè)定種群規(guī)模，遺傳進(jìn)化代數(shù)，染色體采用二進(jìn)制編碼，每個(gè)算子由 兩段編碼組成，兩段編碼分別代表兩個(gè)參數(shù)h,pk，并確定各參數(shù)取值范圍，生 成初始種群;

　　4.2)用初始種群訓(xùn)練多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型，目標(biāo)函數(shù)取測(cè) 試樣本的均方根誤差函數(shù)RMSE;

　　4.3)個(gè)體進(jìn)行選擇、重組、變異，終止條件若達(dá)到最大進(jìn)化數(shù)，則停止進(jìn) 化，輸出優(yōu)化參數(shù)，否則繼續(xù)尋優(yōu);

　　5)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)軟測(cè)量模型建模

　　污水處理中與BOD出水水質(zhì)息息相關(guān)的輸入屬性為可降解固體濃度 RD-SED-G，懸浮固體濃度RD-SS-G，生化需氧量RD-DBO-G，化學(xué)需氧量 RD-DQO-G，初沉池中的生化需氧量RD-DBO-P，懸浮固體濃度RD-SS-P，二沉 池中的生化需氧量RD-DBO-S，化學(xué)需氧量RD-DQO-S，入水中的生化需氧量 DBO，化學(xué)需氧量DQO，二級(jí)處理中的化學(xué)需氧量DQO，生化需氧量DBO， 懸浮固體濃度SS，PH值PH-S，可降解固體濃度SED，出水的化學(xué)需氧量DQO-S， 可降解固體濃度SED-S，懸浮固體濃度SS-S，PH值PH-S;輸入xn∈RM，是第n個(gè)輸入值，tn是BOD的輸出值，則出水BOD的預(yù)測(cè)算法步驟如 下：

　　5.1)對(duì)上述輸入屬性的污水?dāng)?shù)據(jù)進(jìn)行歸一化，去誤差平滑處理，然后確定 訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù);

　　5.2)根據(jù)訓(xùn)練樣本中的污水?dāng)?shù)據(jù)建立初始化模型，初始化模型參數(shù): α=[1/N2,1/N2,...,1/N2]T，σ2=0.1var(t)，采用上面提到的遺傳優(yōu)化算法得到最佳 初始核參數(shù)幾何平均值h=24.3372,pk=0.2379,初始核參數(shù)η=[1/h2,1/h2,...,1/h2]T;

　　5.3)循環(huán)迭代

　　5.3.1)按上式(6),(7)更新u,Σ;

　　5.3.2)按上式(9)更新超參數(shù)α,β;

　　5.3.3)如果超參數(shù)αi大于給定的大值，則認(rèn)為該超參數(shù)趨于無(wú)窮，從而將相 應(yīng)的權(quán)值行設(shè)為零，并且忽略相應(yīng)的貝葉斯矩陣列;否則，訓(xùn)練數(shù)據(jù)的相應(yīng)訓(xùn) 練樣本則為相關(guān)向量;

　　5.3.4)如果最大似然估計(jì)值變大，連續(xù)兩代間的核參數(shù)最大變化值大于一 定的小值，則按上面公式(12)，(13)，(14)更新核參數(shù)η，并更新貝葉斯矩陣Φ， 否則停止更新;

　　5.3.5)如果連續(xù)兩代間的超參數(shù)α最大變化值小于給定的小值，則迭代結(jié)束;

　　5.4)輸出模型權(quán)值w，核參數(shù)η，相關(guān)向量機(jī)，噪聲方差σ2。

　　本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)與有益效果：

　　1、本發(fā)明建立了一種基于多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)的軟測(cè)量模型， 模型通過(guò)自優(yōu)化方法確定各尺度上的核參數(shù)，同時(shí)運(yùn)用遺傳優(yōu)化算法對(duì)初始參 數(shù)尋優(yōu)，建立最優(yōu)模型，在保證模型收斂性和稀疏性的情況下，有效提高污水 中BOD輸出精度，該模型是對(duì)基本rvm的改進(jìn)，不僅離線情況下獲得良好效果， 在此基礎(chǔ)上展開(kāi)基于多尺度高斯核自優(yōu)化相關(guān)向量機(jī)的污水出水在線軟測(cè)量研 究也很有意義。

　　2、本發(fā)明的核函數(shù)由多個(gè)高斯函數(shù)組成，具有多尺度核參數(shù)，打破了傳統(tǒng) 高斯核函數(shù)參數(shù)均勻統(tǒng)一對(duì)預(yù)測(cè)精度的限制，使模型更靈活。