Design of Neural Network Filters

Emnet for nærværende licentiatafhandling er design af neurale netværks filtre. Filtre baseret på neurale netværk kan ses som udvidelser af det klassiske lineære adaptive filter rettet mod modellering af ulineære sammenhænge. Hovedvægten lægges på en neural netværks implementering af den ikke-rekursive, ulineære adaptive model med additiv støj. Formålet er at klarlægge en række faser forbundet med design af neural netværks arkitekturer med henblik på at udføre forskellige “black-box” modellerings opgaver så som: System identifikation, invers modellering og prædiktion af tidsserier. De væsenligste bidrag omfatter:
• Formulering af en neural netværks baseret kanonisk filter repræsentation, der danner baggrund for udvikling af et arkitektur klassifikationssystem. I hovedsagen drejer det sig om en skelnen mellem globale og lokale modeller. Dette leder til at en række kendte neurale netværks arkitekturer kan klassificeres, og yderligere åbnes der mulighed for udvikling af helt nye strukturer. I denne sammenhæng findes en gennemgang af en række velkendte arkitekturer. I særdeleshed lægges der vægt på behandlingen af multi-lags perceptron neural netværket.
• Ved at kombinere det kanoniske filter med en præprocesseringsenhed fremkommer, hvad vi vil kalde, den grundlæggende ikke-lineære filter arkitektur. Arkitekturen må fortolkes som værende et heterogent tre-lags neuralt netværk. Med det formål at undgå overparametrisering foreslås forskellige præprocesserings metoder under hensyntagen til, at kvaliteten af den endelige model ikke forringes væsentligt.
• Diskussion af forskellige parameterestimationsalgoritmer, og forslag til effektive implementeringer af sædvanlige første og anden ordens optimerings algoritmer i forbindelse med lagdelte arkitekturer. Yderligere er der udviklet en algoritme til initialisering a et 2-lags neuralt netværk, således at hurtigere optimering sikres.
• Med udgangspunkt i en såkaldt modelfejlsdekomposition af middel-generalisationsfejlen klarlægges og diskuteres fundamentale begrænsninger i forbindelse med valg af optimal netværksarkitektur. Dette inkluderer bl.a. en behandling af de muligheder anvendelsen af regularisering bibringer.
• Udvikling og diskussion af en ny generalisationfejlsestimator, GEN, der finder anvendelse i forbindelse med ufuldstændige, ikke-lineære modeller. Muligheden for at kunne omfatte ufuldstændige modeller er især vigtig ved “black-box” modellering. Modellerne forudsættes at være estimeret ved minimering af kvadratfejlsummen og et regulariseringsled. Estimatoren baserer sig på statistiske metoder og må ses som en udvidelse af dels Akaikes klassiske FPE-estimator og dels af Moodys GPE-estimator.
• Udvikling af forskellige statistisk baserede algoritmer, der optimerer filterarkitekturen ved gradvis reduktion. Disse algoritmer generaliserer Optimal Brain Damage og Optimal Brain Surgeon procedurerne.
Potentialet af de foreslåede metoder søges demonstreret ved hjælp af beregningseksempler og numeriske simuleringer. Endelig indeholder afhandlingen en kort gennemgang af klassiske ikke-lineær filteranalysemetoder.