Stochastic modeling at diverse scales: from poisson to network neurons

• Autorzy: Pacut A.
• Języki publikacji: EN

Abstrakty

EN

This work concentrates on problems of modeling at diverse resolutions. We investigate limit procedures which lead a model of one category to a model of another category, and analyze objective measures of models being close. While the methodology developed here can be applied to any stochastic modeling problem, it is investigated in neural modeling context, which is of renewed interest in control and information sciences. We consider the jump-diffusion models, based on a cause-and-effect neurobiological description, the diffusion models obtained through a space and time averaging, and the deterministic models, resulting from averaging out the random effects. The three forms of neuron models live independently in the literature, and the results obtained for one model are not moved to another form. To overcome this problem, we investigate the relations between various forms of the models. We formulate a general model driven by both marked Poisson processes and Wiener process, and identify its functions with neurobiological postulates. We then analyze the conditions under which it weakly converges to diffusion processes. We show that the convergence is influenced by algebraic properties of the inputs. In particular, we prove that if the weights span the entire real space they belong to, and the jumps have deterministic amplitudes, then the model may converge only to a deterministic limit. Consequently, contrary to a common belief, the basic model cannot converge to a diffusion if its weights are modified in a learning process. We also introduce a scaling which leads the jump-diffusion models to diffusion models and show that the asymptotic models are either the zero-drift diffusions or are deterministic. If separate scaling is applied to each class of inputs then the inputs can be divided into the stochastic and the deterministic classes. The latter influence only the drift of the diffusion model, and the former influence only the diffusion function. These novel hypotheses call for experimental verification in real biological systems. The diffusion models of neuron usually lead to a first passage problem for diffusion process. We provide a uniform treatment of both analytical and numerical methods for the first passage time distribution of the diffusion processes through a general barrier, and apply the results the diffusion neuron. The results enable to further simplify the diffusion neurons, to be able to apply the simplified models in neural networks. To determine usefulness of approximations to diffusion models, we investigate a general problem of model simplification and introduced a novel notion of model simplification validity. We show that a simplified relation between the mean output spiking frequency and the input intensity has a structure of the sigmoidal network neuron. This result closes the link between the network neurons, the diffusion neurons, the jump diffusion neurons, and the neurophysiological postulates.

PL

W pracy skoncentrowano się na problemach modelowania wynikających z istnienia modeli o różnej rozdzielczości dla tego samego zjawiska. Zbadano procedury przejść granicznych, prowadząch od modelu jednej kategorii do innej, oraz rozważano obiektywne miary bliskości modeli. Stosowana metodologia może być zastosowana do dowolnych modeli opisywanych przez stochastyczne równania różniczkowe. Polem doświadczalnym były jednak modele neuronu, będące przedmiotem intensywnych badań ze względu na zastosowania do adaptacyjnego przetwarzania informacji i adaptacyjnego sterowania. Rozważano modele skokowo-dyfuzyjne neuronu, oparte na opisie przyczynowo-skutkowym, modele dyfuzyjne otrzymane poprzez uśrednienie w czasie i przestrzeni elementów modeli skokowo-dyfuzyjnych i modele deterministyczne otrzymane poprzez uśrednianie elementu losowego modeli dyfuzyjnych. Te trzy postacie modelu funkcjonują w literaturze niezależnie a wyniki otrzymane dla jednej postaci nie są przenoszone na inną. W pracy badane są relacje pomiędzy tymi modelami. Sformułowano ogólny model pobudzany przez znakowane procesy Poissona i proces Wienera i związano jego funkcje z postulatami neurobiologicznymi. Sformułowanie warunków zbieżności procesów skokowo-dyfuzyjnych do procesów dyfuzyjnych pozwoliło na analizę warunków zbieżności neuronu skokowo-dyfuzyjnego do neuronu dyfuzyjnego. Pokazano, że na warunki zbieżności wpływają algebraiczne własności parametrów modelu, tzw. wag. Dowiedziono w szczególności, że jeśli wagi rozpinają przestrzeń rzeczywistą Rms, zaś kwanty substancji pompowanych do neuronu są deterministyczne, to model skokowo-dyfuzyjny może zbiegać jedynie do modelu deterministycznego. W rezultacie, inaczej niż to się powszechnie sądzi, podstawowy model skokowo-dyfuzyjny (model Poissona) nie może zbiegać do procesu dyfuzyjnego jeśli podlega uczeniu. Wprowadzono skalowanie elementów modelu, które prowadzi model skokowo-dyfuzyjny do modelu dyfuzyjnego i pokazano, że wynikowy model asymptotyczny jest albo dyfuzją o zerowym dryfie, albo jest procesem deterministycznym. Jeśli oddzielne skalowanie jest zastosowane do różnych klas wejść, wówczas można je podzielić na dwie kategorie. Dla wejść o kategorii deterministycznej sygnał wejściowy wpływa tylko na dryf modelu dyfuzyjnego, zaś dla wejść o kategorii stochastycznej modyfikowany jest tylko współczynnik dyfuzji. Ta nowa hipoteza wymaga eksperymentalnej weryfikacji w rzeczywistym systemie nerwowym. Przedstawiono jednolite podejście do metod analitycznych i numerycznych dla problemów pierwszego przejścia procesów dyfuzyjnych przez ogólne bariery. Wyniki zastosowano do badania neuronu dyfuzyjnego. Ze względu na złożoność metod obliczeniowych dla modelu dyfuzyjnego, zaproponowano jego aproksymację, wymagało to jednak określenia jakości tego uproszczenia. Pokazano, że uproszczony związek między średnią częstością pracy neuronu a średnią intensywnością stymulacji ma strukturę neuronu sigmoidalnego. Wynik ten zamyka ciąg związków pomiędzy modelem sieciowym neuronu, modelem dyfuzyjnym, modelem skokowo-dyfuzyjnym, i postulatami neurobiologicznymi. Pozwala to na przenoszenie cech i własności modeli jednej klasy do modeli innej klasy. Dla rozwiązania problemu określania jakości modeli aproksymowanych wprowadzono obiektywną miarę jakości uproszczenia opartą na własnościach probabilistycznych modeli.

Słowa kluczowe

EN

modeling; diffusion models

PL

modelowanie; procesy dyfuzyjne

• Wydawca: Oficyna Wydawnicza Politechniki Warszawskiej
• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektronika
• Rocznik: 2000
• Tom: z. 125
• Strony: 5--151
• Opis fizyczny: Bibliogr. 151 poz., rys., schem.,

Twórcy

autor

Pacut A.

• Politechnika Warszawska Instytut Automatyki i Informatyki Stosowanej