Learning Interpretable Theories for Complex Neural Systems

Abstract

Mathematical modelling has a long history of providing us with useful, succinct descriptions of the natural world. More than mere descriptions, the resulting models provide predictions that can be tested within the framework of the scientific method. But as we seek however to understand progressively more complex systems—especially in interdisciplinary fields like neurophysics—the methods of old don’t always yield the models we want: often they are too crude, or have too many free parameters—either of which makes them difficult to test. This work develops new paths to modelling, meeting complexity with today’s abundance of computational power. In contrast to other work however, which may outright replace the models of old with highly accurate but inscrutable ones, such as neural networks, here we stay firmly in the modelling tradition. By focussing on mechanistic, equation-based models, we extend rather than replace existing modelling capabilities. First we develop methods to learn complex models, where the form of the equations are known from our understanding of biology, but the effective parameters can only be inferred by fitting the entire model to data. These methods further allow to characterize correlations between parameters using Markov chain Monte Carlo (MCMC). However they can also lead to the proliferation of candidate models, which all plausibly fit the data. Therefore in a second part we develop a new approach to model comparison, integrating the principles of scientific induction with the methods of machine learning. The method is based on a novel random walk on the cumulative distribution function of errors; we thereby obtain an empirical modelling discrepancy (EMD) statistic that accounts for epistemic uncertainty on the model, specifically uncertainty under replications of the experiment. Together, these methods can be seen as the basis of a program for expert-driven, computer-enhanced research. And while developed in the context of computational neuroscience, they should be applicable wherever one is concerned with designing and studying mechanistic models, be they models in computational biology, statistical physics, or even econometrics.

Les techniques de modélisation mathématique nous ont longtemps fournis des descriptions utiles et succinctes du monde naturel. Plus que de simple descriptions, les modèles ainsi obtenus fournissent des prédictions pouvant être validées à l’intérieur du cadre de la méthode scientifique. En cherchant toutefois à comprendre des systèmes de plus on plus complexes—en particulier dans les domaines interdisciplinaires comme la neurophysique—ces méthodes arrivent parfois à leurs limites: les modèles sont trop simplistes, ou possèdent trop de paramètres indéterminés—et par conséquent peuvent rarement être validés. Ce travail développe de nouveaux moyens de modélisation, répondant à la complexité avec l’abundance de puissance de calcul dont on bénéficie aujourd’hui. À l’inverse d’autres efforts toutefois, il n’est pas question ici de remplacer les modèles conventionnels par d’autres plus précis mais indéchiffrables tel que des réseaux neuronaux. En se concentrant sur des modèles mécanistiques, exprimés à l’aide d’équations, on reste plutôt fermement ancré dans la tradition de modélisation, étendant ses possibilités au lieu de les remplacer. On développe d’abord des méthodes pour apprendre des modèles, où la forme des équations découle de notre connaissance biologique, mais où les paramètres doivent être inférés en adaptant le modèle entier à des données observées. Une fois les paramètres appris, ces méthodes permettent ensuite également de caractériser leurs corrélations à l’aide de Monte-Carlo par chaînes de Markov (MCMC). Toutefois, elles peuvent aussi mener à un prolifération de modèles candidats, chacun ressemblant aux données. C’est pourquoi en seconde partie on développe une nouvelle perspective sur la sélection de modèles, intégrant les principes d’induction scientifique avec les méthodes d’apprentissage automatique. L’approache est basée sur un nouveau processus stochastique sur la distribution cumulative des erreurs; on obtient ainsi une statistique empirique de la divergence du modèle (qu’on nomme EMD, pour empirical modelling discrepancy). Cette statistique tient compte de l’incertitude épistemique du modèle, spécifiquement l’incertitude due aux réplications de l’expérience. Ensemble, ces méthodes peuvent être vues comme formant la base d’un programme de recherche mené par les experts et renforcé par le calcul. Et bien que qu’elles aient été développées dans le contexte de la neuroscience computationelle, elles pourraient être appliquées à tout contexte où l’on conçoit et étudie des modèles mécanistiques—comme la biologie computationelle, la physique statistique, ou même l’économétrie.