Cours dans le cadre du Master Mathématiques Vision Apprentissage (MVA),
Ecole Normale Supérieure Paris-Saclay

Pour toute information sur le Master, voir le site du master MVA,
et en particulier l'emploi du temps du 2nd semestre du master, ici.

Course in French or English depending on the students.
English webpage here.
Supports de cours (en anglais) ici.
Modalités pratiques ci-dessous.

Nouveau :
- Validation:
oraux (en distanciel) : instructions, et planning mis à jour le 6 avril, ici.
si vous ne l'avez pas encore fait, contactez moi pour le choix de l'article.
- Supports de cours : dernière mise à jour le 7 mars.


Modélisation en neurosciences - et ailleurs / Modelling in neuroscience - and elsewhere
Jean-Pierre Nadal

Ce cours est une introduction à la modélisation des mécanismes d'apprentissage, d'adaptation et de prise de décision dans les systèmes neuronaux naturels.
Les outils mobilisés sont issus de la physique statistique, des systèmes dynamiques, de l'inférence bayésienne et de la théorie de l'information.
Bien que l'essentiel du cours concerne la modélisation en neurosciences - ce qu'on appelle les neurosciences computationnelles -, nous aurons régulièrement l'occasion de discuter des liens et interactions entre neurosciences computationnelles, traitement du signal et apprentissage machine. Le cours ouvre ègalement sur d'autres thèmes - en particulier les systèmes complexes en sciences sociales.
Sur la forme, le cours porte autant sur les aspects formels (mathématiques), algorithmiques et quantitatifs, que sur les aspects qualitatifs (aspects historiques, apports conceptuels de la modélisation, interprétation de résultats de l'analyse de modèles pour la compréhension de la cognition humaine ou animale).


Année universitaire 2020-2021

20h de cours + examen, à l'ENS Paris-Saclay, salle 1B18 (si en présentiel).
Cours uniquement en ligne jusqu'à nouvel ordre.

Pour assister au cours, se déclarer ici (inscription et feuille de présence).

Les cours ont lieu le jeudi à 9h du 14 janvier au 4 mars 2021.

Premier cours le jeudi 14 janvier de 9h à 11h (cours de 2h).
Les jeudis suivant, du 21 janvier au 4 mars, cours de 9h à 12h20 (cours de 3h avec une pause de 20mn à mi-temps)
Pas de cours le 25 février.

Validation :
La validation de l'UE demande la rédaction d'un rapport (compte rendu critique d'un article + micro-projet en rapport avec cet article), avec une présentation orale à l'issue de laquelle quelques questions de connaissance et compréhension du cours sont également posées. Une présence régulière au cours est demandée pour être autorisé à valider le cours.
Date de l'oral : un jour à déterminer dans la période 11 mars-15 avril 2021.
Pour le choix d'un article, à titre indicatif, voir les articles qui s(er)ont cités dans les slides ou listés comme supports de cours,
ici, et voir les suggestions d'articles faites en 2017, ici (page qu'il me faudrait mettre à jour...), et les articles choisis pour la validation aux printemps 2018 et 2020.
Voir tous les détails des modalités de la validation ici.

Pour toute question, me contacter par courriel : jean-pierre.nadal "AT" phys.ens.fr


Course material in English here.


Thèmes abordés dans le cours / Main topics to be discussed
English version of this page coming soon.

Mémoire à court terme / Working memory

- "le nombre magique 7 plus ou moins 2" (formule du psychologue Miller, 1956).
Notre mémoire à court terme est juste assez bonne pour retenir momentanément un numéro de téléphone composé de 10 chiffres (ou de 5 paires de chiffre). Peut-on comprendre cette faible capacité de la mémoire à court-terme, et son universalité (capacité indépendante du type d'objets mémorisés (chiffres, lettres, mots,...)

- brisure d'ergodicité :
Comment comprendre que, bien que très bruitée, l'activité neuronale puisse rester assez longtemps spécifique d'un stimulus présenté brièvement ?

Outils et modèles : Physique Statistique / Champs de Markov Aléatoires (Random Markov Fields) ; "réseaux à attracteurs", limite des réseaux de très grande taille ; plasticité Hebbienne ; modèle de Hopfield.
Sujets connexes : physique statistique des systèmes désordonnés (tq. "verres de spins") ; optimisation combinatoire (tq. K-satisfiabilité) ; formation de coalitions (entre pays, entre entreprises), émergence de normes sociales.

Apprentissage supervisé / Supervised Learning

Dans le cervelet, impliqué dans l'apprentissage et le contrôle moteur, les "cellules de Purkinje" sont considérées comme jouant un rôle majeur dans l'apprentissage de séquences motrices. Celui-ci se traduit par des modifications des propriétés ("poids synaptiques") des synapses contrôlant le passage aux cellules de Purkinje des informations fournies par d'autres aires au cervelet. Des expériences indiquent qu'un nombre important - jusqu'à 80% ! - de ces synapses sont silencieuses, ne transmettant aucun signal. Nous verrons que cette observation se comprend si on suppose que, paradoxalement, l'apprentissage est optimisé.

Outils et modèles : apprentissage statistique, Perceptron.
Sujets connexes : Support Vector Machines (SVM), et, bien sûr, apprentissage profond.

Apprentissage non supervisé et codage neuronal / Unsupervised learning - neural coding

Juste après la naissance, le système visuel est le siège d'importantes modifications dépendantes des stimuli visuels reçus. Quels principes gouvernent cette "auto-organisation" ? De manière générale, peut-on caractériser la nature de l'adaptation d'un système sensoriel à l'environnement ?

Outils et modèles : apprentissage Hebbien non supervisé ; théorie de l'information : information mutuelle (Shannon) ; "infomax" ; égalisation d'histogramme ; réduction de la redondance (Barlow) ; analyse en composantes principales (ACP), analyse en composantes indépendantes (ICA).
Sujet connexe : statistique des "images naturelles".

Codage par population / Population coding

Dans les aires sensorielles, on observe souvent des représentations neuronales distribuées, dans lesquelles chaque neurone a une activité spécifique d'une certaine gamme de stimuli. On observe des représentations analogues dans les aires motrices. Chez le rat, par exemple, des cellules codent pour l'orientation de la tête, chacune ayant une réponse maximale pour une valeur particulière de l'orientation ("orientation préférée" de la cellule). En quoi ce type de codage est-il efficace ? Peut-on dire que chaque cellule "code pour son stimulus préféré" (par exemple, l'information sur l'orientation est-elle simplement donnée par l'activité des neurones dont le stimulus préféré est cette orientation) ?

Outils et modèles : théorie de l'information : information mutuelle (Shannon), théorie de l'estimation : information de Fisher ; processus de Poisson (comme modèle de neurone émettant des "spikes").

Sujet connexe : éthologie.
Le paon fait sa cour à la paonne en faisant la roue. Chez certaines espèces d'hirondelles, les mâles ont le plumage rouge au niveau de la gorge, et les femelles préfèrent les mâles ayant le plus beau rouge. Pourquoi ces comportements - et quel rapport avec ce cours ?

Perception catégorielle et Décision perceptuelle / Categorical Perception, Perceptual Decision

Un signal de parole est un signal continu, une modulation de la pression. Notre système auditif nous le fait percevoir en une séquence d'élements discrets - phonèmes, syllabes, mots. De méme le système visuel nous fait percevoir des objets à partir d'entrées sensorielles continues. Comprendre les mécanismes sous jacents à la perception catégorielle est un thème important en neurosciences et sciences cognitives. De nombreuses expériences de laboratoire mettent en évidence des propriétés génériques de la perception catégorielle lorsque les catégories peuvent étre ambigues (phonèmes proches, chat/chien, etc). Nous verrons comment l'hypothèse de codage efficace permet de rendre compte de ces propriétés.
La perception catégorielle est un exemple simple mais remarquable de prise de décision (décider quelle est la catégorie présente). Beaucoup de travaux concernent cet aspect, notamment via l'analyse des temps de réaction : plus le stimulus est ambigu, plus le temps moyen est grand. Nous verrons comment relier les caractéristiques des temps de décision avec celles du codage neuronal. Enfin nous verrons que certaines propriétés demandent de faire appel à des modèles prenant en compte la dynamique neuronale (réseaux à attracteurs), avec donc davantage de biophysique. Ces modèles permettent de rendre compte du niveau de confiance dans une décision.

Outils et modèles : théorie de l'information, inférence bayesienne. Accumulation d'évidences : marches aléatoires, mouvement brownien. Dynamique neuronale : réseaux à attracteurs.

Catégorisation : réseaux artificiels vs. cerveau humain / Categorization: Artificial networks vs. human brain

Les séances sur l'apprentissage supervisé et sur la perception catégorielle seront l'occasion de discuter les similitudes et différences entre intelligences artificielles et naturelles, et de montrer en quoi les progrès en apprentissage machine permettent d'innover dans l'analyse de l'activité neuronale, et inversement comment neurosciences et sciences cognitives peuvent éclairer sur la nature des représentations construites par les réseaux profonds.



Les concepts et outils issus de la physique satistique et de la théorie de l'information seront introduits au fur et à mesure des besoins.