_________________________________________________________________________
Journées Thématiques du Pôle Rhône-Alpes de Sciences Cognitives
"THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE"
_________________________________________________________________________
Lyon - 5-6 mai 1999
Institut des Sciences Cognitives
67 bd Pinel - 69675 Bron cedex
tel. secretariat : 04 37 91 12 14
_________________________________________________________________________
Veuillez trouver ci-dessous le programme detaille de ces journees et les
resumes des exposes. Afin d'estimer le plus precisement possible le nombre
des participants (en particulier pour les repas), nous vous remercions de
bien vouloir vous inscrire (sans frais d'inscription) en envoyant le petit
formulaire ci-dessous a :
hpaugam"at"isc.cnrs.fr
---------
NOM, prenom :
Laboratoire / Institution :
Adresse :
contact mail :
Je participerai aux Journees Thematiques du Pole organisees a l'ISC, ainsi
qu'aux repas du midi :
le me. 5 mai : OUI / NON
le je. 6 mai : OUI / NON
---------
N'hesitez pas non plus a nous contacter si vous souhaitez obtenir d'autres
informations (hpaugam"at"univ-lyon2.fr, Jean-Pierre.Nadal"at"lps.ens.fr, ou bien
gordon"at"drfmc.ceng.cea.fr).
Les organisateurs : Mirta B. Gordon
Jean-Pierre Nadal
Hélène Paugam-Moisy
*************************************************************************
Mercredi 5 mai, 10 h :
*************************************************************************
Manfred OPPER, ``Learning with Gaussian Processes''
Neural Computing Research Group, Aston University,
Birmingham, B4 7ET, United Kingdom
Dans cet exposé (qui sera donné en anglais), on introduit la famille des
régressions effectuées avec des processus gaussiens. Il s'agit de modéliser
une fonction d'une ou plusieurs variables en se donnant, dans le cadre
bayésien de l'apprentissage, une mesure gaussienne sur l'espace des
fonctions admissibles. Cette famille de modèles apparaît naturellement si
l'on considère des régressions réalisées par un réseau de neurones à une
couche cachée, lorsque le nombre de neurones cachés est très grand. On
donne une caractérisation des performances optimales de l'apprentissage
avec processus gaussiens à l'aide, d'une part, de bornes exactes, et,
d'autre part, de l'application de techniques issues de la Physique des
systèmes désordonnés.
*************************************************************************
Mercredi 5 mai, 11h : discussion / débat sur cet exposé
11h15 pause café
*************************************************************************
Mercredi 5 mai, 11 h 30 :
*************************************************************************
Mauro COPELLI, ``Unsupervised learning of binary vectors''
Theoretical physics research group, Limburgs Universitair Centrum
B-3590 Diepenbeek, Belgium
We present a simple model of unsupervised learning, where N-dimensional
data vectors are generated from a distribution with a single symmetry
breaking direction B. The task is to find B, given the data and the
knowledge that B is a binary vector, that is, B is in {-1,+1}^N. The fact
that B has discrete components makes the analytical study of this problem
very difficult. Statistical Mechanics techniques are used to describe how
well a ``guess'' J approximates B in the asymptotic limit of very large N.
Using some Bayesian arguments, we try to obtain the vector J such that
its performance is optimal.
*************************************************************************
Mercredi 5 mai, 12 h 30 : discussion / débat sur cet exposé
Mercredi 5 mai, 13 h : dejeuner
*************************************************************************
Mercredi 5 mai, 14 h :
*************************************************************************
Stephane CANU, ``Pourquoi les réseaux de neurones du type perceptrons
multicouches conviennent-ils à l'apprentissage ?''
P.S.I., Institut National des Sciences Appliquees de Rouen,
76131 Mont-Saint-Aignan, France
(Résumé non encore communiqué)
*************************************************************************
Mercredi 5 mai, 15h : discussion / débat sur cet exposé
15h15 pause café
*************************************************************************
Mercredi 5 mai, 15 h 30 :
*************************************************************************
Peter DOMINEY, ``Représentation interne de la structure temporelle et
séquentielle dans un réseau récurrent de "leaky integrators".''
Equipe « La cognition séquentielle et le langage »,
Institut des Sciences Cognitives, 69675 Bron, France
Les réseaux récurrents ont fait preuve de leur grande capacité à apprendre
les régularités des séquences (ex. Elman, Jordan). La modification des
connexions récurrentes par rétropropagation de l'erreur est souvent
utilisée, comme méthode d'apprentissage, pour minimiser l'erreur. Afin
d'éviter la complexité de calcul de la rétropropagation en temps-réel
ou de la rétropropagation à travers le temps, on choisit d'utiliser des
connexions fixes dans le réseau récurrent , l'apprentissage étant réalisé
dans une mémoire associative qui relie les vecteurs d'état du réseau
récurrent aux sorties désirées associées. Nous avons ainsi développé une
architecture récurrente qui possède une capacité inhérente à représenter
l'ordre séquentiel, aussi bien que la structure temporelle (i.e. la durée
des délais) des séquences d'entrées. Nous démontrons que les vecteurs
d'état sont corrélés aux régularités temporelles et séquentielles des
séquences d'entrée. En se basant sur cette capacité de représentation,
on a pu simuler les performances de sujets adultes dans une tâche
d'apprentissage de séquences, ainsi que des paradigmes d'acquisition du
langage chez les enfants.
*************************************************************************
Mercredi 5 mai, 16 h 30 : discussion / débat sur cet exposé
puis sur l'ensemble des exposés de la journée.
Ebauche d'une synthèse de la journée.
*************************************************************************
*************************************************************************
Jeudi 6 mai, 10 h :
*************************************************************************
Jean-Pierre NADAL*, ``Codage par population dans le cortex : vers une
Sophie DENEVE**, théorie de l'observateur idéal.''
* Laboratoire de Physique Statistique, Ecole Normale Supérieure
24, rue Lhomond, 75231 Paris cedex 05, France
** Institut des Sciences Cognitives, 69675 Bron, France
De nombreuses expériences de neurophysiologie indiquent qu'une forme
très courante de codage neuronal est le « codage par population » : un
très grand nombre de neurones sont recrutés pour coder / représenter une
variable, par exemple une direction dans l'espace (cortex sensoriel ou
moteur). Ces dernières années, de nombreux travaux théoriques ont permis
d'analyser l'intérêt potentiel d'un tel codage. Nous examinerons les
performances statistiques du codage par population selon le point de vue
de la théorie de l'information et de l'inférence bayésienne. Nous
montrerons comment une autre population de neurones peut effectuer un
«décodage», c'est-à-dire extraire du code neuronal une estimation
quasi-optimale du paramètre étudié (par exemple : de la direction).
*************************************************************************
Jeudi 6 mai, 11h : discussion / débat sur cet exposé
11h15 pause café
*************************************************************************
Jeudi 6 mai, 11 h 30 : exposé commun avec le séminaire du jeudi, de l'ISC
*************************************************************************
Bernard VICTORRI, ``La construction dynamique du sens.''
Laboratoire LTM-CNRS, Ecole Normale Supérieure
1, rue Maurice Arnoux, 92120 Montrouge, France
L'omniprésence de la polysémie dans les langues force à considérer la
compréhension des énoncés comme un processus dynamique, dans lequel le
sens de chaque unité linguistique se détermine en même temps que se
construit le sens global de l'énoncé. L'approche proposée ici vise à
rendre compte de ces mécanismes d'interaction, en associant à chaque
unité linguistique un processus de "convocation-évocation", dans le cadre
d'une théorie de l'énonciation où l'on considère que chaque énoncé évoque
une "scène verbale" qui représente son sens. Des réseaux récurrents ont
été mis au point pour modéliser le processus de calcul dynamique du sens.
Leur architecture sera présentée brièvement.
*************************************************************************
Jeudi 6 mai, 12 h 30 : discussion / débat sur cet exposé
Jeudi 6 mai, 13 h : dejeuner
*************************************************************************
Jeudi 6 mai, 14 h : Débat élargi à l'ensemble des sujets évoqués lors de
ces deux journées : table ronde réunissant les orateurs,
possibilité d'exposés libres (courts) de la part des participants.
Recherche de thèmes pluridisciplinaires propices a des collaborations.
Elaboration d'un texte de synthèse de ces Journées Thématiques.
*************************************************************************