MVA, biblio du cours de Jean-Pierre Nadal

Les livres mentionnées ci-après sont pour la plupart consultables à la bibliothèque de l'Institut Henri Poincaré

et consultables et empruntables à la Bibliothèque du RISC
(Relais d'Information sur les Sciences de la Cognition, Ecole Normale Supérieure, 29 rue d'Ulm, Paris 5e)
[localisation et coordonnées]

• Références spécifiques et présentations (slides) (année 2011-2012) : voir ici
• Références générales : voir ci-après.

Bibliographie sommaire

La Préhistoire

• D. O. Hebb, The organization of behavior (Wiley, New-York, 1949)
  
• W.S. McCulloch, W. A. Pitts, A logical calculus of the ideas immanent in nervous activity, Bull. Math. Biophys. 5 (1943) 115-133
  

L' Histoire

Articles

H. B. Barlow, The coding of sensory messages, in Current Problems in Animal Behaviour, Thorpe and Zangwill Ed., pp 331-360 (Cambridge Univ. Press, 1960).


D. J. Willshaw, O. P. Buneman & H. C. Longuet-Higgins Non holographic associative memory, Nature 222 (1969) 96


Livres

T. O. Kohonen, Self organization and associative memory (Springer, Berlin, réédition 1984).


M. Minsky, S. Papert, Perceptrons (Cambridge, MIT Press, 1969).

Les Temps Modernes

Articles

J.J. Hopfield Neural networks as physical systems with emergent computational abilities, Proc. Natl. Acad. Sci. USA, 79, 2554 (1982)


E. Gardner Maximum storage capacity of neural networks, Europhys. Letter 4, 481 (1987)


D. Amit, The Hebbian paradigm reintegrated: local reverberations as internal representations, Behavioral and Brain Sciences (BBS), vol. 4 (1995) 617-626


J. J. Atick, Could information theory provide an ecological theory of sensory processing, Network 3 (1992) 213-251


W. Bialek, F. Rieke, R. de Ruyter van Steveninck and D. Warland, Reading a neural code, Science 252 (1991) 1854-57


Livres

D. Amit, Modeling brain function (Cambridge Univ. Press, 1989)


T. Geszti, Physical models of neural networks (World Scientific, 1990)


J. Hertz, A. Krogh & R. G. Palmer, Introduction to the theory of neural computation (Addison-Wesley, 1991)


P. Peretto, Modeling of neural networks (Cambridge Univ. Press, 1991)


V. N. Vapnik, The nature of statistical learning theory (Springer, 1995)


Advances in Kernel Methods, ed. by B Scholkopf, C Burges, A Smola (MIT Press 1999)


C. Koch, Biophysics of computation (Oxford Univ. Press 1999)


A. Engel and C. Van den Broeck, Statistical Mechanics of Learning (Cambridge Univ. Press 2001).

P. Dayan and LF Abbott, Theoretical Neuroscience (MIT Press, 2001)


W. Gerstner and W. M. Kistler, Spiking Neuron Models - Single Neurons, Populations, Plasticity (Cambridge University Press, 2002).

Ouvrages collectifs, compilations :

• M. A. Arbib, The Handbook of brain theory and neural networks (MIT Press, 1995).
• P. Grassberger et J.-P. Nadal, From Statistical Physics To Statistical Inference and Back (Kluwer Acad. Pub., Dordrecht, 1993)
  
• H. Gutfreund et G. Toulouse, Biology and Computation: a physicist's choice (World Scientific, 1994) [Collection d'articles clefs, anciens et récents]
  

Livres d'introduction en français :

• G. Dreyfus, M. Samuelides, J. Martinez, M. Gordon, F. Badran, S. Thiria, L. et Hérault J., Réseaux de neurones - Méthodologies et applications (Eyrolles, 2004)
• J. Hérault et Ch. Jutten, Réseaux neuronaux et traitement du signal
  Hermes, 1994
• M. Milgram, Reconnaissance des formes, méthodes numériques et connexionnistes
  Armand Colin (collection 2ai)/Dunod/Masson, 1993
• J.-P. Nadal, Réseaux de neurones : de la physique à la psychologie
  Armand Colin (collection 2ai)/Dunod/Masson, 1993
• S.Thiria, Y. Lechevallier, O. Gascuel, S. Canu, Statistique et méthodes neuronales
  Dunod, 1997.
• G. Weisbuch, Dynamique des systèmes complexes : une introduction aux réseaux d'automates
  InterEditions/Editions du CNRS, 1989

Théorie de l'information :

• Blahut, R. E., Principles and Practice of Information Theory,
  Addison-Wesley 1988.
• Cover, T. M. and Thomas, J. A., Information Theory,
  Wiley, 1991.

Brèves revues et notes sur les deux principaux thèmes abordés dans le cours

• modeling memory
• sensory coding

Autres cours et documents

• archives : articles et thèmes suggérés pour des travaux personnels en relation avec le cours : voir ici
• Cours Neuroscience théorique (ENS, Paris)
• voir le site www de Stéphane Canu [cours sur les réseaux de neurones artificiels et les méthodes d'apprentissage, et beaucoup d'autres documents et adresses w3].
• Sur l'organisation du système nerveux : M. Abeles, Corticonics (Cambridge Univ. Press, 1991)
• Sur D. O. Hebb : P. Milner Donald Hebb, un pionnier des neurosciences

  Pour la Science n°185 (mars 1993)

• Sur la Gestalt : Rock I. & Palmer S., Scientific American n°263 (1990) p. 4
• La Mémoire, n° spécial de La Recherche, N°267 (juillet-août 1994) ; L'intelligence, n° spécial de Pour La Science, N°254 (décembre 1998).

Références spécifiques et présentations (slides) (année 2011-2012)

Certains documents sont accessibles depuis la page de supports de cours du cours Neuroscience théorique (ENS, Paris) (accès avec mot de passe : les documents en accès restreint ne peuvent être postés sur internet ou redistribués sans autorisation des auteurs et/ou de l'éditeur ; si vous êtes inscrit au cours et n'avez pas le code, contactez-moi).

• Introduction: different types of learning: lecture notes (slides, pdf file)

  Synaptic Plasticity: papers here

• Hebbian unsupervised learning and neural coding - the Oja model and variants:

  An elementary introduction to the Oja model: lecture notes (slides, pdf file)

  Papers by Erkki Oja, in particular:

  - E. Oja, A simplified neuron model as a principal components analyzer, J. Math. Biol. 15 (1982) 267-273

  - E. Oja, Neural networks, principal components and subspaces, Int. J. of Neural Syst. 1 (1989) 61-68

  T. D. Sanger, Optimal unsupervised learning in a single-layer linear feedforward network, Neural Networks 2 (1989) 459-473

  Hertz, Krogh, and Palmer (1991) (see general references above), Chap. 8.2 pp. 199-210

• Efficient coding - Information theoretic approach

  Introduction - The mutual information; infomax

  Linear Gaussian models - modeling the retina and the first layers of the visual system

  Slides.

  "Infomax": Linsker, R. (1988), "An application of the principle of maximum information preservation to linear systems", NIPS 1988 (paper here)

  Works by Li Zhaoping on early visual coding, in particular the review paper: Optimal Sensory Encoding, in: The Handbook of Brain Theory and Neural Networks, page 815-819, The Second Edition. Michael A. Arbib, Editor MIT Press 2002.

  van Hateren, Biol. Cybernetics 1992, "A theory of maximizing sensory information".

  
  

  Non linear models - Single cell: optimization of the transfer function
  Low noise and additive noise; low multiplicative noise (Poisson process at large times)
  slides

  Spiking neurons (Poisson process): short times.
  Population coding - Fisher information vs. Shannon information
  slides

  
  

  Papers:
  Efficient coding in fly vision: S. B. Laughlin, Form and function in retinal processing, TINS, Vol. 10, NO. 11 (1987) pp.478-483.
  R. B. Stein, "The information capacity of nerve cells using a frequency code", Biophysical Journal, 1967 (paper from PubMedCentral)
  N. Brunel & JPN, "Optimal tuning curves for neurons spiking according to a Poisson process in response to a scalar stimulus" in ESANN'1997 proceedings, D Facto pub., pp. 163-168 (paper here).
  S. Seung and H. Sompolinsky, PNAS 90 pp:10749-10753, 1993 (here)
  N. Brunel and J.-P. Nadal, Neural Computation, Vol. 10 issue 7 (October 1, 1998) pp. 1731-1757 (here)
  A. P. Georgopoulos, A. B. Schwartz, R. E. Kettner, "Neuronal population coding of movement direction", Science, September 1986 233: 1416-1419, 1986 (paper here)
  A. Schoups, R. Vogels, N. Qian and G. Orban, "Practising orientation identification improves orientation coding in V1 neurons", Nature 412, 549-553 (2 August 2001) (paper here)

  
  

  From Infomax to ICA (Redundancy reduction)

  Nadal J.-P. and Parga N., Nonlinear neurons in the low-noise limit: a factorial code maximizes information transfer, Network: Computation in Neural Systems, 5(4):565-581 (1994)

  
  

  JPN, Information theoretic approach to neural coding and parameter estimation: a perspective, in: "Probabilistic Models of the Brain: Perception and Neural Function" edited by R. Rao, B. Olshausen, and M. Lewicki, MIT Press, 2002, pp 117-134.

• Supervised learning by the Perceptron: capacity, information storage, algorithm

  The Perceptron: F. Rosenblatt, 1958

  Storage capacity: T. M. Cover, 1965

  Information capacity: paper (JPN, in Cellular Automata, dynamical systems and neural networks, E. Goles & S. Martinez editors, Kluwer/Springer 1994, Book series 'Mathematics and its applications' vol. 282, pp.147-166).

  General references on the perceptron (books and chapters in books):

  M. Minsky, S. Papert, Perceptrons (Cambridge, MIT Press, 1969).

  Hertz, Krogh, and Palmer, "Introduction to the Theory of Neural Computation" (Addison-Wesley, 1991 - now from: Perseus Book Group and Westview Press), Chap. 5.

  The Purkinje cell as a Perceptron: slides, and related papers.

  Storage capacity, the statistical physics approach (E. Gardner): papers.

  Learning associations: Hebbian learning and the sparse coding limit (the Willshaw model and variants): see here.

  Supervised learning: some slides.

• Recurrent networks and Models of memory: persistent activity and working memory

  Some slides.

  D. Amit, Modeling brain function (Cambridge Univ. Press, 1989).

  Papers: see here, in particular:

  The Hopfield model, 1982 (pdf)

  Y. Miyashita and H. S. Chang. Neuronal correlate of pictorial short-term memory in the primate temporal cortex. Nature, 331:68.70, 1988. (pdf)

  N Brunel (2004) Network models of memory, in Methods and models in neurophysics , C. Chow, B. Gutkin, D. Hansel, C. Meunier and J. Dalibard Eds., Elsevier (pdf)