Collection 2ai, Armand Colin, 1993
Table des matières
Introduction 1
Liminaire 1
Motivations 2
Une vieille histoire 2
Le choix d'un point de vue 4
Plan du livre et mode d'emploi 5
1 Le neurone formel 7
1.1 Du réel au formel 7
1.1.1 Quelques éléments de neurobiologie 7
1.1.2 Une caricature : l'automate à seuil 10
1.2 Des réseaux de neurones 11
1.2.1 Dynamiques 12
1.2.2 Architectures 13
1.3 Du digital à l'analogique 15
1.3.1 Digital et analogique 15
1.3.2 Analogique ou analogique 17
1.3.3 Un amplificateur opérationnel 18
1.4 Calculer, apprendre et comprendre 19
1.4.1 Codage 19
1.4.2 Computation neuronale 21
1.4.3 Apprendre par coeur 21
1.4.4 Apprendre par l'exemple 22
1.4.5 La brique de base 23
2 Mémoire associative et réseaux à attracteurs 25
2.1 Un minimum de psychologie 25
2.2 La physique statistique entre en scène 27
2.2.1 Une longue marche 29
2.2.2 Pourquoi la mécanique statistique ? 27
2.3 Le modèle de Hopfield : une présentation informelle et naïve 29
2.3.1 Interpréter l'activité du réseau 29
2.3.2 Dynamique 30
2.3.3 Apprentissage 32
2.3.4 De l'utilité du bruit 33
2.4 Une présentation plus formelle - et un peu moins naïve 34
2.4.1 Le modèle standard 34
2.4.2 Un pas en arrière, un bond en avant 36
2.4.3 La loi de Hebb 39
2.4.4 Capacités critiques 40
2.4.4 Diagramme de phase 42
2.4.5 Réseaux de taille finie 44
Annexe 1 : l'analyse signal/bruit 45
Annexe 2 : l'énergie libre 47
3 Au delà du modèle standard 49
3.1 Critique du modèle de Hopfield 49
3.2 Vers plus de réalisme 51
3.2.1 Le problème des faibles taux d'activités 51
3.2.2 Des neurones à plus grande plausibilité 52
3.2.3 Réunir ce qui a été séparé 54
3.2.4 Des architectures spécifiques 55
3.2.5 Sélection versus instruction 56
3.3 Mémoire à court-terme 57
3.3.1 Le nombre magique "7 ± 2" 57
3.3.2 Palimpsestes 58
3.3.3 Une théorie de l'interférence 61
3.3.4 L'interférence proactive 62
3.4 De la physique à la psychologie 64
3.4.1 D'une introspection à l'autre 64
3.4.2 Une nouvelle Gestalt ? 65
3.4.3 D'un niveau à l'autre 66
4 Apprendre par coeur 69
4.1 Réseaux en couches : le cas du perceptron 69
4.1.1 Un séparateur linéaire 69
4.1.2 Capacité du perceptron : une approche géométrique 72
4.2 Performances optimales et propriétés génériques 74
4.2.1 Tout un programme 74
4.2.2 Capacités du perceptron 76
4.2.3 Catégoriser 80
4.3 Réseaux à attracteurs 81
4.3.1 Stabilités et bassins d'attraction 82
4.3.2 Retour au perceptron 84
4.3.3 Capacité d'un réseau à attracteurs 84
5 Algorithmes pour la brique de base 87
5.1 Apprentissage supervisé 87
5.1.1 Adaline et la règle de Widrow et Hoff 87
5.1.2 Pseudo-Inverse 89
5.1.3 L'algorithme du perceptron 90
5.1.4 Variantes à la carte 92
5.1.5 Analyse discriminante 94
5.2 Apprentissage non supervisé : le réseau autodidacte 95
5.2.1 Loi de Hebb et analyse en composantes principales 96
5.2.2 Auto-organisation et cartes corticales 99
5.2.3 Apprentissage semi-supervisé 101
6 Apprendre et généraliser 103
6.1 Qu'est-ce que généraliser ? 103
6.1.1 Une entreprise osée 103
6.1.2 Le choix de la complexité minimale 104
6.2 Savoir généraliser 106
6.2.1 Apprendre par l'exemple 106
6.2.2 Capacité et nombre effectif de paramètres 107
6.2.3 Une affaire d'entropie - ou d'information 109
6.2.4 Le doute, source de progrès 111
6.2.5 Approximation de fonctions 113
6.3 Stratégies pour bien apprendre 114
7 Réseaux en couches et applications 117
7.1 Au delà du perceptron :
cachez ces neurones que je ne saurais voir 117
7.2 La rétropropagation du gradient 119
7.2.1 Principe de l'algorithme 119
7.2.2 L'algorithme de base 121
7.2.3 "NetTalk" : un succès médiatique 122
7.3 L'inné et l'acquis 124
7.3.1 Alors, quoi de neuf ? 124
7.3.2 Digression 125
7.4 De la parole aux protéines 126
7.4.1 Reconnaissance de la parole 126
7.4.2 Océanographie 127
7.4.3 De l'ADN aux protéines 128
7.4.4 Physique des Hautes Energies 129
7.4.5 Les applications se ramassent à la pelle... 130
7.5 Algorithmes constructifs 131
7.5.1 Apprendre en grandissant 132
7.5.2 Des arbres de neurones 134
7.6 Algorithmes avec relaxation 137
7.6.1 Monte-Carlo et recuit simulé 137
7.6.2 La machine de Boltzmann 139
7.6.3 Les réseaux à attracteurs pour l'optimisation 140
7.7 Logiciels et matériels 141
7.7.1 Logiciels 141
7.7.3 Matériels : analogique ou numérique ? 142
7.7.4 Machines et puces 143
à suivre 147
Bibliographie 149
Index 151