Direction des Relations Européennes et Internationales (DREI)

Programme INRIA "Equipes Associées"

 

I. DEFINITION

EQUIPE ASSOCIEE

      BIOSENS (BIO-inspired SENSing)
sélection
      2006

Projet INRIA : CORTEX Organisme étranger partenaire : University of Science & Technology (UST)
Unité de recherche INRIA : UR Lorraine
Thème INRIA : Systèmes Biologiques 
Pays : Hong Kong
 
 
Coordinateur français
Coordinateur étranger
Nom, prénom      Martinez, Dominique  Bermak, Amine
Grade/statut     Chargé de Recherche  Assistant Professor
Organisme d'appartenance
(précisez le département et/ou le laboratoire)
 LORIA  EE Department
Adresse postale Campus Scientifique, BP 239, 54506 Vandoeuvre Les Nancy, France
Clear Water Bay, Kowloon, Hong Kong, SAR China
URL  http://www.loria.fr/~dmartine http://www.ee.ust.hk/~eebermak
Téléphone  (33) 383 59 30 72  (852) 2358 8992
Télécopie  (33) 383 41 30 79  (852) 2358 1485
Courriel  Dominique.Martinez@loria.fr  eebermak@ust.hk

La proposition en bref

Titre de la thématique de collaboration (en français et en anglais) :

BIOSENS (Bio-inspired Sensing) Traitement sensoriel bio-inspiré

Descriptif  :

La réduction des dimensions et des coûts de fabrication en microélectronique amène à multiplier les capteurs sous une forme matricielle. Ceci  est particulièrement vrai pour les rétines artificielles et les nez électroniques constitués respectivement d'une matrice de photodiodes et d'une matrice de capteurs de gaz. Intégrés à des algorithmes de fusion d'information, ces systèmes multicapteurs ou microsystèmes peuvent gagner en fiabilité et en ``intelligence", et ouvrir par là même la voie à de futures applications technologiques. Malheureusement, de simples tâches perceptives que nous effectuons chaque jour sans effort particulier, comme reconnaître un visage ou une odeur, sont très difficiles à réaliser sur ordinateur avec des techniques issues de l'intelligence artificielle. L'objectif des recherches que nous proposons dans l'équipe associée BIOSENS est de s'inspirer des fonctions et des traitements mis en oeuvre dans les systèmes perceptifs biologiques. La caractéristique essentielle d'un réseau neuronal biologique est le fait que les neurones communiquent par l'intermédiaire d'impulsions (potentiels d'action) dont les temps d'émission dépendent de l'activation qu'ils recoivent. D'un point de vue technologique, ce modèle de codage impulsionnel est particulièrement attractif pour des applications embarquées ou portables et des implémentations matérielles car il permet de  combiner les avantages des techniques analogiques pour le calcul (i.e. compacité et faible consommation des composants VLSI) avec la robustesse des techniques digitales pour la transmission de l'information. D'un point de vue de traitement de l'information, ce modèle est aussi très attractif, ne serait-ce en considérant les relations de phases entre les impulsions émises par les différents neurones. Ainsi, dans le système olfactif, une odeur semble être codée par une assemblée de neurones dont les impulsions sont synchronisées par rapport à une horloge commune qui pourrait être l'activité oscillatoire globale du réseau. A l'extrème, dans le système visuel, il semblerait que l'information est portée par l'asynchronie des impulsions, par exemple par la latence ou l'ordre de décharge de la première impulsion des differents neurones. Dans le cadre de l'équipe associée BIOSENS, nous proposons d'étudier les propriétés et capacités de traitement offertes par l'un et l'autre codage et de développer un nez électronique et une rétine artificielle dont les traitements bio-inspirés sont basés respectivement sur la synchronie et l'asynchronie des impulsions émises par les neurones. Cette recherche est motivée par le désir d'améliorer notre compréhension du traitement de l'information dans les réseaux de neurones biologiques mais aussi et surtout par le but de développer de nouvelles technologies de traitement de l'information, pouvant s'appliquer à des microsystèmes perceptifs.

 

Présentation de l'Équipe Associée

(environ 2 pages)

1. Présentation du coordinateur étranger

Dr. Amine Bermak received his PhD degree in Electronic Engineering from Paul Sabatier University, France in 1998. He joined the Advanced Computer Architecture research group at York University, England, where he was working as a Post-doc on VLSI implementation of CMM neural network for vision applications in a project funded by British Aerospace. In November 1998, Dr. Bermak joined Edith Cowan University, Perth, Australia, first as a research fellow working on smart vision sensors, then as a lecturer and a senior lecturer in the school of Engineering and Mathematics. He is currently an Assistant Professor with the Electrical and Electronic Engineering Department of Hong Kong University of Science and Technology (HKUST) where he is also serving as the associate director of Computer Engineering.

Dr. Bermak has been very actively involved in many industrial projects in collaboration with Motorola-France, 3D plus- France, British Aerospace-UK, Intelligent Pixel Inc-USA. He has designed many novel VLSI prototypes including the first digital 3D chip implementing neural network classifiers. Dr. Bermak has received numerous competitive research grants in the field of smart sensors (vision sensors and gas sensors). He is a member of organizing and technical committees of a number of international conferences such as SPIE MEMS 2002 and the ISSPA 2003. He conducted a keynote on "VLSI implementation of smart vision sensors" at "VLSI meets MEMS workshop" held in Australia 2001. He was also the keynote speaker at the 5th International Workshop on System-on-chip for real-time applications held in Banff, Canada, 2005.

In 2001, Dr. Bermak was awarded a "Visiting Professor Fellowship" from LORIA-CNRS France, in order to carry-out research in the field of VLSI implementation of olfaction systems. In 2002, he received the "Early Career Researcher Award" from the Australian Academy of Science (awarded to three young researchers Australia wide). In 2004, he was awarded the "Bechtel Foundation Engineering Teaching Excellence Award". Dr. Bermak received the "best paper award" at the 5th International Workshop on System-on-chip for real-time applications, Canada, 2005. Dr Bermak is a senior member of IEEE, a member of the Australian Microelectronic Network (AMN), and the French Microelectronics and Microtechnology Network. He has published more than 70 papers in journals, book chapters and refereed international conferences. His research interests are related to VLSI circuits and systems for smart and low power microsystems and microsensors.

2. Historique de la collaboration

Au cours des six dernières années, une étroite collaboration internationale a été établie entre A. Bermak et D. Martinez. Cette collaboration s'est traduite par des visites mutuelles, des financements (PAI Procore) et des publications conjointes.  En Décembre 2001, Amine Bermak, Assistant Professeur dans l'équipe "Visual Information Processing" de l'Edith Cowan University en Australie est venu un mois au Loria en tant que professeur invité. Suite à ce séjour, le responsable de cette équipe, S. Bouzerdoum,  a été invité en 2002 pour une présentation au Loria. Ces échanges ont donné lieu aux deux publications suivantes :

A. Bermak and D. Martinez (2003) A compact 3D VLSI Classifier using bagging threshold network ensembles IEEE Transactions on Neural Networks, Special Issue on Neural Networks Hardware Implementations, Vol 14, no 5, pp. 1097-1109, Sept. 2003. 
A. Bermak and D. Martinez (2003) A Very High Density VLSI Implementation of Threshold Network Ensembles (TNE) Neural Networks for Signal Processing (NNSP), 17-19 Sept, 2003, Toulouse.

En 2002, A. Bermak devient Assistant Professeur dans le département "Electrical and Electronic Engineering" de l'University of Science and Technology (UST) de Hong Kong. Nous obtenons le financement d'un PAI Procore de deux ans (2004-2005) pour établir une collaboration dans le cadre de l'olfaction artificielle. Dans le cadre de ce PAI, A. Bermak est venu au Loria du11-07 au 29-07 2004 et du 09-06 au 16-06 2005. A. Bermak a fait une présentation le 10/06/2005 au Loria intitulée "Time encoding smart vision sensors - From photodetection to image processing". D. Martinez est allé à l'UST de Hong Kong du 10-12 au 21-12 2004 et  du  13-11 au  30-11  2005 et a présenté un exposé intitulé "Oscillatory synchronization in the locust antennal lobe: towards neuromorphic electronic noses inspired from insect olfaction".  Ces échanges se sont finalisés par les publications suivantes :

A. Bermak, S. Belhouari, M. Shi, and D. Martinez (2005) Pattern Recognition Techniques for Odor Discrimination in Gas Sensor Array. The Encyclopedia of Sensors (in press).
M. Shi, S. Brahim-Belhouari, A. Bermak and D. Martinez (2005) Committee machine for odor discrimination in gas sensor array.  Proceedings of the 11th International Symposium on olfaction and electronic nose (ISOEN) pp. 74-76, Barcelona 13-15 April 2005.
A. Bermak and D. Martinez (2004) A reconfigurable hardware implementation of tree classifiers based on a custom chip and a CPLD for gas sensor applications. Proc. IEEE Tencon, Chiang Mai, Thailand, Nov. 21-24 2004.

L’avancement des travaux dans ce projet sur l'olfaction artificielle s’est déroulée avec une certaine avance par rapport au calendrier initial du PAI. Ceci nous a permis de démarrer une collaboration sur un autre sujet (rétine CMOS bio-inspirée). Pour ce nouveau projet, un étudiant de l'UST de Hong Kong, D. Climie, est venu une semaine au LORIA à Nancy en 2004. Cette nouvelle collaboration s'est traduite par les articles suivants :   

S. Chen, A. Bermak and D. Martinez (2005) A CMOS Vision Sensor with on-the-fly Histogram Equalization Using TFS Encoding and AER Read-Out, Asian Solid-State Circuits Conference, Nov. 2005
D. Climie, S. Chen, A. Bermak and D. Martinez (2005) Frame based adaptation for CMOS imager Fith International Conference on Information, Communications and Signal Processing (ICICS 2005), Bangkok, Thailand, 6-9 Dec. 2005.

Nous ne sommes pas au courant d'autre collaboration entre l'INRIA et l'UST de Hong Kong. Il existe un accord entre l'INRIA et la Fondation Croucher permettant de financer des bourses de thèse à des  étudiants, résidents de Hong Kong, voir sur le site de la DREI INRIA

3. Impact : 

Notre collaboration avec l'UST a effectivement démarré avec un PAI Procore sur l'olfaction artificielle bio-inspirée et a été ensuite étendue à un deuxième projet de rétine artificielle. De façon générale, nous comptons renforcer la collaboration entre nos deux équipes. Ceci est absolument nécessaire car la recherche proposée est de nature pluridisciplinaire et ne peut pas être uniquement réalisée par l'un ou l'autre des partenaires. Les deux partenaires du projet sont totalement complémentaires. Le LORIA apporte ses compétences en modélisation computationnelle de structures neuronales sensorielles (syst. olfactif, rétine biologique) et l'UST son savoir faire dans l'implémentation VLSI de matrices de capteurs (nez électroniques, rétines artificielles) et d'algorithmes de traitement du signal associé. La création de l'équipe associée  BIOSENS  permettra de dynamiser la collaboration existante. Ceci se traduira immédiatement par des échanges scientifiques plus intenses et la mise en place effective de deux co-tutelles de thèse (M. Ambard et G. Bin) avec la possibilité de réaliser des microsystèmes perceptifs d'inspiration biologique.
Notre collaboration entre le Loria et l'UST s'est récemment étendue à un projet de rétine artificielle inspirée du codage impulsionnel asynchrone ayant lieu dans la rétine biologique. Pour ce deuxième projet, une collaboration avec l'équipe Odyssée (T. Viéville, R. Brette) est envisagée. 
Notre projet de rétine artificielle ne concerne pour l'instant que l'acquisition et le codage de l'image. A plus long terme, ce projet s'étendra à la réalisation d'opérations de filtrage au niveau impulsionnel et une collaboration avec B. Shi de l'UST sera envisagée à ce moment là.

4. Divers : 



II. PREVISIONS 2006

Programme de travail


II.1 Cadre et motivations des recherches

La réduction des dimensions et des coûts de fabrication en microélectronique amène à multiplier les capteurs sous une forme matricielle. Ceci  est particulièrement vrai pour les rétines artificielles et les nez électroniques constitués respectivement d'une matrice de photodiodes et d'une matrice de capteurs de gaz. Intégrés à des algorithmes de fusion d'information, ces systèmes multicapteurs ou microsystèmes peuvent gagner en fiabilité et en ``intelligence", et ouvrir par là même la voie à de futures applications technologiques. Les  réseaux de neurones  artificiels peuvent jouer un premier rôle dans ce développement technologique. Leur capacité à traiter l'information sensorielle sur des bases distribuées, numériques et adaptatives peut permettre la réalisation de "capteurs intelligents", c'est à dire capables d'extraire de la connaissance directement à partir des données sensorielles et de manipuler cette connaissance pour résoudre des tâches perceptives.  Les réseaux de neurones artificiels sont développés selon une principale source d'inspiration : l'apprentissage statistique. Malheureusement, de simples tâches perceptives que nous effectuons chaque jour sans effort particulier, comme reconnaître un visage ou une odeur, sont très difficiles à réaliser sur ordinateur avec des techniques issues de l'intelligence artificielle ou de l'apprentissage statistique. 

L'objectif des recherches que nous proposons dans l'équipe associée BIOSENS est de s'inspirer des fonctions et des traitements mis en oeuvre dans les systèmes perceptifs biologiques. Cet objectif est ambitieux puisque, même le système olfactif, considéré comme l'un des systèmes sensoriels les plus simples, a un fonctionnement encore assez mystérieux. Le développement d'algorithmes de traitement bio-inspiré passe donc nécessairement par une importante étape de modélisation du système biologique dans le but d'en comprendre son fonctionnement. Cette recherche est motivée par le désir d'améliorer notre compréhension du traitement de l'information dans les réseaux de neurones biologiques mais aussi et surtout par le but de développer de nouvelles technologies de traitement de l'information, pouvant s'appliquer à des microsystèmes perceptifs. Pour cela, notre approche consiste à modéliser assez précisement certaines structures biologiques relativement simples (système olfactif par exemple) et à réduire ensuite graduellement la complexité du modèle par des études analytiques et des simulations numériques pour aboutir à des réseaux de neurones et/ou algorithmes exploitables en pratique.

La caractéristique essentielle d'un réseau neuronal biologique est le fait que les neurones communiquent par l'intermédiaire d'impulsions (potentiels d'action) dont les temps d'émission dépendent de l'activation qu'ils recoivent.  L'importance de ce codage impulsionnel a été souvent négligé dans le passé, en particulier dans les modèles de réseaux de neurones artificiels classiques comme le perceptron multicouche ou le réseau de Hopfield. Aujourd'hui, de nombreuses données biologiques expérimentales ont mis en évidence le rôle de la structure temporelle des potentiels d'action des neurones (VanRullen et al. 2005) et les réseaux de neurones impulsionnels sont maintenant étudiés de façon théorique dans le cadre des neurosciences computationelles. Ces études se basent sur la classe de modèles de neurones intègre-et-tire dont la dynamique temporelle du potentiel de membrane V est décrit par une équation différentielle du type : C  dV / dt = f(V) / R + I R et C représentent respectivement la résistance et la capacité de la membrane. Le courant I = Iext + Isyn s'exprime comme la somme d'un courant extérieur, provenant par example des capteurs, et d'un courant synaptique provenant des interactions avec les autres neurones. Lorsque f(V) est linéaire, de type f(V) = -V, on retrouve le modèle à fuite classique introduit par Lapique en 1907. Néanmoins, l'utilisation de fonctions non-linéaires f(V) permet  une meilleure approximation de la dynamique des neurones biologiques. En particulier, on obtient le neurone quadratique (Ermentrout, 1996) lorsque f(V) est de type V*V et le neurone exponentiel (Fourcaud et al. 2003) lorsque f(V) est de type exp(V). Une impulsion est émise chaque fois que le potentiel V dépasse un seuil, V étant ensuite ré-initialisé à une certaine valeur Vreset.

Ce modèle impulsionnel est un modèle hybride entre un codage digital et un codage analogique. En effet, les impulsions peuvent être considérés comme digitale par le fait que leur forme est stéréotypée et ne contient pas d'information mais le décour temporel des impulsions est asynchrone et donc analogique. D'un point de vue technologique, ce modèle de codage impulsionnel est particulièrement attractif pour des applications embarquées ou portables et des implémentations matérielles car il permet de  combiner les avantages des techniques analogiques pour le calcul (i.e. compacité et faible consommation des composants VLSI) avec la robustesse des techniques digitales pour la transmission de l'information. D'un point de vue de traitement de l'information, ce modèle est aussi très attractif. Le simple fait de considérer que l'information est contenue dans les temps d'émission des impulsions  augmente la puissance de traitement par rapport à un codage fréquentiel, ne serait-ce en considérant les  relations de phase entre les impulsions émises par les differents neurones. Ainsi, dans le système olfactif, une odeur semble être codée par une assemblée de neurones dont les activités sont synchronisées par rapport à une horloge commune qui pourrait être l'activité oscillatoire globale du réseau (Laurent et al., 1996). A l'extrème, dans le système visuel, il semblerait que l'information est portée par l'asynchronie des impulsions, par exemple par la latence (Gawne, 1996) ou l'ordre de décharge de la première impulsion des differents neurones (Thorpe et al., 1996; VanRullen and Thorpe, 2001). Si la synchronie et l'asynchronie semblent jouer un rôle important dans le codage de l'information sensorielle, ceci n'est peut être qu'un aspect d'un code plus complexe où peut intervenir la phase précise des impulsions, comme par example dans les cellules de lieu dans l'hippocampe (OKeefe, 1993; Huxter et al., 2003).

Dans le cadre de l'équipe associée BIOSENS, nous proposons d'étudier les propriétés et capacités de traitement offertes par deux types de codage : un codage par synchronie dans le système olfactif et un codage par asynchronie dans le système visuel.  Nous proposons de réaliser deux microsystèmes perceptifs : un nez électronique et une rétine artificielle dont les traitements bio-inspirés sont basés respectivement sur la synchronie et l'asynchronie des impulsions émises par les neurones.

II.2 Activités de recherche  et programme de travail

II.2.1 Codage par synchronie dans le système olfactif et olfaction artificielle bio-inspirée

Exposé du problème
L'olfaction artificielle se base sur des capteurs de gaz dont plusieurs technologies existent (SnO2, SAW, ...). Quelle que soit la technologie utilisée, les facteurs limitatifs de ces capteurs sont leur faible sensibilité et leur manque de sélectivité. Il est en effet avéré que les capteurs existants ne fournissent une réponse qu'à partir d'une concentration relativement élevée du composé chimique (faible sensibilité) et réagissent à un grand nombre de gaz (non-sélectivité). Dans ces conditions, il est difficile d'interpréter les informations recueillies à l'aide d'un seul capteur afin de reconnaître une odeur spécifique. Pour cette raison, on utilise une matrice de capteurs différents dont le profil d'activation contient la signature caractéristique du gaz à détecter, signature que l'on cherche à extraire à l'aide d'un algorithme efficace (Bermak et al. 2005). Il faut noter que la situation est similaire dans le système olfactif animal, les récepteurs olfactifs étant eux aussi non sélectifs.  Malgré cela, le système olfactif animal n'en est pas moins très performant. C'est la raison pour laquelle notre approche pour améliorer la sélectivité et la sensibilité des capteurs de gaz consiste à nous inspirer du codage neuronal mis en jeu dans le système olfactif animal. 

Biologie du système olfactif
Les travaux des deux biologistes, L. Buck et R. Axel (1991), récompensés par le prix Nobel de médecine et de physiologie en 2004, et de P. Mombaerts (1999) ont montré de façon claire que la grande sensibilité du système olfactif résulte d'une convergence massive de récepteurs d'un même type; la convergence de 1000 récepteurs identiques sur un seul glomérule servant à amplifier le signal tout en diminuant le bruit. Le signal ainsi « conditionné »  au niveau sensoriel est ensuite envoyé en entrée du premier étage de traitement, à savoir le bulbe olfactif chez le mammifère ou le lobe antennaire chez l'insecte. Le bulbe olfactif et le lobe antennaire présentent des similarités à la fois dans leur organisation cellulaire et dans leurs types de codage de l'information olfactive (Strausfeld and Hildebrand, 1999). Ces deux structures neuronales sont constituées de neurones excitateurs, dits de projections dans le lobe et mitrales dans le bulbe, interconnectés via des neurones inhibiteurs, dits locaux dans le lobe et granules dans le bulbe. Les signaux électrophysiologiques recueillis par les biologistes dans cette structure sont généralement de deux types: un signal continu représenté par le potentiel de champ et traduisant l'activité moyenne du réseau,  et des signaux discrets correspondants aux potentiels d'action émis par les neurones. L'analyse des données expérimentales montre que  les stimulations olfactives induisent des oscillations du potentiel de champ et que ces oscillations jouent un rôle important dans le codage de l'information sensorielle en fournissant une référence temporelle. D'une part, leur  fréquence  (e.g. 20 Hz chez la sauterelle) reste identique si l'on change l'odeur ou sa concentration. D'autre part, certaines  cellules excitatrices ont une activité synchrone, en phase avec le rythme oscillatoire (Kashiwadani et al., 1999; Buonviso et al., 2003; Lagier et al., 2004; Friedrich et al., 2004). Cette synchronisation est en réalité transitoire  -chaque neurone étant synchronisé pendant un ou plusieurs cycles  oscillatoires-  et spécifique de l'odeur (Laurent and Davidowitz, 1994; Wehr and Laurent, 1996). Des données expérimentales récentes semblent  indiquer que cette activité synchrone devient au cours du temps de plus en plus spécifique au stimulus olfactif (Friedrich and Laurent, 2001; Friedrich e tal., 2004) jusqu'à converger sur des attracteurs spécifiques de l'odeur (Galan et al., 2004; Sachse and Galizia, 2003). Il en résulte ainsi une décorrélation progressive des signaux en provenance des récepteurs olfactifs (Friedrich and Laurent, 2001; Friedrich et al 2004).
Si, pour améliorer la sensibilité des capteurs de gaz, une convergence massive de capteurs d'un même type ne pose pas de problème théorique particulier, il n'en est pas de même à propos des traitements bio-inspirés à réaliser pour améliorer la sélectivité. En effet, les mécanismes neuronaux et synaptiques qui sous-tendent  un codage par synchronie, sélectif de l'odeur, dans le lobe antenaire ou le bulbe olfactif restent encore inconnus. Un travail de modélisation de ces structures neuronales est donc nécessaire pour mettre à jour les mécanismes et variables les plus pertinentes. En particulier, il est crucial de mieux comprendre le rôle de l'inhibition dans la formation du rythme oscillatoire et des assemblées de neurones synchronisés. En effet, à la fois les oscillations du potentiel de champ et la synchronisation des neurones excitateurs disparaissent lorsque l'on bloque pharmacologiquement les récepteurs rapides au neuromédiateur inhibiteur GABA (Stopfer et al., 1997; Lagier et al., 2004}, indiquant par là même l'importance des connexions inhibitrices.

Modélisation et résultats déjà obtenus
La plupart des modèles existant à ce jour pour l'olfaction souffrent d'un trop grand degré de simplification ou d'abstraction par rapport à la réalité, qui ne permet pas de reproduire le fonctionnement dynamique observé expérimentalement et qui, de par ce fait, rend leurs prédictions criticables, en particulier au niveau fonctionnel. Les réseaux de neurones impulsionnels ayant en général une dynamique assez riche, et difficile à étudier, il semble préférable, lorsqu'on veut essayer de reproduire un comportement vu expérimentalement, de construire un modèle assez réaliste. Beaucoup de résultats expérimentaux concernant le codage de l'odeur au niveau du lobe antennaire de l'insecte ont été reproduits récemment par un modèle biologiquement très réaliste  (Bazhenov et al., 2001), ce travail étant le fruit d'une étroite collaboration entre neurobiologistes et modélisateurs. Nous avons choisi de partir de ce modèle, parce qu'il semblait offrir les potentialités que nous attendions: le niveau de modélisation biologique ayant été validé par cette étude, nous pouvons maintenant étudier les propriétés du codage qu'il génère et ses limites, et comprendre quels sont les mécanismes dynamiques qui permettent son émergence, en particulier le rôle de l'inhibition.
Nous avons donc construit un modèle du lobe antennaire de l'insecte
(Martinez and Hugues, 2004; Hugues and Martinez, 2005), sur la base des travaux décrits en (Bazhenov et al., 2001). Les neurones sont modélisés par des intègre-et-tire quadratiques et les synapses sont de type exponentielle. Ce modèle est suffisamment complexe pour reproduire le comportement du lobe antennaire mais aussi suffisamment simple pour permettre des études analytiques et éclairer les mécanismes responsables de l'encodage d'une odeur. Ainsi, en présence d'un stimulus stationnaire, la simulation du réseau montre des  oscillations de l'activité moyenne à une fréquence proche de 20 Hz et donc compatible avec les observations neurophysiologiques. Les neurones inhibiteurs jouent un rôle notable. Nous avons montré que la période de l'oscillation dépend linéairement de la constante de temps de la synapse inhibitrice (dans notre modèle  6 ms) (Martinez, 2005a). De plus, certains groupes de neurones synchronisent leur activité sur la période de l'activité moyenne du réseau. Pour l'étude analytique, nous avons considéré qu'un neurone est synchrone si il décharge à l'intérieur d'une fenêtre de 5 ms autour du temps d'émission moyen de la population de neurones (Laurent, 1999; Laurent et al., 2001). Nous avons pu exprimer mathématiquement la probabilité qu'un neurone soit synchrone en fonction de l'inhibition précédemment reçue (Martinez, 2005a). D'une manière intéressante, l'influence de la dispersion temporelle des événements post-synaptiques inhibiteurs (EPSI) reçus par le neurone peut être négligé. Ainsi, la probabilité P qu'un  neurone soit synchrone dépend donc principalement du nombre d'EPSI reçus. Cette dépendance s'exprime sous la forme d'une courbe en cloche asymmétrique, centrée autour de l'inhibition moyenne : plus le nombre de potentiels d'EPSI reçus par un neurone est proche de l'inhibition moyenne, plus ce dernier est synchronisé.
A partir de l'étude analytique du réseau de neurones impulsionnels, nous avons dérivé un modèle simplifié sous la forme d'un réseau de neurones binaires à temps discret: à chaque cycle oscillatoire, la sortie binaire d'un neurone vaut 1 avec une probabilité P et 0 avec une probabilité 1-P. L'étude de ce réseau de neurones binaires montre qu'il converge vers des états attracteurs caractérisés par les assemblés de neurones simultanément actifs et similaires à ceux obtenus avec le réseau de neurones impulsionnels
(Martinez, 2005b). Ce réseau de neurones binaires se comporte comme une mémoire associative olfactive (Martinez, 2005b), potentiellement exploitable pour le traitement d'une matrice de capteurs de gaz. En effet, les odeurs pourraient être stockés en mémoire comme des états attracteurs caractérisés par les assemblés de neurones simultanément actifs. En présence d'une nouvelle entrée, la dynamique du réseau converge vers un état attracteur stocké en mémoire, pouvant ainsi permettre une identification de l'odeur.

Programme de travail sur l'olfaction artificielle
Les objectifs spécifiques de la recherche que nous comptons mené dans le cadre de l'EA sont : i) améliorer la sélectivité d’une matrice de capteurs de gaz en s’inspirant du traitement du premier étage du système olfactif biologique (ex. lobe antennaire),  ii) améliorer la sensibilité et réaliser un microsystème complet associant capteurs et algorithmes d’inspiration biologique. La réalisation de ces différents objectifs spécifiques est détaillée ci-dessous :

i)   Améliorer la sélectivité : Notre approche, pour améliorer la sélectivité, consiste à nous inspirer du codage neuronal mis en jeu dans le premier étage du système olfactif animal, à savoir le bulbe olfactif chez le mammifère et le lobe antennaire chez l’insecte. Dans un premier temps, notre travail de modélisation a permis une meilleure compréhension des mécanismes neuronaux et synaptiques inhibiteurs sous-jacents au codage d'une odeur. Dans un double but de compréhension et d'application, nous nous sommes attachés, dans un deuxième temps, à dériver un modèle simplifié sous la forme d'un réseau de neurones binaires à temps discret. Un mécanisme d'apprentissage doit maintenant être introduit dans le modèle pour le rendre applicable au traitement d'une matrice de capteurs de gaz. Il convient aussi d'étudier les propriétés du modèle complêt et d'en caractériser ses performances.Des tests de reconnaissance olfactive seront réalisés sur le premier prototype de matrice de 4 capteurs de l'UST avec laquelle nous recueillons actuellement les données nécessaires.

iii) Améliorer la sensibilité et réaliser un microsystème bio-inspiré pour l’olfaction artificielle:  Pour améliorer la sensibilité, le système olfactif biologique utilise une convergence massive de capteurs d’un même type (~1000 récepteurs convergent sur un seul glomérule). A l’heure actuelle, la technologie microélectronique ne permet pas l’intégration sur un même circuit d’un nombre suffisant de capteurs, les nez électroniques ne disposant que d’une dizaine de capteurs. Il est par contre possible de porter un capteur de gaz SnO2 à des températures différentes de façon à d’obtenir des caractéristiques différentes et générer ainsi des capteurs de gaz « virtuels ». A cet effet, nous envisageons dans le cadre de l'EA de développer une matrice de 4 x 4 capteurs et de moduler temporellement en température les différents capteurs au sein d’une même matrice. Il en résultera une « image » similaire à une carte d’activation glomérulaire dans le système olfactif biologique. Il s'agira ensuite de voir comment rendre notre modèle simplifié du lobe antennaire compatibles avec nos contraintes expérimentales (dynamique des capteurs et des odeurs). Nous développerons un démonstrateur sur la base d’un microsystème intégrant une matrice de capteurs et un réseau de neurones  inspiré du lobe antennaire, qui sera capable de détecter une odeur spécifique. Nous souhaitons autant que possible déposer un brevet sur ce dispositif final.

II.2.2. Codage par asynchronie dans le système visuel et rétines artificielles bio-inspirées

Exposé du problème
Les capteurs CMOS qui équipent aujourd'hui les appareils photos numériques se présentent sous la forme d'une matrice de photodiodes.  Le courant généré par l'illumination d'une photodiode est généralement extrêmement faible et nécessite d'être intégré pendant un certain temps avant que la tension résultante soit échantillonée. Les images sont ensuite obtenues par une lecture ligne par ligne  de la matrice. La résolution de plus en plus importante des imageurs impose une lecture de la matrice à très grande vitesse, introduisant par la même une forte consommation. Dans le but de construire des capteurs CMOS qui consomment le moins d'énergie possible tout en gardant de bonnes performances en terme de résolution et de débit de transmission, on voit émerger de nouvelles techniques d'acquisition  basés sur un fonctionnement du pixel d'inspiration biologique et un protocole de communication asynchrone.
Puisque la tension aux bornes d'une photodiode est obtenue par intégration du courant, le fonctionnement du pixel est assimilable à un neurone intègre-et-tire dont l'évolution temporelle est décrite par l'équation en II.1 avec f(V)=0.  Ainsi, pour un photocourant I constant, un pixel bio-inspiré émet un événement chaque fois que la tension produite par la photodiode dépasse une certaine tension de référence Vref, c'est à dire avec une période donnée par T = C |Vref - Vreset| / I. L'intensité lumineuse est ainsi codée par la fréquence des événements. Dans les pixels bio-inspirés, l'événement consiste à transmettre dans le bus l'adresse du pixel qui vient juste d'emmettre. Cette  représentation par l'adresse (Address-Event-Representation ou AER) permet de contourner une difficulté: les circuits intégrés n'ont qu'un nombre limité de connecteurs entrée/sortie. Elle se base sur une asynchronie totale au sein de la matrice, un arbitrage devenant nécessaire dans le cas où plusieurs pixels recoivent la même illumination (Boahen, 2000). Cependant, le fait de coder l'intensité lumineuse par la fréquence des événements augmente considérablement la puissance consommée puisque le pixel transmet périodiquement son adresse dans le bus même si le photocourant I ne change pas.

Travaux en cours et résultats déjà obtenus
Des travaux biologiques récents montrent que, dans un contexte de traitement rapide de scènes visuelles, les neurones ne peuvent générer que quelques impulsions en réponse à une stimulation (Thorpe et al, 1996). L'encodage peut ainsi être réalisé par la latence du premier événement plutôt que par la fréquence de décharge
(VanRullen and Thorpe, 2001). Une récente modélisation que nous avons menée montre que l'inhibition pourrait jouer le rôle d'horloge avec remise à zéro (Ambard et Martinez, 2005). En effet, pour un neurone suffisement  inhibé, le temps d'émisison est essentiellement fonction du niveau de son courant d'entrée et ne dépend plus de son état initial. Ces constatations ont motivé l'équipe de A. Bermak de l'UST de Hong Kong pour proposer une rétine dont chaque pixel ne transmet  qu'une seule fois par période d'acquisition, le temps d'emission T codant pour l'intensité lumineuse  (Kitchen et al., 2004; Chen and Bermak, 2005}. Nous travaillons en collaboration avec cette équipe pour étudier les possibilités offertes par ce mode de codage AER.

Programme de travail sur les rétines artificielles
Les objectifs spécifiques de la recherche que nous comptons mené dans le cadre des  rétines artificielles  bio-inspirées sont : i) Améliorer la qualité par un codage AER adaptatif  et ii) Réaliser un rétine artificielle bio-inspirée. La réalisation de ces différents objectifs spécifiques est détaillée ci-dessous :

i) Améliorer la qualité par un codage AER adaptatif  : Pour stocker, transmettre et reconstruire l'image, les temps d'émission T des différents pixels doivent être quantifiés, si possible de façon adaptative en raison de la non-linéarité dans la réponse du pixel et de la non-stationarité des images. Le codage AER transforme le signal de sorte que deux pixels qui déchargent l'un après l'autre reçoivent une intensité lumineuse proche. La luminosité entre échantillons consécutifs varie donc beaucoup moins que pour une lecture classique ligne par ligne de l'image. Nous pouvons espérer obtenir de bonnes performances avec une quantification adaptative en raison du fait que le signal échantilloné par AER est relativement invariant. Pour cela, nous proposons d'adapter au codage AER des images, l'algorithme de quantification adaptative que nous avons précédemment développé en (Martinez and Van Hulle, 1995; Martinez and Yang, 1995). Cette quantification adaptative nous permet d'adapter à la fois l'encodeur et le décodeur sans avoir besoin de transmettre des informations supplémentaires. Une étude préliminaire a montré que le débit minimum de 1 bit par pixel pour une quantification scalaire est suffisant en pratique pour coder les temps d'émission des pixels (Climie et al., 2005). Le problème qu'il reste maintenant à résoudre est le codage de l'adresse. Afin de limiter le débit de transmission, plusieurs stratégies seront étudiées, comme celle qui consiste à ne transmettre qu'un certain pourcentage des pixels de l'image.

ii) Réaliser une rétine artificielle bio-inspirée : L'équipe de A. Bermak de l'UST de Hong Kong vient d'intégrer une rétine artificielle constituée d'une matrice de 128x128 capteurs où chaque pixel encode l'information en utilisant le codage AER. Nous envisageons dans le cadre de l'EA d'intégrer avec cette rétine un traitement bas niveau de l'image. Un codage adaptatif est bien sur nécessaire pour limiter le débit de transmission (voir paragraphe ci-dessus).  Nous pouvons aussi exploiter le fait que les données sont naturellement ordonnées par le codage AER dès l'acquisition de l'image pour réaliser, sans coût supplémentaire, une égalisation d'histogramme. Le circuit dédié au traitement de l'image ne devra cependant occuper qu'une faible surface Silicium de façon à laisser une bonne partie de la puce à la matrice de capteurs. Le but de cette recherche est d'exploiter le codage asynchrone AER afin de coder et de traiter l'information en provenance de la matrice de capteurs en utilisant une technologie CMOS standard et de faible coût. Le codage avec une seule impulsion/pixel permettra d'optimiser la consommation en énergie et d'augmenter la dynamique des capteurs en évitant la saturation, caractéristique du codage en tension. Une fois l'impulsion émise, le pixel est automatiquement forcé dans un "Sleep mode" avec une consommation d'énergie quasi-nulle. Des résultats expérimentaux préliminaires montrent que cette stratégie permet un gain en consommation de l'ordre de 1000 par rapport à des techniques traditionnelles. Avec une consommation d'énergie aussi réduite, cette rétine bio-inspirée pourrait ouvrir la voie à des applications nécessitant une très faible consommation, une intelligence intégrée et une miniaturisation extrème (par exemple prothèses intra-occulaires, capteurs déployés (Sensor network), micro-robotique autonome ...).     

II.3. Références

Ambard, M. and Martinez, D. Inhibitory control of spike timing precision, Neurocomputing, Submitted 2005.
Bazhenov, M.,  Stopfer, M., Rabinovich, M., Huerta, R., Abarbanel, H.D.I., Sejnowski, T.J. and Laurent,G.,Model of transient oscillatory synchronization in the locust antennal lobe, Neuron, 30, 553-567, 2001
Bermak, A.,  Belhouari, S., Shi, S. and Martinez, D.  Pattern Recognition Techniques for Odor Discrimination in Gas Sensor Array. The Encyclopedia of Sensors, 2005.
Boahen, K.A., Point-to-Point Connectivity Between Neuromorphic Chips using Address-Events, IEEE Transactions on Circuits and Systems II, 47(5), 416-434, 2000
Buck, L. and Axel, R., A novel multigene family may encode odorant receptors: a molecular basis for odor reception, Cell, 65(1), 175-187, 1991
Buonviso, N., Amat, C., Litaudon, P., Roux, S., Royet, J-P. and Farget,V., Rythm sequence through the olfactory bulb layers during the time window of a respiratory cycle, European Journal of Neuroscience, 17, 1811-1819, 2003
Chen, S. and Bermak, A., A low power cmos imager based on time-to-first-spike encoding and fair AER, ISCAS, Kobe, 2005
Climie, D.  Chen, S.  Bermak, A. and Martinez, D. Frame based adaptation for CMOS imager Fith International Conference on Information, Communications and Signal Processing (ICICS 2005), Bangkok, Thailand, 6-9 Dec. 2005.
Ermentrout, B., Type 1 membranes, phase resetting curves, and synchrony, Neural computation, 8, 979-1001, 1996
Fourcaud-Trocmé, N., Hansel, D., van Vreeswijk, C. and Brunel, N., How spike generation mechanisms determine the neural response to fluctuating inputs, J. Neurosci., 23(37), 11628-11640, 2003
Friedrich, R.W. and Laurent, G., Dynamic optimization of odor representations by slow temporal patterning of mitral cells activity, Science, 291, 889-894, 2001
Friedrich, R.W., Habermann, C.J and Laurent, G., Multiplexing using synchrony in the zebrafish olfactory bulb, Nature Neuroscience, 7, 862-871, 2004
Galan, R.F., Sachse, S., Galizia, C.G. and Herz, A.V.M., Odor-specific attractor dynamics in the antennal lobe allow for simple
and rapid olfactory pattern classification, Neural Computation, 16, 999-1012, 2004
Gawne, T.J., Xjaer, T.W. and Richmond,B.J., Latency: another potential code for feature binding in striate cortex, Journal of neurophysiol., 76(2), 1356-1360, 1996
Hugues, E. and Martinez, D. Encoding in a network of sparsely connected spiking neurons : application to locust olfaction, Neurocomputing, Vol. 65-66, pp. 537-542, June 2005.
Huxter, J., Burgess, N. and O'Keefe, J.O., Independent rate and temporal coding in the hippocampal pyramidal cells, Nature, 425, 828-832, 2003
Kashiwadani, H., Sasaki, Y.F., Uchida, N. and Mori, K., Synchronized oscillatory discharges  of Mitral/Tufted cells with different molecular receptive ranges in the rabbit olfactory bulb, Journal of Neurophysiology, 82, 1786-1792, 1999
Kitchen, A., Bermak, A. and Bouzerdoum, S.,A PWM digital pixel sensor based on asynchronous self-resetting scheme., IEEE Electron Device Letters, 25(7), 471-473, 2004
Lagier, S., Carleton, A. and Lledo, P-M., Interplay between local GABAergic interneurons and relay neurons generate gamma oscillations in the rat olfactory bulb, The Journal of Neuroscience, 24, 4382-4392, 2004
Lapicque, L., Recherches quantitatives sur l'excitation électrique des nerfs traités comme une polarisation, Journal of Physiol. Pathol. Gen., 9, 620-635, 1907
Laurent, G., A systems perspective on early olfactory coding, Science, 286, 723-728,1999
Laurent, G., Dynamical representation of odors by oscillating and evolving neural assemblies, Trends Neurosci., 19, 489-496, 1996
Laurent, G. and Davidowitz, H., Encoding of olfactory information with oscillating neural assemblies, Science, 265, 1872-1875, 1994
Laurent, G., Stopfer, M., Friedrich, R.W., Rabinovich, M, Volkovskii, A. and Abarbanel, H.D.I ,Odor coding as an active, dynamical process: experiments, computation and theory, Annu. Rev. Neurosci., 24, 263-297, 2001
Margrie, T.W. and Schaefer, A.T., Theta oscillation coupled spike latencies yield computational vigour in a mammalian sensory system, Journal of Physiol., 546, 363-374, 2003
Martinez, D. (2005a)  Oscillatory synchronization requires precise and balanced feedback inhibition in a model of the insect antennal lobe, Neural Computation, 17, 2548-2570, 2005
Martinez, D. (2005b) Detailed and abstract phase-locked attractor network models of early olfactory systems,
Biological Cybernetics, Vol. 93, No. 5, pp. 355-365, 2005.
Martinez, D. and Hugues, E. A spiking neural network model of the locust antennal lobe : towards neuromorphic electronic noses inspired from insect olfaction Electronic Noses/Sensors for Detection of Explosives J.W. Gardner and J. Yinon (eds.), Chapter 14, pp. 209-234, Kluwer Academic Publishers, 2004
Martinez, D. and Van Hulle, M.M. Generalized Boundary Adaptation Rule for minimizing r-th
power law distortion in high resolution quantization. Neural Networks, Vol. 8, no. 6, pp. 891-90, 1995.
Martinez, D. and Yang, W. A robust backward adaptive quantizer. IEEE Workshop on Neural Networks for Signal Processing V, Boston (USA), 31 August - 2 Sept. 1995, pp.531-540
Mombaerts, P., Seven-transmembrane proteins as odorant and chemosensory receptors, Science, 286, 707-711, 1999
O'Keefe, J.O., Phase relationship between hippocampal place units and the EEG theta rythm, Hippocampus, 3, 317-330, 1993
Sachse,S. and Galizia,C.G., The coding of odour-intensity in the honeybee antennal lobe: local computation optimizes odour representation, European journal of neuroscience,18, 2119-2132, 2003
Shoushun, C. and Bermak, A., A low power CMOS imager based on time-to-first-spike encoding and fair AER,
Stopfer, M., Bhagavan, S.,  Smith, B.H. and Laurent, G., Impaired odor discrimination on desynchronisation of odor-encoding neural assemblies, Nature, 390, 70-74, 1997
Strausfeld, N.J. and Hildebrand, J.G. Olfactory systems: common design, uncommon origins? Current opinion in Neurobiology , 9,634-639, 1999
Thorpe, S., Fize, D. and Marlot,C., Speed of processing in the human visual system., Nature, 381, 520-522, 1996
Van Rullen, F. and Thorpe, S., Rate coding versus temporal order coding: what the retinal ganglion cells tell the visual cortex, Neural Computation,13, 1255-1283, 2001
Wehr, M. and Laurent, G., Odour encoding by temporal sequences of firing in oscillating neural assemblies, Nature, 384, 162-166, 1996


© INRIA - mise à jour le 27/07/2005