Segmentation d'IRM de cerveaux de nouveau-nés en quelques secondes à l'aide d'un réseau de neurones convolutif pseudo-3D et de transfert d'apprentissage

From LRDE

Abstract

L'imagerie par résonance magnétique (IRM) du cerveau est utilisée sur les nouveau-nés pour évaluer l'évolution du cerveau et diagnostiquer des maladies neurologiques. Ces examens nécessitent souvent une analyse quantitative des différents tissus du cerveau, de sorte qu'avoir une segmentation précise est essentiel. Dans cet article, nous proposons une méthode automatique rapide de segmentation en différents tissus des images IRM 3D de cerveaux de nouveau-nés ; elle utilise un réseau de neurones totalement convolutif (FCN) et du transfert d'apprentissage. Par rapport aux approches similaires qui reposent soit sur des patchs 2D ou 3D, soit sur des FCN totalement 3D, notre méthode est beaucoup plus rapide : elle ne prend que quelques secondes, et une seule modalité (T2) est nécessaire. Afin de prendre les informations 3D en compte, trois coupes 2D successives sont empilées pour former une image 2D en couleurs, dont l'ensemble sur tout le volume sert d'entrée à un FCNpré-entraîné sur ImageNet pour la classification d'images naturelles. Nos expériences sur un ensemble de données de référence montrent que notre méthode obtient des résultats du niveau de ceux de l'état de l'art.

Documents

Method and datasets

Method

Architecture of the proposed network. We fine tune it and combine linearly fine to coarse feature maps of the pre-trained VGG network. The coarsest feature maps are discarded for the adult images.

Xu.17.icip-pepeline.png

Datasets

  • Dataset of the MICCAI challenge of Neonatal Brain Segmentation 2012 (NeoBrainS12)
    • Axial images acquired at 40 weeks: 2 training images + 5 test images
    • Coronal images acquired at 30 weeks: 2 training images + 5 test images
    • Coronal images acquired at 40 weeks: 5 test images
  • Dataset of the MICCAI challenge of MR Brain Image Segmentation (MRBrainS13)
    • Axial images acquired at 70 years: 5 training images + 15 test images

Materials

Trained models

The trained models and corresponding files for training for the proposed method on NeoBrainS12 and MRBrainS13 datasets are available in the following:

  • Training on Axial images at 40 weeks in NeoBrainS12 dataset are available in this archive
  • Training on coronal images at 30 weeks in NeoBrainS12 dataset are available in this archive
  • Training on previous training sets for coronal images at 40 weeks in NeoBrainS12 dataset are available in this archive
  • Training on MRBrainS13 dataset is available in this archive

Segmentation results

The pre-computed segmentation results of the proposed method on NeoBrainS12 and MRBrainS13 datasets are available in the following:

  • Results on Axial images at 40 weeks in NeoBrainS12 dataset are available in this archive
  • Results on coronal images at 30 weeks in NeoBrainS12 dataset are available in this archive
  • Results on coronal images at 40 weeks in NeoBrainS12 dataset are available in this archive
  • Results on MRBrainS13 dataset are available in this archive

Illustrations

Experiments

Leave-One-Subject-Out (LOSO) cross-validation on N images + normal training/test experiments. Note that only one training image is used for LOSO 2. Xu.17.icip-experiments.jpg

LOSO experiments

Quantitative results of LOSO experiments in terms of Dice coefficient as compared to the state-of-the-art results. The last one is from P. Moeskops et al. on the 15 test images in MRBrainS13 dataset.

Xu.17.icip-losoresults.jpg

  • Some results on axial images at 40 weeks in NeoBrainS12 dataset
  • Some results on coronal images at 30 weeks in NeoBrainS12 dataset
  • Some results on axial images of aging adults at 70 ages in MRBrainS13 dataset

Neonatal brain MR image segmentation

  • Results on axial images at 40 weeks in NeoBrainS12 dataset. More details can be found Here

Xu.17.icip-axial40results.jpg

Some result images


  • Results on coronal images at 30 weeks in NeoBrainS12 dataset. More details can be found Here

Xu.17.icip-coronal30results.jpg

Some result images (some small errors inside the red circle)


  • Results on coronal images at 40 weeks in NeoBrainS12 dataset. More details can be found Here

Xu.17.icip-coronal40results.jpg

Some result images (some small errors inside red circles)

Adult brain MR image segmentation

  • Results on aging adult images at 70 years in MRBrainS13 dataset. Only top 10 methods among 38 submitted ones are shown. More results and details can be found Here

Xu.17.icip-adult70results.jpg

Some result images

Bibtex (lrde.bib)

@InProceedings{	  xu.17.gretsi,
  author	= {Yongchao Xu and Thierry G\'eraud and Isabelle Bloch},
  title		= {Segmentation d'{IRM} de cerveaux de nouveau-n\'es en
		  quelques secondes \`a l'aide d'un r\'eseau de neurones
		  convolutif {\it pseudo-{3D}} et de transfert d'apprentissage},
  booktitle	= {Actes du 26e Colloque GRETSI},
  year		= {2017},
  address	= {Juan-les-Pins, France},
  category	= {national},
  month		= sep,
  abstract	= {L'imagerie par r\'esonance magn\'etique (IRM) du cerveau
		  est utilis\'ee sur les nouveau-n\'es pour \'evaluer
		  l'\'evolution du cerveau et diagnostiquer des maladies
		  neurologiques. Ces examens n\'ecessitent souvent une
		  analyse quantitative des diff\'erents tissus du cerveau, de
		  sorte qu'avoir une segmentation pr\'ecise est essentiel.
		  Dans cet article, nous proposons une m\'ethode automatique
		  rapide de segmentation en diff\'erents tissus des images
		  IRM 3D de cerveaux de nouveau-n\'es ; elle utilise un
		  r\'eseau de neurones totalement convolutif (FCN) et du
		  transfert d'apprentissage. Par rapport aux approches
		  similaires qui reposent soit sur des patchs 2D ou 3D, soit
		  sur des FCN totalement 3D, notre m\'ethode est beaucoup
		  plus rapide : elle ne prend que quelques secondes, et une
		  seule modalit\'e (T2) est n\'ecessaire. Afin de prendre les
		  informations 3D en compte, trois coupes 2D successives sont
		  empil\'ees pour former une image 2D en couleurs, dont
		  l'ensemble sur tout le volume sert d'entr\'ee \`a un FCN,
		  pr\'e-entra\^in\'e sur ImageNet pour la classification
		  d'images naturelles. Nos exp\'eriences sur un ensemble de
		  donn\'ees de r\'ef\'erence montrent que notre m\'ethode
		  obtient des r\'esultats du niveau de ceux de l'\'etat de l'art.},
  nodoi		= {}
}