magicplan-AI, un voyage dans le merveilleux monde de l'apprentissage profond (Partie 3/3)

Le travail précédent a permis de concevoir et de former un modèle de détection d'objets de porte / fenêtre « suffisamment bon ». Cependant, même pour la partie d'inférence, cette architecture ne peut fonctionner que sur un puissant GPU NVIDIA. Elle est incompatible avec les ressources matérielles limitées des smartphones, tant en termes d'exigences de mémoire que de temps de traitement. C'est un énorme problème qui nous a bloqués pendant un certain temps.

L'approche à distance

Au départ, la solution envisagée était de décharger le calcul GPU sur le cloud.

Solution basée sur un GPU distant

Le principal avantage de cette approche est que le serveur dispose de la mémoire GPU requise et de la puissance de calcul pour faire fonctionner correctement le modèle. Ainsi, cette solution est disponible dès le premier jour.

Cependant, 3 facteurs ont rendu cette approche problématique :

1. magicplan est conçu pour fonctionner à la fois en ligne et hors ligne. Compter sur une connexion à distance pour la détection des fenêtres / portes changerait ce paradigme,

2. les durées de téléchargement et de téléchargement créent un décalage indésirable et imprévisible qui peut être vraiment ennuyeux pendant la session de capture en temps réel,

3. il y avait une incertitude quant au coût de déploiement des serveurs GPU sur le cloud pour évoluer avec la demande potentielle, une fois en production.

Néanmoins, l'approche a été très utile pour « simuler », localement sur un réseau privé et dans des conditions de capture réelles, la fiabilité du modèle et valider que l'expérience utilisateur était acceptable.  Finalement, la combinaison de 3 solutions nous a permis de surmonter cette barrière critique :

1. Appliquer une approche de quantification pour réduire l'empreinte mémoire en abaissant la précision flottante,

2. Appliquer l'approche Enseignant / Étudiant à notre modèle pour le « réduire » à une taille de mémoire acceptable, tout en conservant la même précision de détection,

3. Déplacer une partie du modèle du cadre standard TensorFlow vers le cadre accéléré Apple CoreML pour optimiser les performances de calcul sur le smartphone.

   
   

Appliquer une approche de quantification

La quantification est l'idée de passer de l'arithmétique à virgule flottante à l'arithmétique entière, économisant ainsi en mémoire et en temps de calcul. C'était un gain rapide car TensorFlow offre des outils pour revisiter un modèle donné et effectuer la quantification très facilement.

Plus sur le sujet : Zhouhan Lin, Matthieu Courbariaux, Roland Memisevic et Yoshua Bengio. Réseaux neuronaux avec peu de multiplications. CoRR, abs/1510.03009, 2015.

Appliquer l'approche Enseignant / Étudiant

Nous devons remercier le laboratoire MILA avec lequel nous avons collaboré dans une initiative financée par IRAP car ils nous ont recommandé cette approche comme moyen de réduire le modèle et cela a fonctionné ! Il était essentiel d'avoir l'expertise de MILA pour nous guider sur cette solution, une solution que nous n'aurions probablement pas envisagée autrement.

Cette approche avancée est assez fascinante. Pour faire court, elle repose sur l'idée que les petits modèles sont moins performants en général qu'un grand modèle durant la procédure d'entraînement. Donc, afin d'avoir une bonne formation pour un petit modèle, il est utile d'avoir un grand modèle « distillant » des connaissances de ses couches internes dans certaines couches internes du petit modèle.

Implémentation Enseignant — Étudiant

Plus sur le sujet :

• Geoffrey Hinton, Oriol Vinyals et Jeff Dean. Distillation des connaissances dans un réseau neuronal. Dans NIPS Workshop, 2014.

• Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta et Yoshua Bengio. Fitnets : Indices pour les réseaux profonds minces. Dans ICLR, 2015.

Passage au cadre accéléré GPU Apple CoreML

Alors que les cadres d'apprentissage profond sur PC avec accélération GPU sont assez matures, ce n'est pas le cas en ce qui concerne le portage de ces cadres sur iOS ou Android :

• Les versions intégrées des principaux cadres (comme TensorFlow Mobile) en sont encore à leurs débuts et ne tirent pas pleinement parti du matériel des smartphones.

• D'un autre côté, il y a Apple CoreM. CoreML est le cadre officiel d'apprentissage machine d'Apple pour iOS, optimisé pour les performances sur appareil. Malheureusement, de nos jours, il ne couvre qu'un sous-ensemble limité de nœuds de calcul implémentés dans TensorFlow.

• De plus, il n'existe toujours pas de format d'interopérabilité standard permettant de porter facilement un modèle d'un cadre à un autre jusqu'à l'implémentation intégrée, même si des initiatives comme ONNX ou NNEF se frayent un chemin.

En conséquence, la seule façon d'obtenir le meilleur sur iOS est de refactoriser manuellement l'ensemble du graphe en plusieurs parties pour pouvoir facilement porter le sous-graphe pertinent vers CoreML. Après toutes ces opérations, le modèle SSD résultant a la performance du meilleur modèle R-CNN validé sur un grand GPU tout en occupant 14 Mo et en effectuant une inférence en 250 ms sur l'iPhone X. Quel exploit !