magicplan-AI, eine Reise in die wunderbare Welt des Deep Learning (Teil 3/3)

Frühere Arbeiten ermöglichten es, ein "ausreichend gutes" Modell zur Objekterkennung von Türen / Fenstern zu entwerfen und zu trainieren. Allerdings kann diese Architektur selbst für den Inferenzteil nur auf leistungsstarken NVIDIA-GPUs ausgeführt werden. Sie ist mit den begrenzten Hardware-Ressourcen von Smartphones, sowohl hinsichtlich der Speicheranforderungen als auch der Verarbeitungszeit, nicht kompatibel. Das ist ein großes Problem, das uns eine Weile festhielt.

Der Remote-Ansatz

Zunächst bestand die überlegte Lösung darin, die GPU-Berechnungen in die Cloud auszulagern.

Remote-GPU-basierte Lösung

Der Hauptvorteil dieses Ansatzes besteht darin, dass der Server über den erforderlichen GPU-Speicher und die Rechenleistung verfügt, um das Modell ordnungsgemäß auszuführen. Daher ist diese Lösung ab dem ersten Tag verfügbar.

Allerdings machten 3 Faktoren diesen Ansatz problematisch:

1. magicplan ist so konzipiert, dass es sowohl online als auch offline betrieben werden kann. Sich auf eine Remote-Verbindung für die Erkennung von Fenstern / Türen zu verlassen, würde dieses Paradigma verändern,

2. die Upload- und Download-Dauer erzeugt eine unerwünschte und unvorhersehbare Verzögerung, die während einer Echtzeit-Aufnahmesitzung wirklich ärgerlich sein kann,

3. es gab eine Unsicherheit in den Kosten für den Einsatz von GPU-Servern in der Cloud, um mit der potenziellen Nachfrage zu skalieren, sobald sie in Produktion gehen.

Dennoch war der Ansatz sehr nützlich, um lokal in einem privaten Netzwerk und unter realen Aufnahmebedingungen die Zuverlässigkeit des Modells zu "simulieren" und zu validieren, dass die Benutzererfahrung akzeptabel war. Letztendlich ermöglichte die Kombination von 3 Lösungen, diese kritische Barriere zu überwinden:

1. Anwenden eines Quantisierungsansatzes zur Reduzierung des Speicherbedarfs durch Senkung der Gleitkommapräzision,

2. Anwenden des Lehrer-/Schüler-Ansatzes auf unser Modell, um es auf eine akzeptable Speicherkapazität zu "stutzen", während die gleiche Erkennungsgenauigkeit beibehalten wird,

3. Teile des Modells von dem TensorFlow-Standard-Framework auf das Apple CoreML-beschleunigte Framework zu verschieben, um die Rechenleistung auf dem Smartphone zu optimieren.

   
   

Anwenden des Quantisierungsansatzes

Quantisierung ist die Idee, von Gleitkomma- zu Ganzzahl-Arithmetik überzugehen, wodurch Speicher- und Rechenzeit gespart wird. Dies war ein schneller Erfolg, da TensorFlow einige Werkzeuge bietet, um ein gegebenes Modell sehr einfach zu quantisieren.

Mehr zu diesem Thema: Zhouhan Lin, Matthieu Courbariaux, Roland Memisevic und Yoshua Bengio. Neuronale Netze mit wenigen Multiplikationen. CoRR, abs/1510.03009, 2015.

Anwenden des Lehrer-/Schüler-Ansatzes

Wir müssen dem MILA-Labor danken, mit dem wir in einer von IRAP geförderten Initiative zusammengearbeitet haben, da sie uns diesen Ansatz empfohlen haben, um das Modell zu verkleinern, und es hat funktioniert! Es war entscheidend, die Expertise von MILA zu haben, die uns bei dieser Lösung geleitet hat, eine Lösung, die wir wahrscheinlich sonst nicht in Betracht gezogen hätten.

Dieser fortschrittliche Ansatz ist ziemlich faszinierend. Kurz gesagt, er beruht auf der Idee, dass kleine Modelle während des Trainingsprozesses schlechter generalisieren als große Modelle. Um also ein gutes Training für ein kleines Modell zu haben, hilft es, ein großes Modell Wissen aus seinen internen Schichten in einige interne Schichten des kleinen Modells "destillieren" zu lassen.

Lehrer — Schüler-Implementierung

Mehr zu diesem Thema:

• Geoffrey Hinton, Oriol Vinyals und Jeff Dean. Das Wissen in einem neuronalen Netzwerk destillieren. In NIPS Workshop, 2014.

• Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta und Yoshua Bengio. Fitnets: Hinweise für dünne tiefe Netze. In ICLR, 2015.

Wechsel zum Apple CoreML GPU-beschleunigten Framework

Während Deep-Learning-Frameworks auf PC mit GPU-Beschleunigung ziemlich ausgereift sind, ist dies nicht der Fall, wenn es darum geht, diese Frameworks auf iOS oder Android zu portieren:

• Integrierte Versionen der Hauptframeworks (wie TensorFlow Mobile) befinden sich noch in den frühen Phasen und nutzen die HW des Smartphones nicht vollständig aus.

• Auf der anderen Seite gibt es Apple CoreM. CoreML ist das offizielle Apple Machine Learning-Framework für iOS, optimiert für die Leistung auf dem Gerät. Leider deckt es heutzutage nur eine begrenzte Teilmenge von Berechnungsoperationen ab, die in TensorFlow implementiert sind.

• Darüber hinaus gibt es immer noch kein standardisiertes Interoperabilitätsformat, das es ermöglicht, ein Modell einfach von einem Framework in ein anderes bis zur eingebetteten Implementierung zu portieren, auch wenn Initiativen wie ONNX oder NNEF ihren Weg finden.

Infolgedessen ist der einzige Weg, um das Beste auf iOS herauszuholen, das vollständige Diagramm manuell in mehrere Teile zu refaktorisieren, um den relevanten Teilgraphen einfach zu CoreML zu portieren. Nach all diesen Operationen hat das resultierende SSD-Modell die Leistung des besten R-CNN-Modells, das auf großen GPUs validiert wurde, während es 14 MB groß ist und eine Inferenz von 250 ms auf dem iPhone X durchführt. Eine beeindruckende Leistung!