Bisher die Ride-Hailing-App Ubers Das Wachstum war weltweit außergewöhnlich und unterstützt täglich rund 14 Millionen Fahrten. Bisher hat das Unternehmen die Architektur seines autonomen Autos nicht öffentlich diskutiert. Zum ersten Mal hat Uber das Innenleben im Detail, die Komplexität der Entwicklung des selbstfahrenden Autos im Allgemeinen und vieles mehr offengelegt.
VerCD – Tool zur Unterstützung des ML-Workflows!
Aufgrund mehrerer tiefgreifender Abhängigkeiten und der Entwicklungskomplexität von ML-Modellen hat das Unternehmen VerCD entwickelt, eine Reihe von Tools und Microservices zur Unterstützung unseres ML-Workflows.
Nach Angaben des Unternehmens erlaubt VerCD dies team automatisiert zu nutzen kontinuierliche lieferung (CD) zum Verfolgen und Verwalten versionierter Abhängigkeiten von ML-Artefakten.
Uber in einem Blogbeitrag:
„ML teamBei der Entwicklung maßstabsgetreuer Modelle werden wir möglicherweise feststellen, dass die hier vorgestellten Praktiken und Tools als unser fünfstufiger Modelllebenszyklus und VerCD, das bei Uber ATG für selbstfahrende Fahrzeuge entwickelt wurde, auf mehrere Anwendungsfälle angewendet werden können und ihnen dabei helfen, ihre Infrastruktur zu iterieren.“
Nach Angaben des Unternehmens wurde der Großteil der technischen Anstrengungen darauf verwendet, unternehmensspezifische Integrationen hinzuzufügen, um bestehende Orchestratoren in die Lage zu versetzen, während des gesamten End-to-End-ML-Workflows mit den heterogenen Systemen zu interagieren. Es verfolgt alle Abhängigkeiten jeder ML-Komponente, die neben Code häufig auch Daten und Modellartefakte umfasst.
Von den selbstfahrenden Autos von ATG gesammelte Protokolle!
Die riesigen Datensätze, die VerCD verwaltet, stammen aus Protokollen, die von den ATGs gesammelt wurden selbstfahrenden Autos, und es umfasst Bilder von Kameras, Lidar-Punkt- und Radarinformationen, Fahrzeugzustand und Kartendaten. Diese sind alle in Trainingsdaten und Validierungsdaten unterteilt, wobei 15 % für Tests, 75 % für Training und 10 % für Validierung verwendet werden.
Ein Tool namens GeoSplit wird verwendet, um Protokolle auszuwählen und sie basierend auf ihrem geografischen Standort zwischen Training, Test und Validierung aufzuteilen. „Sobald wir die Daten aufgeteilt haben, extrahieren wir sie mithilfe von aus unseren Datengenerierungsprotokollen Petasturm, die Open-Source-Datenzugriffsbibliothek von Uber ATG für Deep Learning.“
Verwendet einen hybriden Ansatz für ML-Computing-Ressourcen!
Bei der Benutzerregistrierung eines neuen Datensatzes speichert der VerCD-Datensatzdienst die Abhängigkeitsmetadaten in unserer Datenbank. Die Datensätze werden anhand der Versionsnummer und des Namens sowie der von VerCD verfolgten Abhängigkeiten identifiziert, was die exakte Replikation von Sensorprotokoll-IDs von autonomen Fahrzeugen, Metadaten, die den Lebenszyklus des Datensatzes beschreiben, und mehr ermöglicht.
Darüber hinaus verwendet Uber ATG einen hybriden Ansatz für ML-Computing-Ressourcen mit Schulung jobs läuft vor Ort data centerUnterstützt wird es durch GPU- und CPU-Cluster sowie Lauftraining jobs in der Wolke. Peloton, ein von Uber entwickelter einheitlicher Open-Source-Ressourcenplaner, wird zur Orchestrierung von Schulungen verwendet jobs Nutzung vor Ort data centers mit GPUs.
„Unser ML-Modelllebenszyklusprozess und die Tools, die wir zu seiner Optimierung entwickelt haben, wie z. B. VerCD, helfen uns, die vielen verschiedenen Modelle, die wir verwenden, zu verwalten und Modelle schneller zu iterieren. Diese Praktiken und Lösungen sind aus unserem Bedürfnis entstanden, effizient zu arbeiten und gleichzeitig ein präzises selbstfahrendes Fahrzeugsystem zu entwickeln.“
Weiter geht es!
„Wir konnten große Fortschritte erzielen, indem wir die verschiedenen Workflow-Stufen in der ML-Entwicklung etablierten und im Gegenzug unterstützende Systeme wie VerCD entwickelten, um die zunehmende Komplexität des ML-Workflows zu bewältigen. Da unsere Technologie immer ausgereifter wird und immer komplexer und ausgefeilter wird, wird es zunehmend unmöglich, sich bei der Verwaltung der ML-Workflow-Phasen auf manuelles, menschliches Eingreifen zu verlassen. Diese Tools ermöglichen es Ingenieuren, schnellere Iterationen von ML-Komponenten durchzuführen, was zu einer höheren Leistung unserer selbstfahrenden Fahrzeuge führt.“
Bildnachweis Hauptbild: Uber
Bleib dran Silicon Canals für mehr europäische Technologie news.