Hasta ahora, la aplicación de transporte compartido Uber el crecimiento ha sido extraordinario en todo el mundo, soportando alrededor de 14 millones de viajes cada día. Hasta ahora, la empresa no ha discutido en público la arquitectura de su coche autónomo. Por primera vez, Uber ha revelado el funcionamiento interno con gran detalle, las complejidades del desarrollo del automóvil autónomo en general y mucho más.
VerCD: ¡Herramienta para admitir el flujo de trabajo de ML!
Debido a varias dependencias profundas y la complejidad del desarrollo de los modelos de ML, la empresa ha creado VerCD, un conjunto de herramientas y microservicios para respaldar nuestro flujo de trabajo de ML.
Según afirma la empresa, VerCD permite que el team para usar automatizado entrega continua (CD) para rastrear y administrar dependencias con versiones de artefactos ML.
Uber en una publicación de blog:
“ML teamEl desarrollo de modelos a escala puede encontrar que las prácticas y herramientas presentadas aquí como nuestro ciclo de vida del modelo de cinco pasos y VerCD, desarrollado en Uber ATG para vehículos autónomos, pueden aplicarse a varios casos de uso, ayudándolos a iterar en su infraestructura”.
Según la empresa, la mayor parte de los esfuerzos de ingeniería se ha dedicado a agregar integraciones específicas de la empresa para permitir que los orquestadores existentes interactúen con el conjunto heterogéneo de sistemas a lo largo del flujo de trabajo completo de ML de extremo a extremo. Realiza un seguimiento de todas las dependencias de cada componente de ML, que a menudo incluye datos y artefactos de modelos además del código.
¡Registros recopilados de los autos sin conductor de ATG!
Los vastos conjuntos de datos que administra VerCD provienen de los registros recopilados por los ATG. coches de auto-conducción, e incluye imágenes de cámaras, información de radar y puntos lidar, estado del vehículo y datos de mapas. Todos estos se dividen en datos de capacitación y datos de validación, donde el 15% se destina a pruebas, el 75% a capacitación y el 10% a validación.
Se utiliza una herramienta llamada GeoSplit para seleccionar registros y dividirlos entre entrenamiento, prueba y validación según su ubicación geográfica. “Una vez que hemos dividido los datos, los extraemos de nuestros registros de generación de datos utilizando petarda, la biblioteca de acceso a datos de código abierto de Uber ATG para el aprendizaje profundo”.
¡Utiliza un enfoque híbrido para los recursos informáticos de ML!
Tras el registro de usuario de un nuevo conjunto de datos, el Servicio de conjunto de datos de VerCD almacena los metadatos de dependencia en nuestra base de datos. Los conjuntos de datos se identifican por número de versión y nombre junto con las dependencias rastreadas por VerCD, lo que permite la replicación exacta de las identificaciones de registro de sensores de vehículos autónomos, metadatos que describen el ciclo de vida del conjunto de datos y más.
Además, Uber ATG utiliza un enfoque híbrido para los recursos informáticos de ML, con capacitación jobs ejecutándose en las instalaciones data centers impulsado por GPU y clústeres de CPU, así como también ejecutar entrenamiento jobs en las nubes. paquete, un programador de recursos unificados de código abierto desarrollado por Uber, se utiliza para organizar la capacitación jobs utilizando en las instalaciones data centers con GPU.
“Nuestro proceso de ciclo de vida del modelo de ML y las herramientas que hemos creado para simplificarlo, como VerCD, nos ayudan a administrar los diferentes modelos que usamos y a iterar sobre los modelos más rápido. Estas prácticas y soluciones surgieron de nuestra necesidad de trabajar de manera eficiente mientras desarrollamos un sistema preciso de vehículos autónomos”.
¡Adelante!
“Hemos podido progresar mucho al establecer las diversas etapas del flujo de trabajo en el desarrollo de ML y, a su vez, desarrollar los sistemas de soporte como VerCD para administrar la mayor complejidad del flujo de trabajo de ML. A medida que nuestra tecnología continúa madurando y aumentando en complejidad y sofisticación, confiar en la intervención humana manual para administrar las etapas del flujo de trabajo de ML se vuelve cada vez más inviable. Estas herramientas permiten a los ingenieros realizar iteraciones más rápidas de los componentes de ML, lo que lleva a un mayor rendimiento de nuestros vehículos autónomos”.
Créditos de la imagen de la imagen principal: Uber
Estén atentos a Silicon Canals por más tecnología europea news.