Doug Fuller, Vicepresidente de Ingeniería de Software en Cornelis Networks – Serie de Entrevistas

Como Vicepresidente de Ingeniería de Software, Doug es responsable de todos los aspectos de la pila de software de Cornelis Networks, incluyendo los controladores de la Arquitectura Omni-Path, el software de mensajería y los sistemas de control de dispositivos integrados. Antes de unirse a Cornelis Networks, Doug lideró equipos de ingeniería de software en Red Hat en almacenamiento en la nube y servicios de datos. La carrera de Doug en HPC y computación en la nube comenzó en el Laboratorio de Computación Escalable de Ames National (ATLO ) Laboratory. Después de varios roles en computación de investigación universitaria, Doug se unió al Laboratorio Nacional Oak Ridge del Departamento de Energía de los Estados Unidos en 2009, donde desarrolló e integró nuevas tecnologías en la instalación de computación de liderazgo de Oak Ridge.

Cornelis Networks es un líder tecnológico que ofrece telas de alto rendimiento personalizadas para Computación de Alto Rendimiento (HPC), Análisis de Datos de Alto Rendimiento (HPDA) y Inteligencia Artificial (AI) a organizaciones comerciales, científicas, académicas y gubernamentales líderes.

¿Qué te atrajo inicialmente a la informática?

Simplemente me gustaba trabajar con tecnología. Me gustaba trabajar con los ordenadores mientras crecía; teníamos un módem en nuestra escuela que me permitió probar Internet y me pareció interesante. Como estudiante de primer año en la universidad, conocí a un científico computacional del Departamento de Energía de los Estados Unidos mientras voluntariaba para la National Science Bowl. Me invitó a visitar su laboratorio de HPC y me enganché. He sido un fanático de los superordenadores desde entonces.

Trabajaste en Red Hat desde 2015 hasta 2019, ¿cuáles fueron algunos de los proyectos en los que trabajaste y cuáles fueron tus principales conclusiones de esta experiencia?

Mi proyecto principal en Red Hat fue el almacenamiento distribuido Ceph. Anteriormente, me había centrado exclusivamente en HPC y esto me dio la oportunidad de trabajar en tecnologías críticas para la infraestructura en la nube. Esto rima. Muchos de los principios de escalabilidad, administración y confiabilidad son extremadamente similares, aunque están destinados a resolver problemas ligeramente diferentes. En términos de tecnología, mi conclusión más importante fue que la nube y el HPC tienen mucho que aprender el uno del otro. Estamos construyendo proyectos diferentes con el mismo conjunto de piezas de Lego. Me ha ayudado a entender cómo las tecnologías habilitadoras, incluyendo las telas, pueden influir en las aplicaciones de HPC, nube y AI. También es donde realmente llegué a entender el valor de la fuente abierta y cómo ejecutar la filosofía de desarrollo de software de fuente abierta, de arriba hacia abajo, que traje conmigo a Cornelis Networks. Personalmente, Red Hat fue donde realmente crecí y me desarrollé como líder.

Actualmente eres el Vicepresidente de Ingeniería de Software en Cornelis Networks, ¿cuáles son algunas de tus responsabilidades y cómo es un día típico para ti?

Como Vicepresidente de Ingeniería de Software, soy responsable de todos los aspectos de la pila de software de Cornelis Networks, incluyendo los controladores de la Arquitectura Omni-Path, el software de mensajería, la administración de la tela y los sistemas de control de dispositivos integrados. Cornelis Networks es un lugar emocionante para estar, especialmente en este momento y en este mercado. Debido a eso, no estoy seguro de que tenga un “día típico”. Algunos días trabajo con mi equipo para resolver el último desafío tecnológico. Otros días interactúo con nuestros arquitectos de hardware para asegurarme de que nuestros productos de próxima generación satisfagan las necesidades de nuestros clientes. A menudo estoy en el campo reuniéndome con nuestra increíble comunidad de clientes y colaboradores para asegurarme de que entendemos y anticipamos sus necesidades.

Cornelis Networks ofrece redes de próxima generación para aplicaciones de Computación de Alto Rendimiento y AI, ¿podrías compartir algunos detalles sobre el hardware que se ofrece?

Nuestro hardware consiste en una solución de red de tela conmutada de alto rendimiento. Con este fin, proporcionamos todos los dispositivos necesarios para integrar completamente las telas de HPC, nube y AI. La Interfaz de Host-Tela Omni-Path (HFI) es una tarjeta PCIe de perfil bajo para dispositivos de punto final. También producimos un conmutador de “top-of-rack” de 48 puertos de 1U. Para implementaciones más grandes, hacemos dos conmutadores de “clase de director” completamente integrados; uno que empaqueta 288 puertos en 7U y un dispositivo de 1152 puertos, 20U.

¿Puedes discutir el software que gestiona esta infraestructura y cómo está diseñado para disminuir la latencia?

Primero, nuestra plataforma de administración integrada proporciona una instalación y configuración fáciles, así como acceso a una amplia variedad de métricas de rendimiento y configuración producidas por nuestros ASIC de conmutador.

Nuestro software de controlador se desarrolla como parte del núcleo de Linux. De hecho, enviamos todas nuestras revisiones de software al comunidad del núcleo de Linux directamente. Eso garantiza que todos nuestros clientes disfruten de la máxima compatibilidad en las distribuciones de Linux y una integración fácil con otros software como Lustre. Aunque no está en el camino de la latencia, tener un controlador en el árbol reduce dramáticamente la complejidad de la instalación.

El administrador de tela Omni-Path (FM) configura y enruta una tela Omni-Path. Al optimizar las rutas de tráfico y recuperarse rápidamente de las fallas, el FM proporciona un rendimiento y confiabilidad líderes en la industria en telas de decenas a miles de nodos.

Omni-Path Express (OPX) es nuestro software de mensajería de alto rendimiento, lanzado recientemente en noviembre de 2022. Estaba diseñado específicamente para reducir la latencia en comparación con nuestro software de mensajería anterior. Realizamos simulaciones cíclicas precisas de nuestros caminos de código de envío y recepción para minimizar el recuento de instrucciones y la utilización de la caché. Esto produjo resultados dramáticos: cuando estás en el régimen de microsegundos, cada ciclo cuenta.

También nos integramos con las Interfaz de OpenFabrics (OFI), un estándar abierto producido por la Alianza de OpenFabrics. La arquitectura modular de OFI ayuda a minimizar la latencia al permitir que el software de nivel superior, como MPI, aproveche las características de la tela sin llamadas adicionales a funciones.

La red también está diseñada para aumentar la escalabilidad, ¿podrías compartir algunos detalles sobre cómo logra escalar tan bien?

La escalabilidad es un principio de diseño fundamental de Omni-Path. En los niveles más bajos, utilizamos la tecnología de enlace de Cray para corregir errores de enlace sin impacto en la latencia. Esto afecta a las telas en todas las escalas, pero es particularmente importante para las telas de gran escala, que naturalmente experimentan más errores de enlace. Nuestro administrador de tela se centra tanto en programar tablas de enrutamiento óptimas como en hacerlo de manera rápida. Esto garantiza que el enrutamiento para incluso las telas más grandes se puede completar en un mínimo de tiempo.

La escalabilidad también es un componente crítico de OPX. Minimizar la utilización de la caché mejora la escalabilidad en nodos individuales con grandes recuentos de núcleos. Minimizar la latencia también mejora la escalabilidad al mejorar el tiempo de finalización para los algoritmos colectivos. Utilizar nuestros recursos de interfaz de host-tela de manera más eficiente permite que cada núcleo se comunique con más pares remotos. La elección estratégica de libfabric nos permite aprovechar características de software como puntos finales escalables mediante interfaces estándar.

¿Podrías compartir algunos detalles sobre cómo se incorpora la IA en algunos de los flujos de trabajo en Cornelis Networks?

Todavía no estamos listos para hablar externamente sobre nuestros usos internos y planes para la IA. Dicho esto, nos beneficiamos de nuestra propia comida para perros, así que podemos aprovechar las mejoras de latencia y escalabilidad que hemos realizado en Omni-Path para admitir cargas de trabajo de IA. Esto nos entusiasma aún más para compartir esos beneficios con nuestros clientes y socios. Ciertamente hemos observado que, al igual que en el HPC tradicional, escalar la infraestructura es el único camino hacia adelante, pero el desafío es que el rendimiento de la red se ve fácilmente obstaculizado por Ethernet y otras redes tradicionales.

¿Qué cambios prevés en la industria con el advenimiento de la IA generativa?

En primer lugar, el uso de la IA generativa hará que las personas sean más productivas: ninguna tecnología en la historia ha hecho que los seres humanos sean obsoletos. Cada evolución y revolución tecnológica que hemos tenido, desde la desmotadora de algodón hasta el telar automático, el teléfono, Internet y más allá, han hecho que ciertos trabajos sean más eficientes, pero no hemos trabajado a la humanidad fuera de la existencia.

A través de la aplicación de la IA generativa, creo que las empresas avanzarán tecnológicamente a un ritmo más rápido porque aquellos que dirigen la empresa tendrán más tiempo libre para centrarse en esas mejoras. Por ejemplo, si la IA generativa proporciona un pronóstico más preciso, informes, planificación, etc., las empresas pueden centrarse en la innovación en su campo de especialización.

En particular, siento que la IA hará que cada uno de nosotros sea un experto multidisciplinario. Por ejemplo, como experto en software escalable, entiendo las conexiones entre HPC, grandes datos, nube y aplicaciones de AI que impulsan soluciones como Omni-Path. Equipado con un asistente de IA generativa, puedo profundizar en el significado de las aplicaciones utilizadas por nuestros clientes. No tengo duda de que esto nos ayudará a diseñar hardware y software aún más efectivos para los mercados y clientes a los que servimos.

También prevé una mejora general en la calidad del software. La IA puede funcionar efectivamente como “otro conjunto de ojos” para analizar estáticamente el código y desarrollar ideas sobre errores y problemas de rendimiento. Esto será particularmente interesante a gran escala, donde los problemas de rendimiento pueden ser difíciles de detectar y costosos de reproducir.

Finalmente, espero y creo que la IA generativa ayudará a nuestra industria a formar y capacitar a más profesionales de software sin experiencia previa en IA y HPC. Nuestro campo puede parecer abrumador para muchos y puede tomar tiempo aprender a “pensar en paralelo”. Fundamentalmente, al igual que las máquinas hicieron que fuera más fácil fabricar cosas, la IA generativa hará que sea más fácil considerar y razonar sobre conceptos.

¿Hay algo más que te gustaría compartir sobre tu trabajo o Cornelis Networks en general?

Me gustaría animar a cualquiera con interés en perseguir una carrera en computación, especialmente en HPC y AI. En este campo, estamos equipados con los recursos de computación más poderosos jamás construidos y los traemos a la batalla contra los mayores desafíos de la humanidad. Es un lugar emocionante para estar, y me he disfrutado cada paso del camino. La IA generativa lleva nuestro campo a nuevas alturas, ya que la demanda de capacidad creciente aumenta drásticamente. No puedo esperar para ver adónde vamos a parar.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Cornelis Networks.