Doug Fuller, Wakil Presiden Teknik Perangkat Lunak di Cornelis Networks – Seri Wawancara

Sebagai Wakil Presiden Teknik Perangkat Lunak, Doug bertanggung jawab atas semua aspek tumpukan perangkat lunak Cornelis Networks, termasuk driver Arsitektur Omni-Path, perangkat lunak pesan, dan sistem kontrol perangkat tertanam. Sebelum bergabung dengan Cornelis Networks, Doug memimpin tim teknik perangkat lunak di Red Hat di penyimpanan awan dan layanan data. Karir Doug di HPC dan komputasi awan dimulai di Laboratorium Komputasi Terukur Ames National (ATLO ) Laboratory. Setelah beberapa peran di komputasi penelitian universitas, Doug bergabung dengan Laboratorium Nasional Oak Ridge Departemen Energi AS pada tahun 2009, di mana ia mengembangkan dan mengintegrasikan teknologi baru di Fasilitas Komputasi Kepemimpinan Oak Ridge.

Cornelis Networks adalah pemimpin teknologi yang menghadirkan kain kinerja tinggi yang dirancang khusus untuk Komputasi Kinerja Tinggi (HPC), Analitik Data Kinerja Tinggi (HPDA), dan Kecerdasan Buatan (AI) untuk organisasi komersial, ilmiah, akademik, dan pemerintah terkemuka.

Apa yang awalnya menarik Anda ke ilmu komputer?

Saya hanya tampaknya menikmati bekerja dengan teknologi. Saya menikmati bekerja dengan komputer saat tumbuh dewasa; kami memiliki modem di sekolah kami yang memungkinkan saya mencoba Internet dan saya menemukannya menarik. Sebagai mahasiswa baru, saya bertemu dengan ilmuwan komputasi DOE sementara saya menjadi sukarelawan untuk National Science Bowl. Ia mengundang saya untuk tur laboratorium HPC-nya dan saya langsung tertarik. Saya telah menjadi penggemar superkomputer sejak itu.

Anda bekerja di Red Hat dari 2015 hingga 2019, apa saja proyek yang Anda kerjakan dan apa saja kesan Anda dari pengalaman ini?

Proyek utama saya di Red Hat adalah penyimpanan terdistribusi Ceph. Saya sebelumnya hanya fokus pada HPC dan ini memberi saya kesempatan untuk bekerja pada teknologi yang kritis untuk infrastruktur awan. Ini memiliki kesamaan. Banyak prinsip skalabilitas, keterkelolaan, dan keandalan sangat mirip meskipun mereka bertujuan untuk memecahkan masalah yang sedikit berbeda. Dalam hal teknologi, kesan terpenting saya adalah bahwa awan dan HPC memiliki banyak hal untuk dipelajari dari satu sama lain. Kami semakin membangun proyek yang berbeda dengan set Lego yang sama. Ini sangat membantu saya memahami bagaimana teknologi pengaktif, termasuk kain, dapat memengaruhi aplikasi HPC, awan, dan AI. Ini juga tempat saya benar-benar memahami nilai Sumber Terbuka dan bagaimana melaksanakan filosofi pengembangan perangkat lunak sumber terbuka, yang saya bawa ke Cornelis Networks. Secara pribadi, Red Hat adalah tempat saya benar-benar tumbuh dan matang sebagai pemimpin.

Anda saat ini menjabat sebagai Wakil Presiden Teknik Perangkat Lunak di Cornelis Networks, apa saja tanggung jawab Anda dan bagaimana rata-rata hari Anda?

Sebagai Wakil Presiden Teknik Perangkat Lunak, saya bertanggung jawab atas semua aspek tumpukan perangkat lunak Cornelis Networks, termasuk driver Arsitektur Omni-Path, perangkat lunak pesan, manajemen kain, dan sistem kontrol perangkat tertanam. Cornelis Networks adalah tempat yang menarik untuk berada, terutama pada saat ini dan pasar ini. Karena itu, saya tidak yakin saya memiliki “hari rata-rata”. Beberapa hari saya bekerja dengan tim saya untuk memecahkan tantangan teknologi terbaru. Hari lain saya berinteraksi dengan arsitek perangkat keras kami untuk memastikan produk generasi berikutnya kami akan memuaskan pelanggan kami. Saya sering berada di lapangan bertemu dengan komunitas pelanggan dan kolaborator kami yang luar biasa untuk memastikan kami memahami dan memprediksi kebutuhan mereka.

Cornelis Networks menawarkan jaringan generasi berikutnya untuk Aplikasi Komputasi Kinerja Tinggi dan AI, bisa Anda berbagi beberapa detail tentang perangkat keras yang ditawarkan?

Perangkat keras kami terdiri dari solusi jaringan kain beralih kinerja tinggi. Untuk itu, kami menyediakan semua perangkat yang diperlukan untuk sepenuhnya mengintegrasikan kain HPC, awan, dan AI. Antarmuka Host-Fabric Omni-Path (HFI) adalah kartu PCIe profil rendah untuk perangkat ujung. Kami juga memproduksi switch “top-of-rack” 48-port 1U. Untuk penerapan yang lebih besar, kami membuat dua switch “direktur-kelas” yang sepenuhnya terintegrasi; satu yang memuat 288 port dalam 7U dan perangkat 1152-port, 20U.

Bisakah Anda membahas perangkat lunak yang mengelola infrastruktur ini dan bagaimana itu dirancang untuk mengurangi latensi?

Pertama, platform manajemen tertanam kami menyediakan instalasi dan konfigurasi yang mudah serta akses ke berbagai metrik kinerja dan konfigurasi yang dihasilkan oleh ASIC switch kami.

Perangkat lunak driver kami dikembangkan sebagai bagian dari kernel Linux. Faktanya, kami mengirimkan semua patch perangkat lunak kami ke komunitas kernel Linux secara langsung. Ini memastikan bahwa semua pelanggan kami menikmati kompatibilitas maksimum di seluruh distribusi Linux dan integrasi mudah dengan perangkat lunak lain seperti Lustre. Meskipun tidak berada di jalur latensi, memiliki driver dalam pohon secara dramatis mengurangi kompleksitas instalasi.

Pengelola kain Omni-Path (FM) mengkonfigurasi dan merutekan kain Omni-Path. Dengan mengoptimalkan rute lalu lintas dan pulih dengan cepat dari kesalahan, FM menyediakan kinerja dan keandalan industri terkemuka pada kain dari puluhan hingga ribuan node.

Omni-Path Express (OPX) adalah perangkat lunak pesan kinerja tinggi kami, yang baru saja dirilis pada November 2022. Ini dirancang khusus untuk mengurangi latensi dibandingkan dengan perangkat lunak pesan sebelumnya. Kami menjalankan simulasi akurat-siklus dari jalur kode kirim dan terima kami untuk meminimalkan hitungan instruksi dan utilitas cache. Ini menghasilkan hasil dramatis: ketika Anda berada di regime mikrodetik, setiap siklus sangat penting!

Kami juga mengintegrasikan dengan Antarmuka OpenFabrics (OFI), standar terbuka yang diproduksi oleh Aliansi OpenFabrics. Arsitektur modular OFI membantu meminimalkan latensi dengan memungkinkan perangkat lunak tingkat lebih tinggi, seperti MPI, untuk memanfaatkan fitur kain tanpa panggilan fungsi tambahan.

Jaringan seluruhnya juga dirancang untuk meningkatkan skalabilitas, bisa Anda berbagi beberapa detail tentang bagaimana itu dapat menskalakan dengan baik?

Skalabilitas ada di inti prinsip desain Omni-Path. Pada tingkat terendah, kami menggunakan teknologi lapisan tautan Cray untuk memperbaiki kesalahan tautan tanpa dampak latensi. Ini memengaruhi kain pada semua skala, tetapi terutama penting untuk kain skala besar, yang secara alami mengalami lebih banyak kesalahan tautan. Pengelola kain kami fokus pada pemrograman tabel rute optimal dan melakukan hal itu dengan cepat. Ini memastikan bahwa rute untuk bahkan kain terbesar dapat diselesaikan dalam waktu minimum.

Skalabilitas juga merupakan komponen kritis dari OPX. Meminimalkan utilitas cache meningkatkan skalabilitas pada node individu dengan hitungan inti besar. Meminimalkan latensi juga meningkatkan skalabilitas dengan memperbaiki waktu penyelesaian untuk algoritma kolektif. Menggunakan sumber daya antarmuka host-kain kami lebih efisien memungkinkan setiap inti untuk berkomunikasi dengan lebih banyak rekan jauh. Pilihan strategis libfabric memungkinkan kami untuk memanfaatkan fitur perangkat lunak seperti titik akhir yang dapat diskalakan menggunakan antarmuka standar.

Bisakah Anda berbagi beberapa detail tentang bagaimana AI diintegrasikan ke dalam beberapa alur kerja di Cornelis Networks?

Kami belum siap untuk berbicara secara eksternal tentang penggunaan dan rencana internal kami untuk AI. Namun, kami memang “makan makanan anjing kami sendiri”, jadi kami dapat memanfaatkan peningkatan latensi dan skalabilitas yang kami buat untuk Omni-Path untuk mendukung beban kerja AI. Ini membuat kami semakin bersemangat untuk membagikan manfaat tersebut kepada pelanggan dan mitra kami. Kami telah memanggil bahwa, seperti dalam HPC tradisional, menskalakan infrastruktur adalah satu-satunya jalur ke depan, tetapi tantangannya adalah bahwa kinerja jaringan dapat dengan mudah terhambat oleh Ethernet dan jaringan tradisional lainnya.

Apa saja perubahan yang Anda ramalkan dalam industri dengan munculnya AI generatif?

Pertama-tama, penggunaan AI generatif akan membuat orang lebih produktif – tidak ada teknologi dalam sejarah yang membuat manusia usang. Setiap evolusi dan revolusi teknologi yang kita miliki dari mesin pemintal katun hingga mesin pintal otomatis hingga telepon, internet, dan seterusnya telah membuat pekerjaan tertentu lebih efisien, tetapi kita belum menghilangkan keberadaan manusia.

Melalui penerapan AI generatif, saya percaya perusahaan akan maju secara teknologi dengan kecepatan yang lebih cepat karena mereka yang menjalankan perusahaan akan memiliki lebih banyak waktu luang untuk fokus pada kemajuan tersebut. Misalnya, jika AI generatif menyediakan peramalan, pelaporan, perencanaan, dll. yang lebih akurat – perusahaan dapat fokus pada inovasi di bidang keahlian mereka

Saya secara khusus merasa bahwa AI akan membuat setiap dari kita menjadi ahli multidisiplin. Sebagai contoh, sebagai ahli perangkat lunak yang dapat diskalakan, saya memahami koneksi antara HPC, data besar, awan, dan aplikasi AI yang mendorong mereka menuju solusi seperti Omni-Path. Dengan asisten AI generatif, saya dapat lebih dalam memahami makna aplikasi yang digunakan oleh pelanggan kami. Saya tidak ragu bahwa ini akan membantu kami merancang perangkat keras dan perangkat lunak yang lebih efektif untuk pasar dan pelanggan yang kami layani.

Saya juga memprediksi perbaikan keseluruhan dalam kualitas perangkat lunak. AI dapat secara efektif berfungsi sebagai “pasangan mata” untuk menganalisis kode secara statis dan mengembangkan wawasan tentang bug dan masalah kinerja. Ini akan sangat menarik pada skala besar di mana masalah kinerja dapat sangat sulit ditemukan dan mahal untuk direproduksi.

Akhirnya, saya berharap dan percaya bahwa AI generatif akan membantu industri kami untuk melatih dan memasukkan lebih banyak profesional perangkat lunak tanpa pengalaman sebelumnya di AI dan HPC. Bidang kami dapat tampak menakutkan bagi banyak orang dan dapat memakan waktu untuk belajar “berpikir secara paralel”. Secara fundamental, sama seperti mesin membuatnya lebih mudah untuk memproduksi hal-hal, AI generatif akan membuatnya lebih mudah untuk mempertimbangkan dan memahami konsep.

Apakah ada yang lain yang Anda ingin bagikan tentang pekerjaan Anda atau Cornelis Networks secara umum?

Saya ingin mendorong siapa saja dengan minat untuk mengejar karir di komputasi, terutama di HPC dan AI. Di bidang ini, kami dilengkapi dengan sumber daya komputasi paling kuat yang pernah dibangun dan kami membawanya untuk melawan tantangan terbesar manusia. Ini adalah tempat yang menarik untuk berada, dan saya telah menikmati setiap langkahnya. AI generatif membawa bidang kami ke ketinggian baru karena permintaan kemampuan yang meningkat meningkat secara dramatis. Saya tidak sabar untuk melihat ke mana kita akan pergi selanjutnya.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Cornelis Networks.