Kevin Tubbs, PhD, Wakil Presiden Kelompok Solusi Strategis di Penguin Computing – Seri Wawancara

Kevin Tubbs, PhD, adalah Wakil Presiden Kelompok Solusi Strategis di Penguin Computing. Penguin Computing merancang solusi akhir-ke-akhir yang agnostik (perangkat keras/perangkat lunak/awan/jasa) untuk memecahkan masalah ilmiah, analitis, dan teknik yang kompleks yang dihadapi perusahaan Fortune 500, startup, lembaga akademik, dan organisasi federal saat ini.

Apa yang awalnya menarik Anda ke bidang ilmu komputer?

Ayah dan ibu saya membelikan saya komputer ketika saya masih sangat muda, dan saya selalu memiliki minat dan bakat untuk komputer dan mengutak-atik. Melalui pendidikan saya, saya secara konsisten tertarik pada bidang STEM dan itu membuat saya ingin terlibat dalam bidang yang lebih diterapkan. Latar belakang saya adalah fisika dan Komputasi Kinerja Tinggi (HPC). Memiliki cinta untuk komputer sejak dini memungkinkan saya untuk terus mempertahankan ilmu komputer di garis depan dari minat lainnya dalam sains, matematika, atau teknik yang saya miliki, yang telah membawa saya ke tempat saya sekarang.

Penguin Computing bekerja sama erat dengan Proyek Komputasi Terbuka (OCP) – apa itu sebenarnya?

Sejak awal gerakan Proyek Komputasi Terbuka (OCP), Penguin Computing telah menjadi pelopor, pendukung, dan kontributor utama dalam upaya membawa manfaat OCP ke Komputasi Kinerja Tinggi (HPC) dan kecerdasan buatan (AI).

Fokus OCP adalah mengumpulkan komunitas global pengembang untuk menciptakan ekosistem teknologi infrastruktur yang direimaginasikan untuk lebih efisien, fleksibel, dan dapat diskalakan. Penguin Computing bergabung dengan OCP karena teknologi terbuka dan gagasan komunitas. Apa yang kami lakukan seiring waktu adalah memastikan bahwa warisan dan teknologi dari HPC tradisional dan tren yang muncul dalam AI dan Analitik dapat diskalakan dengan efisien – Penguin Computing mendorong hal-hal tersebut ke OCP.

Salah satu keuntungan OCP adalah bahwa itu menurunkan biaya total kepemilikan (TCO) – biaya modal yang lebih rendah, berkat penghapusan semua elemen kebanggaan, dan biaya operasional yang lebih rendah karena layanan dari depan, daya yang dibagi, dan perubahan desain lainnya – yang membuat teknologi berbasis OCP ideal untuk skala keluar.

Penguin Computing memiliki beberapa produk OCP, termasuk Platform Skala Ekstrem Tundra Penguin Computing dan Tundra AP. Platform Tundra juga kompatibel dengan beban kerja HPC dan AI.

Tundra AP, generasi terbaru dari platform superkomputer Tundra yang sangat padat, menggabungkan kekuatan pemrosesan Intel (INTC ) Xeon Scalable 9200 series dengan Server Relion XO1122eAP dari Penguin Computing dalam faktor bentuk OCP yang menyediakan kepadatan inti CPU yang tinggi per rak.

Ketika datang ke big data, untuk mengoptimalkan tingkat kinerja pengguna perlu menghilangkan bottleneck yang memperlambat akses mereka ke data. Bagaimana Penguin Computing mendekati masalah ini?

Penguin Computing telah memanfaatkan kemampuan kami untuk menggunakan teknologi terbuka dan bergerak cepat dengan tren saat ini – salah satunya adalah big data atau pertumbuhan data dan beban kerja yang didorong data. Sebagai respons terhadap hal itu, kami telah membangun Kelompok Solusi Strategis kami untuk menangani masalah ini secara langsung.

Dalam menangani masalah ini, kami telah menemukan bahwa sebagian besar beban kerja, bahkan dari komputasi teknis tradisional, semua termotivasi untuk lebih didorong data. Sebagai hasilnya, Penguin Computing merancang solusi akhir-ke-akhir lengkap dengan mencoba memahami beban kerja pengguna. Untuk menciptakan solusi akhir-ke-akhir yang dioptimalkan beban kerja, kami fokus pada lapisan perangkat lunak yang dioptimalkan beban kerja, yang mencakup orkestrasi dan pengiriman beban kerja. Secara esensial, kami perlu memahami bagaimana pengguna akan menggunakan infrastruktur.

Setelah itu, kami mencoba fokus pada infrastruktur komputasi yang dioptimalkan beban kerja. Ada berbagai tingkat data dan tantangan IO yang menempatkan banyak tekanan pada bagian komputasi. Misalnya, beban kerja yang berbeda memerlukan kombinasi yang berbeda dari infrastruktur komputasi yang dipercepat dari CPU, GPU, lebar pita memori, dan jaringan yang memungkinkan data untuk mengalir melalui dan dihitung.

Akhirnya, kami perlu menentukan jenis solusi yang akan memungkinkan kami untuk mengirimkan data tersebut. Kami melihat infrastruktur data yang dioptimalkan beban kerja untuk memahami bagaimana beban kerja berinteraksi dengan data, apa persyaratan kapasitas dan pola IO. Setelah kami memiliki informasi itu, itu membantu kami merancang sistem yang dioptimalkan beban kerja.

Setelah kami memiliki semua informasi, kami menggunakan keahlian internal kami di Penguin Computing untuk merancang dan solusi lengkap. Mengetahui itu dirancang dari perspektif kinerja, kami perlu memahami di mana itu diterapkan (on-premises, cloud, edge, kombinasi dari semua, dll.). Itulah pendekatan Penguin Computing untuk mengirimkan solusi yang dioptimalkan untuk beban kerja yang didorong data.

Apakah Anda bisa membahas pentingnya menggunakan GPU daripada CPU untuk pembelajaran dalam?

Salah satu tren terbesar yang saya lihat terkait pentingnya GPU untuk Pembelajaran Dalam (DL) adalah pergerakan dari menggunakan GPU umum (GPGPU) sebagai bagian paralel perangkat keras yang memungkinkan kami untuk mempercepat jumlah inti komputasi yang dapat kami sediakan untuk memecahkan masalah komputasi paralel. Ini telah berlangsung selama sepuluh tahun terakhir.

Saya berpartisipasi dalam tahap awal pemrograman GPGPU ketika saya di sekolah pascasarjana dan awal karir saya. Saya percaya memiliki lompatan kepadatan komputasi, di mana GPU menyediakan banyak inti komputasi dan analitik yang padat pada perangkat dan memungkinkan kami untuk mendapatkan lebih banyak dalam ruang server dan dapat digunakan kembali untuk mesin komputasi, adalah tren yang sangat penting dalam komunitas HPC dan AI.

Namun, banyak dari itu bergantung pada mengonversi dan mengoptimalkan kode untuk berjalan pada GPU daripada CPU. Ketika kami melakukan semua pekerjaan itu, kami menunggu konsep aplikasi pembunuh – aplikasi atau kasus penggunaan yang benar-benar mengambil alih atau diaktifkan oleh GPU. Untuk komunitas GPGPU, DL adalah aplikasi pembunuh yang menggalang upaya dan pengembangan dalam mempercepat beban kerja HPC dan AI.

Seiring waktu, ada kebangkitan kembali AI dan pembelajaran mesin (ML), dan DL menjadi peran. Kami menyadari bahwa pelatihan jaringan saraf menggunakan DL sebenarnya dipetakan dengan baik ke desain dasar GPU. Saya percaya bahwa sekali kedua hal tersebut bersatu, Anda memiliki kemampuan untuk melakukan DL yang tidak mungkin dilakukan sebelumnya oleh prosesor CPU dan pada akhirnya membatasi kemampuan kami untuk melakukan AI baik dalam skala maupun dalam praktek.

Setelah GPU hadir, itu sebenarnya menghidupkan kembali komunitas penelitian dan pengembangan sekitar AI dan DL karena Anda hanya tidak memiliki tingkat komputasi untuk melakukannya dengan efisien dan itu tidak didemokratisasikan. GPU sebenarnya memungkinkan Anda untuk mengirimkan komputasi yang lebih padat yang pada intinya dirancang dengan baik untuk DL dan membawanya ke tingkat solusi arsitektur perangkat keras yang membuatnya lebih mudah untuk mencapai lebih banyak peneliti dan ilmuwan. Saya percaya bahwa itu adalah salah satu alasan besar GPU lebih baik untuk mempelajari DL.

Apa beberapa solusi komputasi yang dipercepat GPU yang ditawarkan oleh Penguin Computing?

Penguin Computing saat ini fokus pada solusi akhir-ke-akhir yang sedang dikerjakan oleh Kelompok Solusi Strategis kami, terutama dengan Praktik AI dan Analitik Penguin Computing. Dalam praktik ini, kami fokus pada tiga pendekatan tingkat tinggi untuk solusi yang dipercepat GPU.

Pertama, kami menawarkan arsitektur referensi untuk analitik edge, di mana kami mencoba merancang solusi yang sesuai dengan pusat data non-tradisional (di ujung atau dekat ujung). Ini dapat mencakup pusat data edge Teleco, fasilitas ritel, stasiun pompa bensin, dan lain-lain. Ini semua adalah solusi AI berbasis inferensi. Beberapa solusi ditujukan untuk analitik video untuk pelacakan kontak dan pengenalan gerakan untuk menentukan apakah seseorang mencuci tangan atau mengenakan masker. Ini adalah aplikasi solusi lengkap yang mencakup perangkat keras yang dipercepat GPU yang disesuaikan untuk penerapan edge non-tradisional serta tumpukan perangkat lunak untuk memungkinkan peneliti dan pengguna akhir untuk menggunakannya secara efektif.

Kelas solusi Penguin Computing berikutnya dibangun untuk arsitektur referensi pelatihan dan inferensi AI inti dan pusat data. Anda bisa membayangkan duduk di dalam pusat data skala besar atau di cloud (Penguin Computing Cloud) di mana beberapa pelanggan kami melakukan pelatihan skala besar menggunakan ribuan GPU untuk mempercepat DL. Kami melihat bagaimana kami mengirimkan solusi lengkap dan arsitektur referensi yang mendukung semua beban kerja perangkat lunak dan kontainerisasi melalui desain dan tata letak GPU, semua jalan melalui persyaratan infrastruktur data yang mendukungnya.

Kelas arsitektur referensi ketiga dalam praktik ini adalah kombinasi dari dua sebelumnya. Apa yang kami cari dalam keluarga arsitektur referensi ketiga kami adalah bagaimana kami dapat menciptakan kain data dan jalur serta alur kerja untuk memungkinkan pembelajaran berkelanjutan sehingga Anda dapat menjalankan inferensi menggunakan solusi edge yang dipercepat GPU kami, mendorong data ke cloud pribadi atau publik, terus melatihnya, dan ketika model pelatihan baru diperbarui, mendorongnya kembali ke inferensi. Dengan cara ini, kami memiliki siklus iteratif pembelajaran berkelanjutan dan model AI.

Penguin Computing baru-baru ini menerapkan superkomputer baru untuk LLNL dalam kemitraan dengan Intel dan CoolIT. Bisakah Anda memberi tahu kami tentang superkomputer ini dan apa yang dirancang untuk?

Superkomputer Magma, yang diterapkan di LLNL, diperoleh melalui kontrak Sistem Teknologi Komoditas (CTS-1) dengan Administrasi Keamanan Nuklir Nasional (NNSA) dan merupakan salah satu penerapan pertama prosesor Intel Xeon Platinum 9200 series dengan dukungan dari sistem pendingin cair lengkap CoolIT dan interkoneksi Omni-Path.

Dibiayai melalui program Simulasi dan Komputasi Lanjutan (ASC) NNSA, Magma akan mendukung Program Perpanjangan Hidup NNSA dan upaya kritis untuk memastikan keselamatan, keamanan, dan keandalan senjata nuklir nasional dalam ketiadaan pengujian bawah tanah.

Superkomputer Magma adalah sistem HPC yang ditingkatkan dengan kecerdasan buatan dan merupakan platform yang menyatu yang memungkinkan AI untuk mempercepat pemodelan HPC. Magma menduduki peringkat dalam daftar Top500 Juni 2020, memecahkan 100 besar, menduduki peringkat #80.

Di bawah kontrak CTS-1, Penguin Computing telah mengirimkan lebih dari 22 petaflops kemampuan komputasi untuk mendukung program ASC di laboratorium Tri-NNSA dari Lawrence Livermore, Los Alamos, dan Sandia National Laboratories.

Apa beberapa cara Penguin Computing mendukung perjuangan melawan COVID-19?

Pada Juni 2020, Penguin Computing secara resmi bermitra dengan AMD untuk mengirimkan kemampuan HPC kepada peneliti di tiga universitas teratas di AS – Universitas New York (NYU), Institut Teknologi Massachusetts (MIT), dan Universitas Rice – untuk membantu dalam perjuangan melawan COVID-19.

Penguin Computing bermitra langsung dengan Dana HPC COVID-19 AMD untuk menyediakan lembaga penelitian dengan sumber daya komputasi yang signifikan untuk mempercepat penelitian medis pada COVID-19 dan penyakit lainnya. Penguin Computing dan AMD berkolaborasi untuk mengirimkan sejumlah solusi HPC berbasis on-premises dan cloud kepada NYU, MIT, dan Universitas Rice untuk membantu meningkatkan kemampuan penelitian ratusan ilmuwan yang pada akhirnya akan memberikan kontribusi pada pemahaman yang lebih besar tentang virus korona baru.

Didukung oleh prosesor AMD EPYC generasi kedua terbaru dan akselerator GPU Radeon Instinct MI50, sistem yang disumbangkan kepada universitas diharapkan menyediakan lebih dari satu petaflops kinerja komputasi. Empat petaflops tambahan kapasitas komputasi akan tersedia bagi peneliti melalui layanan cloud HPC kami, Penguin Computing On-Demand (POD). Gabungan, sistem yang disumbangkan akan menyediakan peneliti dengan lebih dari tujuh petaflops daya komputasi yang dipercepat GPU yang dapat diterapkan untuk melawan COVID-19.

Universitas penerima diharapkan untuk menggunakan kapasitas komputasi baru di berbagai beban kerja yang terkait dengan pandemi, termasuk genomika, pengembangan vaksin, ilmu transmisi, dan pemodelan.

Apakah ada yang ingin Anda bagikan tentang Penguin Computing?

Lebih dari dua dekade, Penguin Computing telah mengirimkan solusi kustom, inovatif, dan terbuka ke dunia komputasi teknis dan kinerja tinggi. Solusi Penguin Computing memberikan organisasi kemampuan dan kebebasan yang mereka butuhkan untuk memanfaatkan teknologi terbaru dalam lingkungan komputasi mereka. Organisasi dapat fokus sumber daya mereka pada mengirimkan produk dan ide ke pasar dalam waktu yang singkat, bukan pada teknologi yang mendasarinya. Solusi Penguin Computing yang luas untuk AI/ML/Analitik, HPC, DataOps, dan teknologi asli cloud dapat disesuaikan dan dikombinasikan untuk tidak hanya memenuhi kebutuhan saat ini, tetapi juga beradaptasi dengan cepat ke kebutuhan dan perubahan teknologi di masa depan. Layanan Profesional dan Terkelola Penguin Computing membantu dengan mengintegrasikan, menerapkan, dan mengelola solusi. Layanan Hosting Penguin Computing dapat membantu dengan “di mana” dari lingkungan komputasi dengan memberikan organisasi pilihan kepemilikan dan fleksibilitas untuk berjalan on-premises, di cloud publik atau khusus, hosted, atau sebagai layanan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Penguin Computing.