Darrick Horton, COO of TensorWave – Interview Series

Darrick Horton, COO of TensorWave, adalah eksekutif teknologi dan wirausaha dengan pengalaman mendalam di infrastruktur AI, komputasi awan, dan sistem perangkat keras canggih. Dengan latar belakang yang mencakup arsitektur pusat data, teknologi semikonduktor, dan komputasi kinerja tinggi, ia telah memainkan peran sentral dalam menskala platform komputasi AI generasi berikutnya. Sebelum memimpin TensorWave, Horton bekerja pada inisiatif rekayasa canggih termasuk penelitian fusi nuklir di Lockheed Martin’s Skunk Works dan berkontribusi pada proyek fisika plasma dan astrofisika yang didanai NASA. Karirnya mencerminkan fokus konsisten pada memecahkan tantangan teknis kompleks dan besar, dan menerjemahkannya menjadi solusi infrastruktur praktis untuk teknologi yang muncul.

TensorWave adalah perusahaan infrastruktur AI yang fokus pada pengiriman komputasi awan kinerja tinggi yang ditenagai oleh GPU AMD, memposisikan diri sebagai alternatif dari ekosistem AI yang lebih tertutup. Didirikan pada tahun 2023 dan berkantor pusat di Las Vegas, perusahaan ini membangun klaster GPU skala besar yang dioptimalkan untuk pelatihan dan penerapan model AI canggih, dengan penekanan pada kinerja, fleksibilitas, dan efisiensi biaya. Dengan memanfaatkan ekosistem perangkat keras dan perangkat lunak yang terbuka, TensorWave bertujuan untuk memperluas akses ke sumber daya komputasi AI yang kuat untuk perusahaan, peneliti, dan pengembang, memungkinkan beban kerja AI yang dapat diskalakan tanpa keterbatasan vendor lock-in.

Nvidia mendominasi sebagian besar pasar GPU—mengapa Anda memutuskan untuk fokus pada AMD, dan apa kelebihan yang diberikan oleh pilihan ini kepada TensorWave dan pelanggannya?

Setelah peluncuran ChatGPT, permintaan AI melonjak. GPU cepat terjual, dan NVIDIA hampir menjadi satu-satunya pilihan jika Anda bisa mendapatkannya, dan jika Anda bisa menangani biayanya. Kekurangan itu memicu minat besar pada alternatif. Sekarang bahwa kita telah melewati histeria awal, ada kesempatan nyata untuk menantang dominasi Nvidia dengan solusi yang dapat diakses, efisien biaya, dan mudah digunakan.

Sebagai startup, kita selalu membuat keputusan bisnis dengan fokus yang kuat dan tujuan. Itulah mengapa kita tidak bereksperimen dengan Nvidia, dan kita terus membangun kemampuan kita di AMD. Fase berikutnya dari perusahaan kita adalah tentang memanfaatkan kemampuan yang terfokus ini sehingga siapa saja dapat melompat dan melakukan sesuatu yang bermakna dengan AI. AMD adalah alternatif yang kredibel dengan skala manufaktur nyata, postur perangkat lunak yang terbuka, dan peta jalan memori untuk AI modern.

Bagaimana pendekatan TensorWave terhadap infrastruktur AI berbeda dari penyedia cloud GPU tradisional?

Perbedaan kita adalah sederhana: kita adalah cloud AMD eksklusif skala besar, yang bertujuan untuk mengembalikan pilihan dalam komputasi AI, memecahkan dominasi Nvidia, dan mendemokratisasi akses. Tapi itu juga tentang etos dan komitmen kita untuk membawa alternatif yang sebenarnya ke pasar. Pertama dan terutama, kita ingin mengirimkan infrastruktur AMD yang luar biasa di skala besar. Dari sana, kita akan memperluas ke layanan teratas di atasnya– Model-as-a-Service, AI-as-a-Service, membuat semuanya lebih sederhana.

Sebagai cloud AMD eksklusif, kita memiliki pengalaman perangkat lunak yang dibangun khusus untuk AMD sejak hari pertama. Fokus ini memungkinkan kita untuk mengoptimalkan silikon, jaringan, dan perangkat lunak dari ujung ke ujung, memastikan bahwa tim dapat menskala ketika mereka membutuhkannya.

Apa peran kemitraan strategis dengan AMD dalam pertumbuhan dan diferensiasi TensorWave?

Ini adalah fondasi. AMD berinvestasi di TensorWave, mengundang kita ke peluncuran MI300X Instinct, dan kita terus berkolaborasi erat pada perangkat keras, pengaktifan perangkat lunak, dan pertumbuhan ekosistem. Sebagai cloud AMD eksklusif, kita dapat bergerak cepat dengan setiap generasi Instinct, dan berfungsi sebagai laboratorium hidup yang menyediakan, dalam skala besar, alternatif dalam pasar kita. Diferensiasi AMD-eksklusif kita telah memungkinkan kita untuk bekerja pada kecepatan yang tidak dapat dicapai di pasar infrastruktur AI. Kemitraan mereka memungkinkan kita untuk menutup kesenjangan dengan cepat, mengirimkan pertama pada GPU baru, dan menerbitkan kinerja nyata di skala besar.

Akses GPU masih menjadi bottleneck besar untuk tim AI—bagaimana TensorWave menangani tantangan ini?

Kita menangani bottleneck ini pertama melalui kemandirian pasokan: dengan membangun di atas AMD, kita menghindari keterbatasan pasokan yang parah dari produsen chip lain, dan meneruskan ketersediaan ke pelanggan. Kemandirian pasokan melalui AMD memastikan bahwa pelanggan kita tidak terjebak menunggu di antrean yang sama dengan orang lain.

Kesenjangan dalam ekosistem infrastruktur AI ada karena banyak pemain membangun solusi yang sama, menciptakan banyak tumpang tindih. Itu sering berasal dari kurangnya kesadaran tentang apa yang terjadi di seluruh pasar. Langkah pertama untuk menutup kesenjangan ini adalah memahami siapa yang melakukan apa, di mana ada peluang untuk kolaborasi, di mana persaingan dapat memacu inovasi, dan akhirnya, bagaimana ekosistem dapat ditingkatkan sebagai satu kesatuan. Salah satu kesenjangan unik di pasar infrastruktur AI adalah daya; bahkan jika GPU tersedia, seringkali tidak ada cukup energi untuk mendukung jumlah aplikasi AI yang meningkat. Menyelesaikan tantangan sumber daya ini adalah kunci kita untuk memungkinkan pertumbuhan dan inovasi yang berkelanjutan di masa depan.

Bagaimana fitur seperti pendinginan cair langsung dan jaringan UEC-siap (Universal Ethernet Consortium) meningkatkan kinerja dan efisiensi biaya?

Pendinginan cair langsung dan jaringan UEC-siap adalah fondasi dari apa yang membuat cloud AI modern layak secara ekonomi di skala besar, dan keduanya adalah sentral untuk bagaimana kita telah merancang TensorWave.

Tentang DLC: generasi akselerator terbaru, AMD’s MI355X dan MI455X, berjalan pada amplop termal yang udara tidak dapat menanganinya dengan efisien. Kita berbicara tentang 1400W+ TDP per GPU. Pendinginan cair langsung menghilangkan panas di sumber melalui desain pelat dingin atau imersi, yang melakukan tiga hal untuk pelanggan kita. Pertama, itu memungkinkan kepadatan rak yang substansial lebih tinggi, 120-300kW+ per rak bukan 30 hingga 40kW, yang mengompresi jejak kaki dan memotong biaya real estat dan distribusi daya per megawatt. Kedua, itu mendorong PUE menuju 1,1, versus 1,4 hingga 1,5 untuk fasilitas yang didinginkan udara legacy; pada skala kita, itu berarti puluhan juta dolar dalam penghematan utilitas tahunan. Ketiga, dan sering tidak dihargai, DLC mempertahankan silikon pada suhu junction yang lebih rendah dan lebih stabil, yang memperpanjang laju clock yang berkelanjutan selama pelatihan panjang dan memperpanjang umur panjang perangkat keras. Poin terakhir sangat penting ketika Anda sedang membiayai aset selama enam tahun.

Tentang UEC: spesifikasi Ultra Ethernet Consortium, yang AMD membantu mendirikan dan yang mencapai 1,0 pada 2025, memberi kita kain yang terbuka, merchant-silicon yang memenuhi atau melebihi InfiniBand pada metrik yang benar-benar penting untuk pelatihan terdistribusi. Keterlambatan tail pada kolektif, bandwidth efektif di bawah konten, dan perilaku penskalaan melewati ambang batas 100.000 GPU. Cerita biaya adalah struktural. Ethernet memiliki setengah lusin vendor silikon merchant yang kredibel yang bersaing pada harga, versus alternatif sumber tunggal yang membawa premi yang terdokumentasi dengan baik. Untuk situs 100MW, memilih jaringan UEC-siap daripada kain proprietary adalah keputusan CAPEX sembilan angka, dan keuntungan operasional yang diperkuat karena insinyur jaringan kita sudah mengetahui Ethernet.

Keduanya memungkinkan kita untuk mengirimkan ekonomi pelatihan yang lebih baik daripada cloud legacy. Pelanggan melihat FLOPs efektif per dolar yang lebih tinggi, waktu langkah yang lebih dapat diprediksi pada pekerjaan besar, dan landasan yang jelas ketika model berskala. Untuk kita, itu berarti struktur biaya yang lebih defensif dan fleksibilitas untuk menawarkan kartu tarif yang benar-benar kompetitif.

Apakah Anda dapat membagikan contoh tentang bagaimana pelanggan menggunakan TensorWave untuk melatih model AI skala besar?

Pelanggan TensorWave membutuhkan komputasi AI kinerja tinggi tanpa kekurangan GPU, kunci vendor, atau biaya yang tidak terkendali. TensorWave menyediakan cloud AMD eksklusif – terbuka, dioptimalkan memori, dan siap produksi, yang memberikan tim infrastruktur AI yang dapat diskalakan, dapat diakses, fleksibel, dan efisien biaya.

Sebagai contoh, Modular memilih untuk menjalankan tumpukan inferensi MAX di infrastruktur GPU AMD TensorWave karena TensorWave memberikan ekonomi kinerja biaya yang jauh lebih baik untuk inferensi AI skala besar. Dengan menjalankan MAX Modular di komputasi AMD TensorWave, mereka mencapai biaya per juta token yang 70% lebih rendah, throughput 57% lebih cepat, dan biaya total yang lebih rendah daripada tumpukan GPU lain.

Dengan dominasi Nvidia yang terus berlanjut, di mana Anda melihat peluang terbesar untuk tantangan seperti TensorWave?

Di ruang komputasi AI yang didominasi oleh beberapa pemain besar, tantangan terbesar adalah mencapai kecepatan pasar, mengirimkan teknologi terbaru, dan menyediakan dukungan yang luar biasa. Hyperscalers sering menawarkan berbagai pilihan, tetapi berjuang untuk menyediakan fokus atau bimbingan pribadi yang pelanggan butuhkan. Untuk menembus ruang yang didominasi ini, TensorWave fokus pada kekuatan kita, sambil berkolaborasi untuk menyediakan teknologi terbaik yang mungkin dan memastikan pelanggan memiliki pilihan alternatif.

Dua peluang terbesar untuk tantangan dominasi infrastruktur AI Nvidia adalah di ekosistem terbuka dan memori. Ekosistem terbuka menghilangkan kunci di setiap lapisan (perangkat keras, interkoneksi, dan perangkat lunak). Selain itu, memori yang dipasangkan dengan pelatihan/jalan teroptimalkan jaringan membalik kurva biaya.

Melihat lima tahun ke depan, bagaimana Anda membayangkan masa depan infrastruktur AI dan peran TensorWave di dalamnya?

Selama beberapa tahun, tujuan di infrastruktur AI adalah membuatnya baik, membuatnya stabil, dan membuatnya mudah digunakan. Fase berikutnya akan tentang apa yang dapat Anda kirimkan di atas itu—layanan yang dikelola, AI-as-a-Service, apa pun yang membantu pelanggan mengirimkan dan menskala dengan lebih mudah.

Kita berada di awal transformasi besar. Teknologi AI terus berkembang, dan alternatif seperti AMD menjadi lebih dan lebih layak. Ketika itu terjadi, pelanggan akan menjadi lebih nyaman mengirimkannya di skala besar, dan seluruh ekosistem akan mulai terbuka dan tumbuh.

Terima kasih atas wawancara yang luar biasa, siapa pun yang ingin mempelajari lebih lanjut tentang perusahaan infrastruktur AI inovatif ini harus mengunjungi TensorWave.