Jason Knight on OctoAI:n perustaja ja ML:n varapresidentti – Haastattelusarja

Jason Knight on OctoAI:n perustaja ja konenäön varapresidentti, OctoAI:n alusta tarjoaa sovelluskehittäjille täydellisen pinon sovellusten suorittamiseen, säätämiseen ja skaalaamiseen pilvessä tai paikallisesti.

OctoAI syntyi Washingtonin yliopistosta, jossa alkuperäiset Apache TVM:n luojat toimivat. TVM on avoimen lähdekoodin pinorakenteinen konenäön siirrettävyys ja suorituskyky, ja se on nopeasti tullut tärkeäksi osaksi suosittujen kuluttajalaitteiden, kuten Amazon Alexa:n, arkkitehtuuriin.

Voitko kertoa, mikä oli OctoAI:n perustamisen taustalla oleva inspiraatio ja mikä oli ydinongelma, jonka halusitte ratkaista?

Koneäly on perinteisesti ollut monimutkainen ala, johon pääsy on ollut vain niiden ihmisten käsissä, jotka ovat olleet mukavasti matematiikan ja korkean suorituskyvyn laskennan kanssa, jotka tarvitaan luodakseen jotain siitä. Mutta koneäly lukitsee lopullisen tietokoneiden käyttöliittymän, teksti-, ääni- ja kuvan ohjelmoinnin esimerkeillä ja palautteella, ja tuo koko tietokoneen voiman jokaisen maailman ihmisen ulottuville. Ennen koneälyä vain ohjelmoijat pystyivät saamaan tietokoneet tekemään haluamansa kirjoittamalla outoja ohjelmointikieliä.

OctoAI luotiin kiihdyttämään tieni tuohon todellisuuteen, jotta enemmän ihmisiä voisi käyttää ja hyötyä koneälystä. Ja ihmiset, puolestaan, voivat käyttää koneälyä luodakseen vielä enemmän hyötyä kiihdyttämällä tieteitä, lääketiedettä, taidetta ja enemmän.

Miten kokemuksesi Intelillä valmisteli sinua OctoAI:n perustamiseen ja sen kehityksen johtamiseen?

Intel ja AI-laitteisto- ja bioteknologiastartupit ennen sitä antoivat minulle näkemyksen siitä, kuinka vaikeaa koneäly on jopa kaikkein kehittyneimmille teknologiayrityksille, ja kuinka arvokasta se voi olla niille, jotka ovat onnistuneet siinä. Ja nähdessäni, että kuilu niiden välillä, jotka hyötyvät koneälystä ja niiden, jotka eivät ole vielä, on enimmäkseen infrastruktuurin, laskennan ja parhaiden käytäntöjen kuilu – ei taika.

Mitä erottaa OctoStackin muista markkinoilla olevista AI-käyttöönotto-ratkaisuista?

OctoStack on teollisuuden ensimmäinen täydellinen teknologiapino, joka on suunniteltu erityisesti generatiivisten koneälymallien palveluun missä tahansa. Se tarjoaa valmiin tuotantopohjaisen alustan, joka tarjoaa erittäin optimoidun inference-mallin, mallin mukauttamisen ja varojen hallinnan yrityskohtaisella mittakaavalla.

OctoStack mahdollistaa organisaatioiden saavuttaa koneäly-autonomian suorittamalla minkä tahansa mallin omassa ympäristössään täydellisenä hallinnan ja valvonnan alla. Se tarjoaa myös ennennäkemätöntä suorituskykyä ja kustannustehokkuutta, jopa 12-kertaisia säästöjä verrattuna muihin ratkaisuihin, kuten GPT-4:ään.

Voitko selittää etuja, joita OctoStack tarjoaa, kun se käytetään yksityisessä ympäristössä?

Mallit ovat nykyään kaikkialla, mutta oikean infrastruktuurin kokoaminen mallien suorittamiseen ja niiden soveltamiseen omiin tietoihin on se, missä liiketoimintahyöty todella alkaa pyöriä. Käyttämällä näitä malleja omimmassa herkkässä tiedossa ja muuttamalla sitä tarkemmaksi, paremmaksi ohjelmointiksi, RAG-putkistoihin ja hienosäätöön, siinä voit saada enemmän arvoa generatiivisesta koneälystä. Mutta se on edelleen vaikeaa kaikille, paitsi kaikkein kehittyneimmille yrityksille, joten siinä OctoStack voi kiihdyttää ja tuoda parhaimmat käytännöt yhteen paikkaan asiakkaiden käyttäjille.

OctoStackin käyttäminen yksityisessä ympäristössä tarjoaa useita etuja, mukaan lukien parannetun turvallisuuden ja hallinnan tietojen ja mallien yli. Asiakkaat voivat suorittaa generatiivisia koneälysovelluksia omassa VPC:ssään tai paikallisesti, varmistamalla, että heidän tietonsa pysyvät turvassa ja valitsemassaan ympäristössä. Tämä lähestymistapa tarjoaa yrityksille myös joustavuuden suorittaa minkä tahansa mallin, olipa se avoimen lähdekoodin, mukautettu tai omistettu, hyötyen kustannussäästöistä ja suorituskyvyn parantumisesta.

Mitä haasteita kohtasitte OctoStackin optimoinnissa, jotta se tukee laajan valikoiman laitteita, ja miten nämä haasteet voitettiin?

OctoStackin optimointi laajan laitteiden valikoiman tukemiseksi vaati yhteensopivuuden ja suorituskyvyn varmistamista eri laitteilla, kuten NVIDIA- ja AMD-GPU:illa ja AWS Inferentia:lla. OctoAI voitti nämä haasteet hyödyntämällä syvää AI-järjestelmien asiantuntemusta, joka on kehittynyt vuosien tutkimuksen ja kehityksen kautta, luomalla alustan, joka jatkuvasti päivittää ja tukee uusia laitteita, GenAI-käyttötapausten ja parhaiden käytäntöjen mukaisesti. Tämä mahdollistaa OctoAI:lle markkinoiden johtavan suorituskyvyn ja kustannustehokkuuden toimittamisen.

Lisäksi saada viimeisimmät generatiivisen koneälyn ominaisuudet, kuten multimodaalisuus, funktiokutsut, tiukka JSON-skeeman noudattaminen, tehokas hienosäätöisäntä ja enemmän, sisäisten kehittäjien käsiin kiihdyttää heidän koneälynsä käyttöönoton aloituspistettä.

OctoAI:lla on rikas historia Apache TVM:n hyödyntämisestä. Miten tämä kehys on vaikuttanut alustanne kykyihin?

Luoimme Apache TVM:n, jotta kehittyneiden kehittäjien olisi helppo kirjoittaa tehokkaita AI-kirjastoja GPU:ille ja kiihdyttimille. Teimme tämän, koska saada parasta suorituskykyä GPU- ja kiihdytinhardwaresta oli kriittistä koneälyinferenssille silloin, kuten se on edelleen.

Olemme sitten hyödyntäneet samaa asennetta ja asiantuntemusta koko Gen AI -palvelupinolle toimittaaksemme automaation laajemmalle kehittäjäryhmälle.

Voitko keskustella merkittävistä suorituskyvyn parannuksista, joita OctoStack tarjoaa, kuten 10-kertaisesta suorituskyvyn parantumisesta suurissa käyttöönotoissa?

OctoStack tarjoaa merkittäviä suorituskyvyn parannuksia, mukaan lukien jopa 12-kertaiset säästöt verrattuna muihin malleihin, kuten GPT-4:ään, ilman nopeuden tai laadun uhraamista. Se tarjoaa myös 4-kertaisen paremman GPU-käytön ja 50 prosentin vähennyksen toimintakuluissa, mahdollistaen organisaatioiden suorittaa suuria käyttöönottoja tehokkaasti ja kustannustehokkaasti.

Voitko jakaa joitakin merkittäviä käyttötapaauksia, joissa OctoStack on parantanut merkittävästi asiakkaiden AI-käyttöönottoa?

Merkittävä käyttötapaus on Apate.ai, joka on maailmanlaajuinen palvelu, joka taistelee puhelinhuijauksia vastaan generatiivisella keskustelukoneälyllä. Apate.ai hyödynsi OctoStackia suorittaakseen tehokkaasti kielimallinsa useilla maantieteellisillä alueilla, hyödyntäen OctoStackin joustavuutta, skaalautuvuutta ja turvallisuutta. Tämä käyttöönotto mahdollisti Apate.ai:lle toimittaa mukautettuja malleja, jotka tukevat useita kieliä ja alueellisia murteita, täyttäen heidän suorituskyvyn ja turvallisuuden herkkien vaatimustensa mukaisesti.

Lisäksi palvelemme satoja hienosäätöjä asiakkaidemme OpenPipe:lle. Jos he käynnistäisivät omat instanssinsa kullekin näistä, heidän asiakkaiden käyttötapausten olisi vaikea toteuttaa, kun he kasvavat ja kehittävät käyttötapaustaan ja jatkuvasti kouluttavat uudelleen heidän parametrin tehokkaita hienosäätöjään maksimaalisen laadun saavuttamiseksi kustannustehokkaita hintoja vastaan.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla OctoAI:n sivustolla.