Jason Knight on OctoAI:n perustamisesta ja tekoälyratkaisujen kehittämisestä – Haastattelusarja

Jason Knight on OctoAI:n perustaja ja tekoälyosaston varapuheenjohtaja. OctoAI on alusta, joka tarjoaa kattavan ratkaisun sovelluskehittäjille, jotta he voivat suorittaa, säätää ja skaalata tekoälysovelluksiaan pilvessä tai omilla palvelimilla.

OctoAI on kehittynyt Washingtonin yliopistosta, jossa alkuperäiset Apache TVM:n luojat toimivat. TVM on avoimen lähdekoodin pinoratkaisu, joka mahdollistaa tekoälymallien suorittamisen tehokkaasti millä tahansa laitteistopohjalla, ja se on nopeasti tullut tärkeäksi osaksi suosittujen kuluttajalaitteiden, kuten Amazon Alexan, arkkitehtuuriin.

Mitä OctoAI:n perustamisen taustalla oli, ja mikä oli ydinongelma, jonka halusitte ratkaista?

Tekoäly on perinteisesti ollut monimutkainen ala, johon pääsy edellyttää matemaattista osaamista ja suorituskykyistä tietokoneita. Mutta tekoäly avaa lopulta tien teksti-, ääni- ja kuvapohjaisiin käyttöliittymiin, jotka voidaan ohjelmoida esimerkeillä ja palautteella, ja tuo koko tietokoneen voiman jokaisen maailman kansalaisen ulottuville. Ennen tekoälyä vain ohjelmoijat pystyivät saamaan tietokoneet toimimaan haluamallaan tavalla kirjoittamalla monimutkaisia ohjelmointikieltejä.

OctoAI perustettiin kiihdyttämään tienrakennusta kohti tätä todellisuutta, jotta enemmän ihmisiä voisi hyödyntää tekoälyä. Ja ihmiset voivat käyttää tekoälyä luomaan vielä enemmän hyötyä kiihdyttämällä tieteen, lääketieteen, taiteen ja muiden alojen kehitystä.

Miten Intelin aikaiset kokemuksesi valmistelivat sinut OctoAI:n perustamiseen ja sen kehittämiseen?

Intel (INTC ) ja aiemmat tekoäly- ja biotekniikkayritykset antoivat minulle näkemyksen siitä, kuinka vaikeaa tekoäly on jopa kaikkein kehittyneimmille teknologiayrityksille, ja kuinka arvokasta se voi olla niille, jotka ovat onnistuneet sen hyödyntämisessä. Ja nähdessäni, että kuilu tekoälystä hyötyvien ja sen hyödyntämättömien välillä on ennen kaikkea infrastruktuurin, laskennan ja parhaiden käytäntöjen kysymys – ei taikauskoa.

Mitä erottaa OctoStackin muista markkinoilla olevista tekoälyratkaisuista?

OctoStack on teollisuuden ensimmäinen kokonainen teknologiapino, joka on suunniteltu erityisesti generatiivisten tekoälymallien palvelemiseen missä tahansa. Se tarjoaa valmiin tuotantopohjaisen alustan, joka tarjoaa erittäin optimoidun inference-palvelun, mallin mukauttamisen ja varojen hallinnan yrityskohtaisessa mittakaavassa.

OctoStack mahdollistaa organisaatioiden saavuttaa tekoälyautonomian suorittamalla minkä tahansa mallin omassa ympäristössä täydellisenä hallinnan ja valvonnan alla. Se tarjoaa myös vertaamattoman suorituskyvyn ja kustannustehokkuuden, jolloin säästöjä voidaan saavuttaa jopa 12-kertaisesti verrattuna muihin ratkaisuihin kuten GPT-4:ään.

Voitko selittää OctoStackin käytön etuja yksityisessä ympäristössä?

Mallit ovat nykyään yleisiä, mutta oikean infrastruktuurin kokoaminen niiden suorittamiseksi ja soveltamiseksi omiin tietoihin on se, missä liiketoimintahyöty todella alkaa. Käyttämällä näitä malleja omimmassa tietosisällössä ja muuttamalla sitä tarkemmuksi, paremmaksi ohjelmointiksi, RAG-putkistoksi ja hienosäätöksi, voit saada enemmän arvoa generatiivisesta tekoälystä. Mutta se on edelleen haasteellista kaikille muille kuin kaikkein kehittyneimmille yrityksille, ja siinä OctoStack voi kiihdyttää prosessia ja tuoda parhaiden käytäntöjen yhteen paikkaan asiakkaiden käyttäjille.

OctoStackin käyttäminen yksityisessä ympäristössä tarjoaa useita etuja, kuten parannetun turvallisuuden ja hallinnan tietojen ja mallien ylläpidossa. Asiakkaat voivat suorittaa tekoälysovelluksia omassa VPC:ssä tai omilla palvelimilla, varmistamalla, että heidän tietonsa säilyvät turvallisina ja valitsemassaan ympäristössä. Tämä lähestymistapa tarjoaa myös yrityksille joustavuuden suorittaa minkä tahansa mallin, avoimen lähdekoodin, mukautetun tai omistajan, hyödyntäen samalla kustannussäästöjä ja suorituskyvyn parantamista.

Mitä haasteita kohtasitte OctoStackin optimoinnissa, jotta se tukee laajaa valikoimaa laitteita, ja miten nämä haasteet voitettiin?

OctoStackin optimointi laajan laitteiston tukemiseksi vaati yhteensopivuuden ja suorituskyvyn varmistamista erilaisilla laitteilla, kuten NVIDIA (NVDA ):n ja AMD:n GPU:illa ja AWS Inferentia:lla. OctoAI voitti nämä haasteet hyödyntämällä syvää tekoälyjärjestelmien asiantuntemusta, jota oli kehitetty vuosien tutkimus- ja kehitystyön kautta, luomalla alustan, joka jatkuvasti päivittää ja laajentaa tukea uusille laitteille, GenAI-käyttötapauksille ja parhaille käytäntöille. Tämä mahdollistaa OctoAI:lle markkinajohtavan suorituskyvyn ja kustannustehokkuuden.

Lisäksi uusimpien generatiivisen tekoälyn ominaisuuksien, kuten multimodaalisuuden, funktiokutsujen, tiukkojen JSON-skeemojen noudattamisen, tehokkaan hienosäätöisyyden isäntäjärjestelmän ja muiden, saattaminen sisäisten kehittäjien käsiin kiihdyttää tekoälyyn siirtymistä.

OctoAI on hyödyntänyt Apache TVM:ää. Miten tämä kehys on vaikuttanut alustan ominaisuuksiin?

Luoimme Apache TVM:n helpottamaan kehittyneiden kehittäjien työtä, jotta he voivat kirjoittaa tehokkaita tekoälykirjastoja GPU:ille ja kiihdyttimille helpommin. Teimme tämän, koska parhaan suorituskyvyn saavuttaminen GPU- ja kiihdytinhardwaresta oli kriittistä tekoälyn inference-vaiheessa silloin, kuten se on edelleen.

Olemme siitä lähtien hyödyntäneet samaa asennetta ja asiantuntemusta koko Gen AI -palvelupinon kehittämiseen, jotta voimme tarjota automaation laajemmalle kehittäjäyhteisölle.

Voitko keskustella OctoStackin tarjoamista merkittävistä suorituskyvyn parannuksista, kuten 10-kertaisesta suorituskyvyn parannuksesta laajamittaisissa käyttökohteissa?

OctoStack tarjoaa merkittäviä suorituskyvyn parannuksia, kuten jopa 12-kertaiset säästöt verrattuna muihin malleihin kuten GPT-4:ään ilman nopeuden tai laadun uhraamista. Se tarjoaa myös 4-kertaisen paremman GPU-käytön ja 50 prosentin vähennyksen toimintakustannuksissa, mahdollistaen yrityksille suorittaa laajamittaisia käyttökohteita tehokkaasti ja kustannustehokkaasti.

Voitko jakaa joitain merkittäviä käyttötapaustelmia, joissa OctoStack on parantanut merkittävästi tekoälysovellusten käyttöönottoa asiakkaidenne?

Merkittävä käyttötapaus on Apate.ai, joka on maailmanlaajuinen palvelu, joka taistelee puhelinhuijauksia vastaan generatiivisen keskustelutekoälyn avulla. Apate.ai hyödynsi OctoStackia suorittaakseen tehokkaasti joukon kielimalleja useilla maantieteellisillä alueilla, hyödyntäen OctoStackin joustavuutta, skaalautuvuutta ja turvallisuutta. Tämä käyttöönotto mahdollisti Apate.ai:lle räätälöityjen mallien toimittamisen useilla kielillä ja alueellisilla murteilla, täyttäen heidän suorituskyky- ja turvallisuusvaatimukset.

Lisäksi palvelemme satoja hienosäätöjä asiakkaillemme OpenPipe. Jos he joutuisivat käyttämään omia instansseja kullekin näistä, heidän asiakkaiden käyttötapausten olisi vaikea kestää, kun he kasvattavat ja kehittävät käyttötapaustaan ja jatkuvasti kouluttavat uudelleen heidän parametrin tehokkaita hienosäätöjään maksimaalisen ulostulon laadun ja kustannustehokkaiden hintojen saavuttamiseksi.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla OctoAI:ssa.