Tha Jay Dawani na Cho-stèidheadair & Ceannard air Lemurian Labs - Sreath Agallamh

Tha Jay Dawani na Cho-stèidheadair & Ceannard air Lemurian Labs. Labs Lemurian Tha e air misean coimpiutairean AI aig prìs ruigsinneach, ruigsinneach agus èifeachdach a lìbhrigeadh, air a stiùireadh leis a’ bheachd nach bu chòir AI a bhith na shòghalachd ach na inneal a tha ruigsinneach don h-uile duine. Bidh an sgioba stèidheachaidh aig Lemurian Labs a’ cothlamadh eòlas ann an AI, luchd-cruinneachaidh, algoirmean àireamhach, agus ailtireachd coimpiutair, aonaichte le aon adhbhar: gus coimpiutaireachd luathaichte ath-aithris.

An urrainn dhut ar coiseachd tro do chùl-raon agus wa thug a-steach thu gu AI an toiseach?

Gu tur. Bha mi air a bhith a’ prògramadh bho bha mi 12 agus a’ togail mo gheamannan fhìn is mar sin, ach chaidh mi a-steach gu AI nuair a bha mi 15 air sgàth caraid dha m’ athraichean a bha ann an coimpiutairean. Thug e biadh dha m’ fheòrachas agus thug e dhomh leabhraichean ri leughadh leithid ‘The Computer and The Brain’ le Von Neumann, ‘Perceptrons’ Minsky, Russel agus Norvig le ‘AI A Modern Approach’. Thug na leabhraichean sin buaidh mhòr air mo smaoineachadh agus bha e cha mhòr follaiseach an uairsin gu robh AI gu bhith cruth-atharrachail agus cha robh agam ach a bhith nam phàirt den raon seo. 

Nuair a thàinig an t-àm airson an oilthigh bha mi dha-rìribh ag iarraidh ionnsachadh AI ach cha do lorg mi oilthighean sam bith a bha a’ tabhann sin, agus mar sin chuir mi romhpa prìomhadh a dhèanamh ann am matamataig gnìomhaichte na àite agus beagan ùine às deidh dhomh faighinn don oilthigh chuala mi mu thoraidhean AlexNet air ImageNet, a bha e dha-rìribh brosnachail. Aig an àm sin bha seo agam a-nis no gu bràth a’ tachairt nam cheann agus chaidh mi làn dhùrachd a-steach a bhith a’ leughadh a h-uile pàipear agus leabhar a b’ urrainn dhomh mo làmhan fhaighinn co-cheangailte ri lìonraidhean neural agus dh’ iarr mi air na stiùirichean air fad san raon ionnsachadh bhuapa, oir ciamar gu tric a gheibh thu gu bhith ann aig breith gnìomhachas ùr agus ag ionnsachadh bho na tùsairean aige. 

Gu math luath thuig mi nach eil rannsachadh a’ còrdadh rium, ach is toil leam a bhith a’ fuasgladh dhuilgheadasan agus a’ togail thoraidhean le comas AI. Thug sin mi gu bhith ag obair air càraichean fèin-riaghailteach agus innealan-fuadain, AI airson lorg stuthan, modalan ginealach airson samhlaidhean ioma-fiosaig, simuladairean stèidhichte air AI airson draibhearan càr rèis proifeasanta a thrèanadh agus cuideachadh le rèiteachadh chàraichean, innealan-fuadain fànais, malairt algorithmach, agus mòran a bharrachd. 

A-nis, às deidh dhomh sin a dhèanamh, tha mi a’ feuchainn ri riaghladh ann an cosgais trèanadh agus cleachdadh AI oir is e sin an cnap-starra as motha a bhios romhainn air ar slighe gu saoghal a chomasachadh far am faigh a h-uile duine agus companaidh cothrom air agus buannachd fhaighinn bho AI. anns an dòigh as eaconamaiche a tha comasach.

Tha luchd-stèidheachaidh aig mòran chompanaidhean a tha ag obair ann an coimpiutaireachd luathaichte a tha air dreuchdan a thogail ann an semiconductors agus bun-structar. Ciamar a tha do eòlas san àm a dh’ fhalbh ann an AI agus matamataig a’ toirt buaidh air do chomas air a’ mhargaidh a thuigsinn agus a bhith a’ farpais gu h-èifeachdach?

Tha mi dha-rìribh a’ smaoineachadh gun a bhith a’ tighinn bhon ghnìomhachas a’ toirt buannachd dhomh buannachd bhon taobh a-muigh. Tha mi air faighinn a-mach gu bheil e fìor gu math tric nach eil eòlas air gnàthasan gnìomhachais no gliocasan gnàthach a’ toirt saorsa do dhuine sgrùdadh nas saoire agus a dhol nas doimhne na bhiodh a’ mhòr-chuid eile leis gu bheil thu gun àireamh le claon-bhreith. 

Tha an saorsa agam ceistean ‘dumber’ fhaighneachd agus barailean a dhearbhadh ann an dòigh nach biodh a’ mhòr-chuid eile leis gu bheilear a’ gabhail ri tòrr rudan mar fhìrinnean. Anns an dà bhliadhna a dh’ fhalbh tha mi air grunn chòmhraidhean a bhith agam le daoine sa ghnìomhachas far a bheil iad gu math dogmatic mu rudeigin ach chan urrainn dhaibh innse dhomh cò às a thàinig a’ bheachd, rud a tha gu math inntinneach dhomh. Is toil leam a bhith a’ tuigsinn carson a chaidh cuid de roghainnean a dhèanamh, agus dè na barailean no na cumhaichean a bha ann aig an àm sin agus a bheil iad fhathast. 

A ’tighinn bho chùl-raon AI tha mi buailteach a bhith a’ toirt sealladh air bathar-bog le bhith a ’coimhead far a bheil na h-uallaichean obrach an-diugh, agus seo na dòighean anns am faod iad atharrachadh thar ùine, agus modaladh loidhne-phìoban ML gu lèir airson trèanadh agus co-dhùnadh gus na botail a thuigsinn, a tha ag innse dhomh far a bheil na cothroman air luach a lìbhrigeadh. Agus leis gu bheil mi a’ tighinn bho chùl-raon matamataigeach is toil leam a bhith a’ modaladh rudan airson a bhith cho faisg air an fhìrinn ’s as urrainn dhomh, agus an sin a bhith gam threòrachadh. Mar eisimpleir, tha sinn air modalan a thogail gus coileanadh siostam obrachadh a-mach airson cosgais iomlan seilbh agus is urrainn dhuinn a’ bhuannachd as urrainn dhuinn a thoirt do luchd-ceannach le bathar-bog agus/no bathar-cruaidh a thomhas agus tuigse nas fheàrr fhaighinn air na cuingeadan againn agus na diofar snaidhmeannan a tha rim faighinn, agus dusanan de modailean eile airson diofar rudan. Tha sinn gu math stèidhichte air dàta, agus bidh sinn a’ cleachdadh na beachdan bho na modalan sin gus ar n-oidhirpean agus ar malairt a stiùireadh. 

Tha e coltach gu bheil adhartas ann an AI air tighinn gu ìre mhòr bho sgèileadh, a dh’ fheumas barrachd coimpiutaireachd agus lùth a dh’ aithghearr. Tha e coltach gu bheil sinn ann an rèis armachd leis a h-uile companaidh a ’feuchainn ris a’ mhodail as motha a thogail, agus tha e coltach nach eil crìoch ann an sealladh. A bheil thu a’ smaoineachadh gu bheil slighe a-mach à seo?

Tha dòighean ann an-còmhnaidh. Tha sgèileadh air a bhith air leth feumail, agus chan eil mi a’ smaoineachadh gum faca sinn an deireadh fhathast. Gu math luath chì sinn modalan gan trèanadh le cosgais co-dhiù billean dollar. Ma tha thu airson a bhith nad stiùiriche ann an AI ginealach agus modalan bunait iomall sèididh a chruthachadh feumaidh tu a bhith a’ cosg co-dhiù beagan bhilleanan sa bhliadhna air coimpiutaireachd. A-nis, tha crìochan nàdarra air sgèileadh, leithid a bhith comasach air stòr-dàta mòr gu leòr a thogail airson modail den mheud sin, faighinn gu daoine leis an eòlas cheart, agus cothrom fhaighinn air coimpiutaireachd gu leòr. 

Tha e do-sheachanta gum bi meud modail a’ dol air adhart, ach chan urrainn dhuinn cuideachd uachdar na talmhainn gu lèir a thionndadh gu bhith na shàr-choimpiutair meud planaid gus LLMn a thrèanadh agus a fhrithealadh airson adhbharan follaiseach. Gus smachd a chumail air seo tha grunn snaidhmeannan againn leis an urrainn dhuinn cluich: stòran-dàta nas fheàrr, ailtireachd mhodail ùr, dòighean trèanaidh ùra, luchd-cruinneachaidh nas fheàrr, leasachaidhean algorithmach agus brathan, ailtireachd coimpiutair nas fheàrr, agus mar sin air adhart. Ma nì sinn sin uile, tha timcheall air trì òrduighean meudachaidh ri lorg. Sin an dòigh as fheàrr a-mach. 

Tha thu creidsinn ann an ciad phrionnsapalan smaoineachadh, ciamar a tha seo a’ cumadh d’ inntinn a thaobh mar a tha thu a’ ruith Lemurian Labs?

Bidh sinn gu cinnteach a’ cleachdadh mòran de chiad phrionnsapalan smaoineachadh aig Lemurian. Bha mi a-riamh air gliocas gnàthach a lorg meallta oir chaidh an t-eòlas sin a chruthachadh aig àm sònraichte nuair a bha barailean sònraichte ann, ach bidh cùisean an-còmhnaidh ag atharrachadh agus feumaidh tu barailean ath-dhearbhadh gu tric, gu sònraichte nuair a bhios tu a’ fuireach ann an saoghal aig astar cho luath. 

Bidh mi tric a’ faighinn mi fhìn a’ cur cheistean mar “tha e coltach gur e fìor dheagh bheachd a tha seo, ach carson nach obraich seo”, no “dè dh’ fheumas a bhith fìor gus an obraich seo”, no “dè tha fios againn a tha nan fhìor fhìrinnean agus dè na barailean a tha sinn a’ dèanamh agus carson?”, No “carson a tha sinn a’ creidsinn gur e an dòigh shònraichte seo an dòigh as fheàrr air an duilgheadas seo fhuasgladh”. Is e an t-amas beachdan a dhì-dhligheachadh agus a chuir às cho luath agus cho saor sa ghabhas. Tha sinn airson feuchainn ris an àireamh de rudan a tha sinn a’ feuchainn a mheudachadh aig àm sònraichte sam bith. Tha e mu dheidhinn a bhith trom leis an duilgheadas a dh’ fheumar fhuasgladh, agus gun a bhith cus beachdachaidh air dè an teicneòlas as fheàrr. Tha cus dhaoine buailteach cus fòcas a chuir air an teicneòlas agus bidh iad a’ mì-thuigse mu dhuilgheadasan luchd-ceannach agus ag ionndrainn na h-eadar-ghluasadan a tha a’ tachairt sa ghnìomhachas a dh’ fhaodadh an dòigh-obrach aca a dhèanamh neo-dhligheach agus mar thoradh air sin chan eil iad comasach air gabhail ri staid ùr an t-saoghail.

Ach chan eil a 'chiad phrionnsabalan smaoineachadh cho feumail leis fhèin. Tha sinn buailteach a bhith ga chàradh le backcasting, a tha gu bunaiteach a’ ciallachadh a bhith a’ smaoineachadh air toradh a tha air leth math no a tha thu ag iarraidh san àm ri teachd agus ag obair air ais gus na diofar cheumannan no gnìomhan a dh’ fheumar gus a thoirt gu buil a chomharrachadh. Nì seo cinnteach gum bi sinn a’ tighinn còmhla air fuasgladh brìoghmhor a tha chan ann a-mhàin ùr-ghnàthach ach cuideachd stèidhichte air da-rìribh. Chan eil e ciallach ùine a chaitheamh a’ tighinn suas leis an fhuasgladh foirfe a-mhàin gus tuigsinn nach eil e do-dhèanta togail air sgàth measgachadh de chuingealachaidhean san t-saoghal fhìor leithid goireasan, ùine, riaghladh, no togail fuasgladh a tha coltach gu foirfe ach nas fhaide air adhart lorg fhaighinn a-mach. tha thu air a dhèanamh ro dhoirbh do luchd-ceannach gabhail ris.

Bho àm gu àm bidh sinn ann an suidheachadh far am feum sinn co-dhùnadh a dhèanamh ach nach eil dàta againn, agus anns an t-suidheachadh seo bidh sinn a’ cleachdadh barailean dearbhaidh as ìsle a bheir comharra dhuinn a bheil no nach eil rudeigin ciallach a leantainn leis an ìre as lugha. de chaiteachas lùtha. 

Tha seo uile còmhla gus sùbailteachd, cuairtean ath-aithris luath a thoirt dhuinn gus nithean a thoirt air falbh ann an cunnart gu sgiobalta, agus tha e air ar cuideachadh le bhith ag atharrachadh ro-innleachdan le misneachd àrd, agus a’ dèanamh mòran adhartais air duilgheadasan fìor chruaidh ann an ùine gu math goirid. 

An toiseach, bha fòcas agad air oir AI, dè a dh’ adhbhraich thu ath-chuimseachadh agus pivot gu coimpiutaireachd neòil?

Thòisich sinn le edge AI oir aig an àm sin bha mi gu mòr ag amas air a bhith a’ feuchainn ri fuasgladh fhaighinn air duilgheadas sònraichte a bha romham ann a bhith a’ feuchainn ri saoghal de robotics neo-eisimeileach coitcheann a thoirt a-steach. Tha robotics neo-eisimeileach a’ cumail a’ gheallaidh gur e seo an gluasad àrd-ùrlair as motha nar n-eachdraidh choitcheann, agus bha e coltach gu robh a h-uile dad a dh’ fheumar againn gus modal bun-stèidh a thogail airson innealan-fuadain ach bha sinn ag ionndrainn a ’chip co-dhùnaidh as fheàrr leis a’ chothromachadh ceart de thoraidhean, latency, èifeachdas lùtha. , agus comas-prògramaidh gus am modal bunaiteach sin a ruith.

Cha robh mi a 'smaoineachadh air an datacenter aig an àm seo oir bha barrachd air companaidhean gu leòr ag amas air an sin agus bha mi an dùil gun dèanadh iad a-mach e. Dhealbhaich sinn ailtireachd fìor chumhachdach airson an àite tagraidh seo agus bha sinn a’ dèanamh deiseil airson a chuir a-mach, agus an uairsin dh’ fhàs e gu math soilleir gu robh an saoghal air atharrachadh agus gu robh an duilgheadas dha-rìribh anns an datacenter. Tha an ìre aig an robh LLMn a’ sgèileadh agus ag ithe coimpiutaireachd fada nas àirde na astar adhartais ann an coimpiutaireachd, agus nuair a bheir thu fa-near ann an uchd-mhacachd bidh e a’ tòiseachadh a’ peantadh dealbh draghail. 

Bha e a’ faireachdainn gur ann mar seo a bu chòir dhuinn a bhith ag amas ar n-oidhirpean, gus cosgais lùtha AI ann an datacenters a lughdachadh cho mòr ‘s as urrainn gun a bhith a’ cur bacadh air càite agus ciamar a bu chòir AI a thighinn air adhart. Agus mar sin, fhuair sinn a dh'obair air fuasgladh fhaighinn air an duilgheadas seo. 

An urrainn dhut an sgeulachd genesis mu Co-stèidheachaidh Lemurian Labs a cho-roinn?

Bidh an sgeulachd a’ tòiseachadh tràth ann an 2018. Bha mi ag obair air modal bun-stèidh a thrèanadh airson fèin-riaghladh adhbhar coitcheann còmhla ri modail airson atharrais ioma-fiosaigeach ginealach gus an neach-ionaid a thrèanadh a-steach agus a ghleusadh airson diofar thagraidhean, agus cuid de rudan eile gus cuideachadh le bhith a’ leudachadh gu ioma-ghnèitheachd. - àrainneachdan àidseant. Ach gu math luath chuir mi a-mach an ìre de choimpiutaireachd a bh ’agam, agus bha mi a’ meas gu robh feum agam air barrachd air 20,000 V100 GPUs. Dh’ fheuch mi ri gu leòr a thogail airson cothrom fhaighinn air a’ choimpiutair ach cha robh a’ mhargaidh deiseil airson an seòrsa sgèile sin fhathast. Ach thug e orm smaoineachadh air taobh cleachdadh rudan agus shuidh mi sìos gus obrachadh a-mach dè an ìre de choileanadh a dh’ fheumadh mi airson a bhith a’ frithealadh a’ mhodail seo anns na h-àrainneachdan targaid agus thuig mi nach robh sliseag ann a gheibheadh ​​​​mi ann. 

Bliadhna no dhà às deidh sin, ann an 2020, choinnich mi ri Vassil - mo cho-stèidheadair mu dheireadh - gus grèim fhaighinn air agus roinn mi na dùbhlain a chaidh mi troimhe ann a bhith a ’togail modal bunait airson fèin-riaghladh, agus mhol e sliseag co-dhùnaidh a thogail a dh’ fhaodadh a ’bhun-stèidh a ruith. modail, agus cho-roinn e gu robh e air a bhith a’ smaoineachadh tòrr mu chruthan àireamh agus chuidicheadh ​​​​riochdachaidhean nas fheàrr chan ann a-mhàin a bhith a’ toirt air lìonraidhean neural cruinneas a chumail aig leudan bit nas ìsle ach cuideachd ann a bhith a’ cruthachadh ailtireachd nas cumhachdaiche. 

B’ e beachd inntinneach a bh’ ann ach bha e fada a-mach às an taigh-cuibhle agam. Ach chan fhàgadh sin mi, rud a thug orm mìosan is mìosan a chaitheamh ag ionnsachadh iom-fhillteachd ailtireachd coimpiutair, seataichean stiùiridh, amannan ruith, luchd-cruinneachaidh, agus modalan prògramadh. Mu dheireadh, thòisich togail companaidh semiconductor a 'dèanamh ciall agus bha mi air tràchdas a chruthachadh mu dè an duilgheadas a bh' ann agus mar a bu chòir dhomh a dhèanamh. Agus, an uairsin faisg air deireadh na bliadhna thòisich sinn lemurian. 

Tha thu air bruidhinn roimhe seo mun fheum air dèiligeadh ri bathar-bog an-toiseach nuair a bhios tu a’ togail bathar-cruaidh, am b’ urrainn dhut do bheachdan a mhìneachadh carson a tha duilgheadas bathar-cruaidh sa chiad àite na dhuilgheadas bathar-bog?

Is e an rud nach eil mòran dhaoine a’ tuigsinn gu bheil taobh bathar-bog semiconductors tòrr nas duilghe na am bathar-cruaidh fhèin. Is e duilgheadas làn stac a th’ ann a bhith a’ togail ailtireachd coimpiutair feumail airson luchd-ceannach a chleachdadh agus buannachd fhaighinn às, agus mura h-eil an tuigse agus an ullachadh sin agad a’ dol a-steach, thig thu gu crìch le ailtireachd breagha a tha a’ coimhead a tha fìor ghnìomhach agus èifeachdach, ach gu tur do-dhèanta le luchd-leasachaidh, agus is e sin a tha fìor chudromach. 

Tha buannachdan eile ann a bhith a’ cleachdadh dòigh-obrach bathar-bog an-toiseach cuideachd, gu dearbh, leithid ùine nas luaithe airson margaidheachd. Tha seo deatamach ann an saoghal a tha a’ gluasad gu luath an-diugh far am faodadh a bhith ro thaic air ailtireachd no feart a bhith a’ ciallachadh gu bheil thu ag ionndrainn a’ mhargaidh gu tur. 

Mar as trice chan eil a bhith a’ gabhail beachd air bathar-bog an-toiseach a’ ciallachadh nach do chuir thu às do na rudan cudromach a tha riatanach airson gabhail ri toradh sa mhargaidh, gun a bhith comasach air dèiligeadh ri atharrachaidhean sa mhargaidh mar eisimpleir nuair a thig eallach obrach air adhart ann an dòigh ris nach robh dùil, agus gun a bhith a’ cleachdadh bathar-cruaidh gu leòr. Chan eil a h-uile dad sgoinneil. Is e adhbhar mòr a tha sin carson a tha dragh mòr oirnn mu bhith stèidhichte air bathar-bog agus carson a tha ar beachd nach urrainn dhut a bhith nad chompanaidh leth-chraobh gun a bhith nad chompanaidh bathar-bog dha-rìribh. 

An urrainn dhut bruidhinn mu na h-amasan stac bathar-bog agad sa bhad?

Nuair a bha sinn a’ dealbhadh ar n-ailtireachd agus a’ smaoineachadh air a’ mhapa-rathaid a bha a’ coimhead air adhart agus far an robh na cothroman air barrachd coileanaidh agus èifeachdas lùtha a thoirt a-steach, thòisich e a’ fàs glè shoilleir gun robh sinn a’ dol a dh’fhaicinn tòrr a bharrachd ioma-ghnèitheachd a bha a’ dol a chruthachadh tòrr chùisean. air bathar-bog. Agus chan e a-mhàin gu feum sinn a bhith comasach air ailtireachd ioma-ghnèitheach a phrògramadh, feumaidh sinn dèiligeadh riutha aig sgèile datacenter, a tha na dhùbhlan nach do thachair sinn roimhe. 

Chuir seo dragh oirnn oir b’ e an turas mu dheireadh a dh’ fheumadh sinn a dhol tro ghluasad mòr nuair a ghluais an gnìomhachas bho ailtireachd aon-cridhe gu ailtireachd ioma-cridhe, agus aig an àm sin thug e 10 bliadhna bathar-bog fhaighinn ag obair agus daoine ga chleachdadh. Chan urrainn dhuinn feitheamh 10 bliadhna gus faighinn a-mach bathar-bog airson ioma-ghnèitheachd aig sgèile, feumar a rèiteach a-nis. Agus mar sin, fhuair sinn a dh’ obair gus an duilgheadas a thuigsinn agus na dh’ fheumas a bhith ann gus am biodh a’ chruach bathar-bog seo ann. 

Tha sinn an-dràsta ag obair còmhla ri mòran de na prìomh chompanaidhean semiconductor agus hyperscalers / solaraichean seirbheis sgòthan agus bidh sinn a’ leigeil a-mach ar stac bathar-bog anns na 12 mìosan a tha romhainn. Is e modal prògramadh aonaichte a th’ ann le inneal-cruinneachaidh agus ùine ruith a tha comasach air cuimseachadh air ailtireachd de sheòrsa sam bith, agus obair a chuir air dòigh thairis air cruinneachaidhean de dhiofar seòrsa de bhathar-cruaidh, agus a tha comasach air sgèileadh bho aon nód gu mìle brabhsair nód airson an coileanadh as àirde. .

Tapadh leibh airson an agallamh sgoinneil, bu chòir do luchd-leughaidh a tha airson barrachd ionnsachadh tadhal Labs Lemurian.