Tekoäly
MPT-30B: MosaicML Ohittaa GPT-3 Uuden LLM:n Kautta NLP:n Rajat
MosaicML on generatiivisen AI:n yritys, joka tarjoaa AI-käyttöönoton ja skaalautuvuusratkaisuja. Heidän uusin suuri kielen malli (LLM) MPT-30B on aiheuttanut aaltoja AI-yhteisössä.
MosaicML:n LLM-matka alkoi MPT-7B:n (Mosaic Pretrained Transformer) julkaisulla toukokuussa 2023, joka tuli kolmella variantilla:
- MPT-7B-StoryWriter-65k+ (pitkien tarinoiden luomiseen)
- MPT-7B-Instruct (lyhyiden ohjeiden seuraamiseen)
- MPT-7B-Chat (dialogin luomiseen)
Mallit saavuttivat valtavan suosion ML-yhteisössä avoimen lähdekoodin, kaupallisen käytettävyyden ja poikkeuksellisen kyvyn käsitellä laajennettuja kontekstien ikkunoita vuoksi.
Ennen kaikkea, malli oli tasolla ja jopa ylitti muita vertailukelpoisia malleja (LLaMA-7B, StableLM 7B jne.). Kesäkuussa MPT-7B-sarja oli ladattu yli 3 miljoonaa kertaa. 22. kesäkuuta MosaicML julkaisi MPT-30B:n, joka nosti vielä korkeammalle tasolle avoimen lähdekoodin perusmallit.
MPT-30B: Voimakas LLM, joka ylittää GPT-3
MPT-30B on avoimen lähdekoodin ja kaupallisesti lisensoidun dekooderin perustein oleva LLM, joka on voimakkaampi kuin GPT-3-175B vain 17 %:lla GPT-3:n parametreista, eli 30B. Se ylittää GPT-3:n useilla tehtävillä. Tässä on vertailu MPT-30B:n ja GPT-3:n välillä.
MPT-30B perustuu edelliseen MPT-7B-malliin. Se on laskennallisesti tehokas koulutukseen verrattuna malleihin, joilla on samanlainen koko.
_jne…
