Spectro Cloud تطلق منصة PaletteAI Inference Launchpad لمساعدة المؤسسات في التحكم في تكاليف الرموز التابعة للذكاء الاصطناعي

Spectro Cloud قد أطلقت منصة PaletteAI Inference Launchpad، وهي منصة لتحليل الذكاء الاصطناعي يتم إدارتها محليًا، مصممة لمساعدة المؤسسات في تقليل اعتمادها على خدمات النماذج الخارجية وزيادة التحكم في تكاليف حمولات الذكاء الاصطناعي المتزايدة.

تُشير الشركة إلى أن المنظمات يمكن أن تقلل من التكاليف الخارجية للرموز بنسبة تصل إلى 70٪، اعتمادًا على مزيج الحمل العمل، البنية التحتية، واختيار النماذج. كما وسعت Spectro Cloud دعم PaletteAI لتشمل البنية التحتية التي تعمل بالتقنية AMD، مما يوفر للعملاء خيارات أوسع لوحدات معالجة الرسومات (GPUs)، وأوقات تشغيل الاستدلال، وتقنيات خدمة النماذج.

تُظهر هذه الإعلانات تحولًا أوسع في مجال الذكاء الاصطناعي في المؤسسات. مع انتقال الشركات إلى ما وراء التجارب وتنفيذ الذكاء الاصطناعي عبر خدمات العملاء، وتطوير البرمجيات، والتحليلات، والعمليات الداخلية، أصبحت تكلفة معالجة مدخلات النماذج ومخرجاتها مشكلة بنية تحتية هامة.

جلب استدلال الذكاء الاصطناعي أقرب إلى بيانات المؤسسات

تم بناء منصة PaletteAI Inference Launchpad حول نهج محلي أولي للاستدلال. بدلاً من إرسال كل طلب تلقائيًا إلى نموذج حدودي خارجي، يمكن للمنظمات تشغيل حمولات عمل مناسبة على البنية التحتية الموجودة في مراكز بياناتها الخاصة، أو السحابية الخاصة، أو البيئات السيادية، أو مواقع الحافة.

يمكن للمؤسسات الاحتفاظ بالوصول إلى نماذج حدودية外ية لمهام تتطلب قدراتها. تهدف المنصة إلى توجيه الطلبات بين النماذج المحلية والخارجية بناءً على عوامل مثل التكلفة والأداء ومتطلبات الحوكمة وcomplexity المهمة.

قد يصبح هذا النموذج الهجين أكثر أهمية مع تبني المنظمات لنماذج أصغر وأكثر تخصصًا. قد لا تتطلب مهمة دعم العملاء أو مهمة تصنيف الوثائق أو استعلام المعرفة الداخلية نفس قدرة النموذج مثل الاستدلال المتقدم أو البرمجة المعقدة أو التحليل المتعدد.

قد يقلل الحفاظ على الحمولات المناسبة محليًا من التأخير عن طريق جلب الاستدلال أقرب إلى التطبيقات والمستخدمين ومصادر البيانات. بالنسبة للمنظمات التي تعمل في قطاعات خاضعة للتنظيم، يمكن للمعالجة المحلية تقديم التحكم الأكبر في مكان معالجة المعلومات الحساسة.

استخدام الرموز يصبح معيارًا للبنية التحتية

الرموز هي الوحدات التي تقسمها نماذج الذكاء الاصطناعي وتمثل المعلومات. كل استجابة ومؤشر يستهلك الرموز، وغالبًا ما تفرض خدمات النماذج التجارية رسومًا وفقًا لعدد الرموز المعالجة.

هذا يعني أن تكاليف الذكاء الاصطناعي يمكن أن ترتفع بسرعة مع انتقال الأنظمة من تجارب معينة إلى تطبيقات تخدم آلاف الموظفين أو العملاء. يصبح المشكل أكثر تعقيدًا مع وكلاء الذكاء الاصطناعي، الذين قد يقومون بعمليات نموذجية متكررة، ويتعرفون على المعلومات، ويقيمون النتائج، ويستخدمون أدوات خارجية قبل إكمال مهمة واحدة.

تتوقع أبحاث غولدمان ساكس الابحاث أن يصل استهلاك الرموز الشهري إلى 120 تريليون رمز في الشهر في عام 2030، بزيادة 24 ضعفًا عن عام 2026. يتم دفع هذا النمو المتوقع من قبل اعتماد المؤسسات المتزايد وانتشار وكلاء الذكاء الاصطناعي الأكثر استقلالية.

تعالج منصة Inference Launchpad هذه القضية من خلال تقديم أدوات للفرق البنية التحتية لمعرفة استهلاك الرموز، وإنشاء حصص، وتطبيق سياسات الاستخدام. قد تساعد هذه التحكمات الشركات على فهم أي فرق، وتطبيقات، ونماذج مسؤولة عن إنفاق الذكاء الاصطناعي بدلاً من معاملته كرسوم خدمة غير متوقعة.

يجب اعتبار تخفيض 70٪ المذكور من قبل Spectro Cloud كناتج محتمل بدلاً من توفير garantied. ستعتمد الاقتصاد الفعلي على تكاليف الحصول على وحدات معالجة الرسومات أو استئجارها، ومعدلات الاستخدام، واستهلاك الطاقة، وكفاءة النموذج، وكمية الطلب، ورسوم المزودين الخارجيين.

نماذج محلية دون إliminating النماذج الحدودية

تم تصميم قدرات توجيه النماذج في المنصة لتجنب إجبار المؤسسات على اتخاذ قرارات كل-محلية أو كل-سحابية.

يمكن للمنظمات استخدام نماذج محلية صغيرة لمهام متوقعة أو حساسة للخصوصية في حين إرسال طلبات أكثر صعوبة إلى نماذج حدودية. يمكن أن تحدد السياسات أيضًا النماذج المسموح بها لبعض الإدارات، أو الاختصاصات، أو تصنيفات البيانات.

يُدخل هذا الحوكمة مباشرة إلى طبقة الاستدلال. على سبيل المثال، يمكن لمؤسسة مالية منع بعض المعلومات من مغادرة بيئة خاضعة للرقابة، في حين السماح بطلبات غير حساسة باستخدام نموذج خارجي. يمكن لمؤسسة متعددة الجنسيات تطبيق قواعد توجيه مختلفة بناءً على متطلبات البيانات الإقليمية.

وضعت Spectro Cloud خيار النموذج والحوكمة كجزء من استراتيجية إدارة البنية التحتية الأوسع نطاقًا لمنصة PaletteAI. تدعم المنصة بيئات وحدات معالجة الرسومات المشتركة، ووصلات دورية، وحدود الموارد، وضوابط مستوى المستأجر مقصودة لتمكين فرق متعددة من استخدام نفس البنية التحتية دون الحصول على وصول غير مقيد إلى الأنظمة الأساسية.

دعم موسع للبنية التحتية للذكاء الاصطناعي من AMD

إلى جانب منصة Inference Launchpad، أعلنت Spectro Cloud عن دعم أوسع للبيئات التي تعمل بالتقنية AMD للذكاء الاصطناعي.

يشمل التكامل وحدات معالجة الرسومات من AMD، وAMD GPU Operator، وبرنامج ROCm، وAMD Inference Microservices، المعروفة باسم AIMs. تتناول هذه المكونات طبقات مختلفة من البنية التحتية المطلوبة لتشغيل نماذج الذكاء الاصطناعي في الإنتاج.

يُبسط AMD GPU Operator تكوين وادارة معززات AMD Instinct داخل مجموعات Kubernetes. يوفر برنامج ROCm حزمة برامج مفتوحة تحتية، بما في ذلك السواق، والمكتبات، وأوقات التشغيل، وأدوات التطوير المستخدمة لتشغيل حمولات الذكاء الاصطناعي وعالية الأداء على أجهزة AMD.

توفر AIMs خدمات استدلال دقيقة معيارية لخدمة النماذج على وحدات معالجة الرسومات من AMD Instinct. يتم تصميمها لتحزيم نماذج محسنة وبرامج داعمة في خدمات قابلة للنشر، مما يقلل من بعض عمل التكامل المطلوب عادةً لنقل نموذج إلى الإنتاج.

对于 العملاء المؤسسين، قد يجعل هذا الدعم الموسع من السهل تشغيل بيئات وحدات معالجة الرسومات المتنوعة بدلاً من بناء عمليات إدارة منفصلة للبنية التحتية من NVIDIA (NVDA ) وAMD.

إدارة المكدس من الأجهزة إلى النماذج

تم تطوير منصة Palette في الأصل كمنصة إدارة Kubernetes لتنفيذ ومaintenance مجموعات عبر السحاب العامة، ومراكز البيانات الخاصة، والأنظمة العارية، ومواقع الحافة.

تمتد PaletteAI هذه الأساس إلى بنية تحتية للذكاء الاصطناعي. تجمع إدارة دورة حياة Kubernetes مع تنسيق وحدات معالجة الرسومات، وخدمات النماذج، وضوابط الأمان، والشبكات، وأدوات عمليات التعلم الآلي. تصف Spectro Cloud المنصة بأنها وسيلة لإدارة البنية التحتية من طبقة الأجهزة المادية إلى النماذج وخدمات الاستدلال التي تعمل عليها.

تتضمن المنصة أيضًا PaletteAI Studio، الذي يوفر بنية تحتية وملحقات ذكاء اصطناعي مُحسنة ومبنية من تقنيات مثل Kubeflow، وMLflow، وClearML، وRun: ai، وHugging Face. تهدف هذه التكوينات إلى تقديم قوالب نشر متكررة للفرق المنصة بدلاً من الحاجة إلى دمج كل مكون يدويًا.

تضيف منصة Inference Launchpad توجيه الرموز وقياسها وخدمة النماذج المحلية المدارة إلى هذه الطبقة البنية التحتية الأوسع.

دعم البيئات السيادية والمنظمة للذكاء الاصطناعي

تستهدف Spectro Cloud أيضًا مزودي الخدمات السحابية الجديدة، ومشغلي السحابية السيادية. يحتاج هؤلاء المزودون غالبًا إلى تقديم بنية تحتية مشتركة لوحدات معالجة الرسومات مع الحفاظ على العزل بين العملاء وتنفيذ ضوابط خاصة بالاختصاص.

تعمل الشركة مع NexusIgnite، وهو مزود بنية تحتية يعمل من أوستن ودبي، لدعم التوزيعات التي تتضمن إقامة البيانات والامتثال والسيادة التشغيلية.

تتعلق إقامة البيانات عادةً بمكان تخزين المعلومات. يطرح الذكاء الاصطناعي السيادي أسئلة إضافية حول من يعمل البنية التحتية، والأنظمة القانونية المعمول بها، ومن يمكنه الوصول إليها، ومدى إمكانية تدقيق البيئة أو فصلها عن الخدمات الخارجية.

تدعم منصة Spectro Cloud التوزيعات المضيفة الذاتية والمنعزلة، في حين يضيف PaletteAI VerteX ضوابط أمان مقصودة للبيئات الحكومية والمنظمة.

قد تكون هذه القدرات ذات صلة خاصة للحكومات، وشركات الرعاية الصحية، والمؤسسات المالية، و مشغلي البنية التحتية الحيوية الذين لا يمكنهم توجيه كل互одействة بالذكاء الاصطناعي من خلال خدمة عامة مشتركة.

تنافس متزايد حول عمليات الذكاء الاصطناعي للمؤسسات

جاء الإعلان بعد فترة قصيرة من إعلان Spectro Cloud إعلان جولة تمويل سلسلة D بقيمة 100 مليون دولار بقيادة Growth Equity في Goldman Sachs Alternatives، مع مشاركة من AMD Ventures، وEricsson، وLG Technology Ventures، وMaximus.

أفادت الشركة أن التمويل سيدعم توسعها في بنية تحتية الذكاء الاصطناعي الإنتاجية، والسحابية السيادية، وخدمات السحابية الجديدة، والاستدلال الموزع. لقد جمعت Spectro Cloud الآن ما يقرب من 260 مليون دولار.

تُظهر استراتيجيتها طبقة متزايدة من سوق الذكاء الاصطناعي التي تركز على تشغيل النماذج بدلاً من تطوير نماذج الأساس. مع تعدد خيارات النماذج، تحتاج المؤسسات بشكل متزايد إلى بنية تحتية يمكنها تحديد مكان تشغيل النماذج، وكيفية تخصيص وحدات معالجة الرسومات، والبيانات التي يمكن الوصول إليها، وكيفية قياس الاستخدام.

منصة PaletteAI Inference Launchpad والتكامل الموسع لAMD متاحان على الفور. ستعتمد أهميتهما الطويلة الأمد على ما إذا كان الاستدلال المحلي المدارة يمكن أن يوفر فوائد اقتصادية متسقة دون إعادة خلق التعقيد التشغيلي الذي آملت المؤسسات تجنبه باستخدام مزودي النماذج الخارجيين في المقام الأول.