بث أفاتار ذكاء اصطناعي مثل عام 1999

يقدم البحث الجديد طريقة لبث أفاتار ثلاثي الأبعاد متحركة تبدو تقريبًا على الفور وتتضح في الوقت الفعلي، بدلاً من إجبار المستخدمين على الانتظار حتى انتهاء التنزيلات الكبيرة.

في العديد من الجوانب، فإن الطلبات الهائلة على الموارد من قبل الذكاء الاصطناعي وأنظمة الت渲ير المعززة بالذكاء الاصطناعي قد أرجعت جاهزية المستهلكين إلى الوراء بمقدار عشرين عامًا أو أكثر. فقط في عام 2023، بدا تخصيص 64 جيجابايت من ذاكرة الوصول العشوائي في جهاز كمبيوتر محمول أو جهاز كمبيوتر مكتبي مثل الإفراط؛ الآن، مع زيادة شعبية الذاكرة و/أو إعادة توجيه وحدة المعالجة المركزية، أصبح 64 جيجابايت متواضعًا لاحتياجات الذكاء الاصطناعي المحلية؛ وتستمر هذه العناصر السابقة البسيطة والرخيصة في الكمبيوتر في الارتفاع في السعر مع كفاح الشركات لتحقيق الطلب على خدمات الذكاء الاصطناعي.

تتجاوز نطاق وطمع الذكاء الاصطناعي وعملية بيئته عادةً الأجهزة المستهلكة، وحتى تشغيل نماذج محلية مخففة مثل إصدارات GGUF سوف يرهق النظام العادي.

حتى خدمات الذكاء الاصطناعي القائمة على النص مثل ChatGPT تخضع لضغوط كبيرة على مستوى العميل والخادم. لذلك، عندما يتم تكليف الذكاء الاصطناعي بتوفير تجارب متعددة الوسائط عبر الإنترنت في الوقت الفعلي، يمكننا توقع بعض التنازلات الجدية في التأخير و/أو الجودة – مشابهة لمكافحة الإنترنت المبكرة مع بث الوسائط المتعددة، وأيقونات “التمهيد” المتحركة المكروهة من RealPlayer وQuickTime.

كان آخر مرة أنشأت مشاكل الوسائط المتعددة وشبكات مشاكل في تجربة المستخدم، كانت الأجهزة المستهلكة لا تزال تتطور من خلال قانون مور، وتحسينها بشكل تقريبي كل عام، حتى عندما تتطور أنظمة التشغيل وشبكات البنية التحتية الأخرى لتلبية الطلب؛ ولأكثر من عقد من الزمن، كانت قدرات التكنولوجيا المستهلكة تتجاوز احتياجات الوسائط المتعددة (ربما حتى إلى الحد الذي يحتاج فيه التغيير إلى أن يتم تشغيله من أجل الحفاظ على المبيعات).

لكن هذه الفائضة من القدرة المحلية قد تكون على وشك النهاية قريبًا، حيث تصبح الأجهزة المحلية أقل مواصفات وأغلى سعرًا، ويتطلب خدمات الذكاء الاصطناعي موارد خادمية محلية أعلى.

الحصول على رأس

في العصر قبل العصر Broadband، حتى قبل أول فيديو قابل للبث، كان مستخدمو الويب معتادين على الصور التي تظهر بشكل بطيء في التركيز، حيث تسمح الصور المتطورة بالجودة المتغيرة للمستخدم بمشاهدة الصورة التي يتم تنزيلها، أحيانًا ببطء شديد، حيث يتم تحميل المزيد من بيانات الصورة محليًا.

الآن، يبدو أننا قد نخوض تجربة مماثلة مع أفاتار الذكاء الاصطناعي:

انقر للعب. من مشروع ProgressiveAvatars الجديد، مقارنة بين بث أفاتار غاوسي. المصدر

في أعلى الصورة، نرى نسختين من أفاتار غاوسي – تمثيل بشري تمكن جزئيًا من تقنية غير الذكاء الاصطناعي التي تعود إلى التسعينيات، وأساليب أكثر حداثة، مثل نموذج FLAME المعلم للوجه البشري، ومنهجات تدريب قائم على الذكاء الاصطناعي:

يستخدم التقطير الغاوسي تمثيلًا غاوسيًا للون والمعلومات ثلاثية الأبعاد بدلاً من بكسل أو فيكسل، ويخلق هذا النسيج الحقيقي على شبكة أكثر تقليدية من الرسومات الحاسوبية، والتي يتم تسهيلها في حد ذاتها بواسطة “إنسان معلم”، وجه أو جسم حاسوبي، في أنظمة مثل FLAME و STAR. المصدر

في اليسار في الفيديو أعلاه، نرى أن التطبيق التقليدي لأفاتار غاوسي يبدو مخيفًا أثناء انتظار تحميل البيانات. على اليمين، التطبيق الجديد من الصين، يسمى ProgressiveAvatars، يمكن أن يتحول بسهولة أثناء تحميل البيانات، مع عرض صورة بشرية غير مخيفة من البداية.

يزعم المؤلفون أن طريقةهم هي الأولى التي تتمكن حقًا من “بث” أفاتار غاوسي، وبالتأكيد الأولى التي تفعل ذلك بطريقة متقدمة، حيث يمكن للصورة أن تتطور بسهولة، ويمكن للأعين والشفتين أن تتم أولوية، بحيث يمكن للأفاتار أن يصبح قابلًا للحوار حتى عند تحميله جزئيًا:

انقر للعب. من موقع ProgressiveAvatars، توضيح لتحميل الاهتمام.

قبل ذلك، تم استخدام نهج “مستوى التفاصيل” في محاولات سابقة لتحسين أفاتار غاوسي، مشابهة لتحسينات ألعاب الفيديو، حيث يتم تحميل نسخ متتالية أكثر تفصيلًا لشخص ما وفقًا لما إذا كان يشغل مساحة كافية في شاشة العرض أو انتباه المشاهد ليكون يستحق الجهد.

من الطبيعي أن يتضمن ذلك كمية كبيرة من الأفاتار الزائدة “الاحتياطية”، ويفهم المؤلفون نهجهم على أنه نظام أكثر عقلانية. وبمعنى ما، يسمح هذا النهج أيضًا بإجراء التغييرات على شخصية غاوسي (أي، التخصيص) دون الحاجة إلى نشر هذه التغييرات عبر سلسلة من توأم مستوى التفاصيل.

مجال متجدد

إذا بدا هذا وكأنه مشكلة محددة، حسنًا، كانت خدمات بث الفيديو كذلك في الأيام التي كان فيها الحصول على أول ملحقات للعمل موكلة إلى النيرد المتاح.

تعد إمكانية التمثيل القائم على الذكاء الاصطناعي أكثر من مجرد أفاتار بشري، وتمتد إلى توليد المدينة، الألعاب، وإصدارات ثلاثية الأبعاد من مجالات متعددة الوسائط عبر الإنترنت – مثل الملابس الافتراضية، للتسوق:

انقر للعب. من مشروع 2024، نظرة خاطفة على مستقبل التسوق عبر الإنترنت “الجديد”. المصدر

في معظم هذه النصوص الأولى من أفاتار غاوسي، يتم عرض شخص واحد يغني ويمزح، أو ربما يتحدث؛ لكن هناك العديد من الحالات التي سوف تحتاج إلى عدة أشخاص، بالإضافة إلى الميزات البيئية والغموض – سينario حيث سوف تحدد أنظمة “الترياج” عالية الأداء حيث يحتاج بث البيانات إلى الأولوية، من أجل الحفاظ على المشاهد في اللحظة.

المقال الجديد هو ProgressiveAvatars: Progressive Animatable 3D Gaussian Avatars، ويأتي من ثلاثة باحثين في جامعة العلوم والتكنولوجيا في الصين في خفي.

الطريقة

تعتمد الطريقة في البداية على فيديو لرأس شخص. لكل إطار، يتم تطبيق نموذج FLAME المعلم للوجه بشكل قياسي، بحيث تتغير الشكل والتعبير مع مرور الوقت، بينما يبقى الهيكل الأساسي للشبكة ثابتًا. نظرًا لأن هيكل القاعدة لا يتغير، يمكن إعادة استخدام قالب FLAME الثابت وتحسينه بدلاً من إعادة بنائه من الصفر في كل لحظة، كما هو الحال في الأعمال السابقة:

يتم أولاً تطبيق شبكة FLAME المتبعة على فيديو الرأس، ثم يتم تثبيت الغاوسيات ثلاثية الأبعاد على كل وجه وتنمو هرمياً حيث تشير تدرجات الفضاء الشبكي إلى تفاصيل مفقودة.

تتم إضافة التفاصيل على الطبقات؛ يتم تقسيم السطح بشكل ضمني إلى هرم، ويتم تثبيت غاوسيات ثلاثية الأبعاد صغيرة على الأوجه في كل مستوى من مستويات التفاصيل.

尽管 الطبقات الأولى الأكثر خفة تعرف الشكل العام للرأس والحركة، فإن الطبقات الأرقام التالية توفر التقلبات الدقيقة والتشوهات الخفية والنسيج عالي التردد. يتم بعد ذلك تقديم الصور من هذه الغاوسيات باستخدام معالج غاوسي قابل للتفاضل ومدرب ضد لقطات حقيقية متعددة المناظير، بحيث يتعلم الأفاتار إعادة إنتاج مظهر الشخص الحقيقي.

خلال التدريب، ينمو هذا الهيكل تلقائيًا: المناطق التي تحتاج إلى المزيد من التفاصيل يتم تقسيمها بشكل أكبر، وتوجيهها بواسطة إشارات الفضاء الشبكي، بحيث تركز الجهد الحاسوبي حيث يحتمل أن يلاحظ المشاهد الأخطاء.

خلال الاستدلال، يسمح هذا الهيكل ببث تقدمي، حيث يمكن عرض نسخة خشنة من الأفاتار أولاً، ويمكن إضافة طبقات جديدة من الغاوسيات دون تغيير ما هو معروض بالفعل، مما يسمح بأفاتار يمكن تحريكه يظهر بسرعة ويتقدم تدريجياً مع وصول المزيد من البيانات.

يلاحظ المؤلفون أن النظام كله يعتمد على أولوية البيانات الواردة:

عندما تكون جميع الغاوسيات في مستوى معين متاحة، يتم تقديم النموذج الكامل بأعلى إ忠اء؛

البيانات والاختبارات

للاختبارات، تم تقييم الطريقة الجديدة على مجموعة بيانات NeRSemble، التي تتكون من مقاطع فيديو متعددة المناظير لكل موضوع، مع معلمات محددة عبر جميع المناظير:

أمثلة على تفسيرات متنوعة للموضوعات المضمنة في مجموعة بيانات NeRSemble المستخدمة في اختبارات ProgressiveAvatars. المصدر

تم تقليل الصور إلى 802x550px، وتم إنشاء خارطة خلفية، وتم تبني تقسيم التدريب والاختبار الأصلي.

تم استخدام محسّن Adam لتحديث المعلمات، مع معدل تعلم 1×10^-2 على جميع إحداثيات باري سنتريك. استمر التدريب لمدة 60,000 تكرار، مع توسيع الهيكل تلقائيًا كل 2,000 تكرار.

ابتداءً، قام المؤلفون باختبار إعادة بناء وتنمية الأفاتار: مهمة تحويل فيديو مسطح إلى نظام ثلاثي الأبعاد (x/y/x)، باستخدام تمثيل FLAME الكلاسيكي كشبكة مرجعية.

للاختبارات، تم استخدام مقاييس مثل نسبة الإشارة إلى الضوضاء القصوى، ومؤشر التشابه الهيكلي، ومؤشر التشابه اللحسي للصورة.

مقارنة نوعية على تركيبات جديدة ومحاكاة تعبيرية جديدة.

يؤكد المؤلفون:

‘طريقةنا تعيد بناء تفاصيل أكثر حدة في مناطق عديدة، خاصة حول الرقبة والكتفين والملابس. هذه المناطق تم تesselate بشكل خشن في قالب FLAME مقارنة بمناطق الوجه عالية الإشارة (مثل منطقة حول العين). ‘

‘نتيجة لذلك، غالبًا ما يخصص الأساليب السابقة عددًا قليلاً من الغاوسيات ثلاثية الأبعاد لهذه المناطق لتسجيل تفاصيلها بدقة. في المقابل، يزيد أسلوبنا التكيفي من عدد الغاوسيات ويعيد بناء الهيكل فقط حيث يلزم الأمر، مما يجعل التخصيص غير حساس لتسلسل FLAME غير المتساوي.’

كما يشير المؤلفون إلى أن نهجهم يتوافق مع الأساليب الحديثة، ويields أفاتار قابل للتشغيل مع-bandwidth بسيطة 5%:

مقارنة كمية على تركيبات جديدة ومحاكاة تعبيرية جديدة باستخدام PSNR وSSIM وLPIPS.

بعد ذلك، قام الباحثون باختبار تقديم تقدمي نفسه. تم إجراء هذا الاختبار على NVIDIA RTX 4090، مع 24Gb من VRAM، عند دقة 550x802px. في هذا السيناريو، يشير المؤلفون إلى أن ميزانية 25% سوف تستخدم جميع الغاوسيات من المستوى 1، بالإضافة إلى مجموعة فرعية من الغاوسيات من المستوى 2، مما يعطي نظرة خاطفة على كيفية تجميع الغاوسيات تفاصيل في المجموعات ذات الأرقام الأعلى، والمجموعات ذات الأرقام الأقل تبني بشكل أساسي القاعدة:

الأداء تحت ميزانيات بث مختلفة لتركيبات جديدة ومحاكاة تعبيرية جديدة، مما يظهر أن الجودة تتقارب بشكل مستمر أو تتجاوز أفاتار غاوسي مع بث المزيد من الغاوسيات والبيانات،

يقول المؤلفون:

‘مع بث 2.60 MB فقط (5% من الميزانية)، يصل الأفاتار بالفعل إلى جودة معقولة. مع بث غاوسيات أكثر، تتضح الهياكل الدقيقة مثل أزرار القميص والأسنان والشعر، بينما يتم الحفاظ على الاستقرار الزمني. ‘

‘عند 100% من البث، يصل أسلوبنا إلى جودة تقديم مشابهة لأساليب الدولة الفنية. ولا يقلل معدل الإطار بشكل كبير، على الأرجح لأن حمولة 3DGS لم تتجاوز بعد الحد الأقصى لGPU.’

然而، يشير المؤلفون إلى أن في سيناريوهات الواقع الافتراضي متعددة المستخدمين، سوف ينمو عدد الغاوسيات ثلاثية الأبعاد بسرعة إلى الحد الذي يصبح فيه تحويل GPU عائقًا. في هذه السيناريوهات الأثقل، يقدم الأسلوب المقترح ميزة من خلال السماح للنظام بالتضحية بعدد البريمات مقابل الجودة البصرية، مما يخفف الحمل دون انهيار العرض.

على الرغم من أن المقال لا يفصّل ذلك، يظهر موقع المشروع مقارنات اختبار إضافية، بما في ذلك مشروع MeGA الهجين:

انقر للعب. أحد مقاطع الفيديو الإضافية من موقع المقال، يقارن الأسلوب الجديد فيما يتعلق بتركيبات جديدة.

الاستنتاج

قد تدوم تقنية التقطير الغاوسي أو لا، أو قد تُنسى أكثر مما تُذكر فيما يتعلق بفجر التجارب التفاعلية القابلة للبث: التمثيلات القائمة على الذكاء الاصطناعي أو المعززة بالذكاء الاصطناعي ثلاثية الأبعاد، بما في ذلك دردشة الفيديو، التسوق الافتراضي، وتوجيه المسار، وتطبيقات الترفيه المتنوعة. قد تفوز تقنيات أو أساليب بديلة، أو يثبت أن التقطير الغاوسي هو أكثر تقنية تمثيل فيديو قائم على الذكاء الاصطناعي موثوقية.

على أي حال، هذا المقال الجديد يعلن عن بعض نطاق هذا المجال الجديد، بينما يذكرنا، ربما بشكل مشraki، bằng bande الباندويث القديمة.

* لا أعني بالـ “3D” نوع الخبرة التي تتطلب نظارات خاصة، بل بالأحرى الخبرات التي يكون للمحتوى المتعددة الوسائط بعض الفهم لتنسيق X/Y/Z.

نشر لأول مرة يوم الأربعاء، 18 مارس 2026