יישום AI בעיבוד וידאו בזמן אמת: היסודות ועוד

מאת Maksym Tatariants, Data Science מהנדס ב-MobiDev.

אין דבר חדש בשימוש בבינה מלאכותית (AI) בעיבוד וידאו. אם תביטו מעבר לעיבוד תמונות – זה אחד מהשימושים הנפוצים ביותר ב-AI. ובדומה לעיבוד תמונות, עיבוד וידאו משתמש בטכניקות מוכרות כמו ראייה ממוחשבת, זיהוי אובייקטים, למידת מכונה ולמידה עמוקה כדי לשפר את התהליך. 

בין אם אתם משתמשים בראייה ממוחשבת ו-NLP בעריכת וידאו ויצירה, זיהוי אובייקטים במשימות תיוג אוטומטי של תוכן וידאו, למידת מכונה כדי לזרום ניתוח וידאו AI, או למידה עמוקה כדי לזרז הסרת רקע בזמן אמת, המקרים הם הולכים וגדלים יום יום.

המשיכו לקרוא כדי ללמוד מה גישה אתם יכולים לקחת כאשר מדובר בשימוש ב-AI בעיבוד וידאו.

יסודות עיבוד וידאו בזמן אמת

בואו נתחיל עם היסודות. עיבוד וידאו בזמן אמת הוא טכנולוגיה חשובה במערכות מעקב המשתמשות בזיהוי אובייקטים ופנים. זוהי גם התהליך שמניע את התוכנה לבדיקה ויזואלית AI בתעשייה.

איך עובד עיבוד וידאו? עיבוד וידאו כולל סדרת צעדים, שכוללים פיענוח, חישוב וקידוד. ראו מה אתם צריכים לדעת:

• פיענוח: התהליך הנדרש כדי להמיר וידאו מקובץ מנוסח לחזרה לפורמט הגולמי שלו.
• חישוב: פעולה ספציפית המבוצעת על פריים וידאו גולמי.
• קידוד: התהליך של המרה מחדש של הפריים המעובד בחזרה למצבו המנוסח המקורי.

עכשיו, המטרה של כל משימת עיבוד וידאו היא להשלים את הצעדים האלה במהירות ובדיוק ככל האפשר. הדרכים הקלות ביותר להשגת זאת כוללות: עבודה במקביל ואופטימיזציה של האלגוריתם למהירות. במילים פשוטות? אתם צריכים לנצל את הפיצול הקובץ וארכיטקטורת הצינור.

מהו פיצול קובץ וידאו?

פיצול קובץ וידאו מאפשר לאלגוריתמים לעבוד במקביל, מה שמאפשר להם להשתמש במודלים איטיים יותר ומדויקים יותר. זה מושג באמצעות פיצול וידאו לחלקים נפרדים שנעובדים בו-זמנית.

אתם יכולים לחשוב על פיצול קובץ וידאו כסוג של יצירת קובץ וירטואלי ולא יצירת תת-קובץ. 

על אף זאת, פיצול קובץ וידאו אינו האפשרות הטובה ביותר לעיבוד וידאו בזמן אמת. למה בדיוק? תהליך זה הופך את זה קשה עבורכם להפסיק, לחדש ולהילוך אחורה קובץ בזמן שהוא מעובד.

מהו ארכיטקטורת צינור?

מקור: https://mobidev.biz/blog/ai-computer-vision-real-time-video-processing

האפשרות האחרת היא ארכיטקטורת צינור. תהליך זה עובד לפצל ולמקביל את המשימות המבוצעות במהלך העיבוד, ולא פיצול ישיר של הווידאו.

ראו דוגמה מהירה של מה נראית ארכיטקטורת צינור בפועל, ואיך היא יכולה לשמש במערכת מעקב וידאו כדי לגלות ולטשטש פנים בזמן אמת.

מקור: https://www.kdnuggets.com/2021/02/deep-learning-based-real-time-video-processing.html

בדוגמה זו, הצינור פיצל את המשימות לפיענוח, גילוי פנים, טשטוש פנים וקידוד. ואם אתם רוצים לשפר את מהירות הצינור, אתם יכולים להשתמש בטכניקות למידה עמוקה.

פיענוח וקידוד – הסבר

מה עם פיענוח וקידוד? יש שני דרכים להשלים את התהליכים האלה: תוכנה וחומרה.

אתם כבר עשויים להיות מוכרים עם המושג של חישוב מאיץ. תהליך זה מתאפשר הודות למפענחים ומקודדים המותקנים בכרטיסי הגרפיקה של NVIDIA האחרונים, וכן לליבות CUDA.

איזה אפשרויות יש לכם זמינות כאשר מדובר בחישוב מאיץ לתהליכים של קידוד ופיענוח? ראו כמה מהאפשרויות הפופולריות יותר:

• הידור OpenCV עם תמיכה ב-CUDA: הידור OpenCV עם אופטימיזציה ל-CUDA משפר הן את הפיענוח והן את חישובי הצינור שמשתמשים ב-OpenCV. תזכורו – תצטרכו לכתוב אותם ב-C++ מאחר שהמעטפת של Python אינה תומכת בזה. אבל במצבים שדורשים הן פיענוח והן חישובים נומריים עם כרטיס גרפי ללא העתקה מזיכרון CPU, זה עדיין אחת הבחירות הטובות יותר.

• הידור FFmpeg או GStreamer עם תמיכה ב-NVDEC/NVENC Codecs: אפשרות אחרת היא להשתמש במפענח ומקודד NVIDIA המובנים עם התקנות מותאמות של FFmpeg ו-Gstreamer. עם זאת, מומלץ להשתמש ב-FFmpeg אם אפשר מאחר שהוא דורש פחות תחזוקה. כמו כן, רוב הספריות מונעות על ידי FFmpeg, מה שאומר שאתם תשפרו אוטומטית את ביצועי הספרייה על ידי החלפתה.

• השתמש ב-NVIDIA Video Processing Framework: האפשרות הסופית היא להשתמש במעטפת Python כדי לפענח את הפריים ישירות לטנסור PyTorch על הכרטיס הגרפי. אפשרות זו מסירה העתקה נוספת מ-CPU לכרטיס גרפי.

גילוי פנים וטשטוש

מודלים של גילוי אובייקטים (SSDs או RetinaFace) הם אפשרות פופולרית לגילוי פנים. פתרונות אלה עובדים למקם את הפנים האנושיות בפריים. ועל פי ניסיוננו, אנו נוטים להעדיף את מודלי עקבות הפנים של Caffe וגילוי אובייקטים של TensorFlow, מאחר שהם סיפקו את התוצאות הטובות ביותר. בנוסף, שניהם זמינים באמצעות מודול dnn של OpenCV.

איך ממשיכים לאחר שפנים זוהו? לאחר מכן, המערכת המבוססת Python ו-OpenCV תגלה קופסאות חסימה ובטיחות גילוי. לבסוף, אלגוריתם טשטוש מוחל על אזורים מקורזלים.

איך אתם יכולים לבנות תוכנה לעיבוד וידאו חי עם AI?

אין סוד בכך שעיבוד וידאו, הקודקים המניעים אותו והחומרה והתוכנה הנדרשות הם טכניים בטבעם.

עם זאת, זה לא אומר שאתם לא יכולים להשתמש בכלים האלה כדי לבנות את תוכנת עיבוד הווידאו החיה שלכם. 

ראו סקירה קצרה של מה שאתם צריכים לעשות:

1. התחילו בכך שתסדרו את רשת הנוירונים המאומנת מראש שלכם כדי להשלים את המשימות הנדרשות.
2. קנפו את תשתית הענן שלכם כדי לטפל בעיבוד וידאו ולהתאים אותה כרצונכם.
3. בנו חוקר תוכנה כדי לרכז את התהליך ולש