אופיר קרקובסקי, מנכ"ל ומייסד שותף של Deepdub – סדרת ראיונות

אופיר קרקובסקי הוא המייסד השותף והמנכ"ל של Deepdub. עם 30 שנות ניסיון במדעי המחשב ולמידת מכונה, הוא מילא תפקיד מפתח בהקמה ובניהול מחלקת למידת מכונה וחדשנות בחיל האוויר הישראלי במשך 25 שנה.

דיפדאב היא חברת דיבוב המונעת על ידי בינה מלאכותית, הממנפת למידה עמוקה ושיבוט קולי כדי לספק לוקליזציה איכותית וניתנת להרחבה עבור סרטים, טלוויזיה ותוכן דיגיטלי. החברה נוסדה בשנת 2019, ומאפשרת ליוצרי תוכן לשמר הופעות מקוריות תוך תרגום חלק של דיאלוגים למספר שפות. על ידי שילוב סינתזת דיבור המונעת על ידי בינה מלאכותית עם פיקוח לשוני אנושי, Deepdub משפרת את נגישות התוכן הגלובלית, ומפחיתה את הזמן והעלות של דיבוב מסורתי. החברה זכתה להכרה בתעשייה על חדשנותה, ואבטחה שותפויות משמעותיות, הסמכות ומימון להרחבת טכנולוגיית הלוקליזציה של בינה מלאכותית ברחבי מגזר הבידור.

מה נתן לך השראה להקים את Deepdub בשנת 2019? האם היה רגע או אתגר מסוים שהובילו להקמתה?

דיבוב מסורתי היה זה מכבר הסטנדרט בתעשייה ללוקליזציה של תוכן, אך זהו תהליך יקר, גוזל זמן ומשאבים רבים. בעוד שקיימים פתרונות קוליים שנוצרו על ידי בינה מלאכותית, הם חסרו את העומק הרגשי הדרוש כדי ללכוד באמת את הביצועים של השחקן, מה שהפך אותם ללא מתאימים לתוכן מורכב ואיכותי.

זיהינו הזדמנות לגשר על הפער הזה על ידי פיתוח פתרון לוקליזציה המופעל על ידי בינה מלאכותית, אשר שומר על האותנטיות הרגשית של הביצוע המקורי תוך שיפור דרסטי ביעילות. פיתחנו את טכנולוגיית eTTS™ (Emotion-Text-to-Speech) הקניינית שלנו, אשר מבטיחה שקולות שנוצרו על ידי בינה מלאכותית יישאו את אותו משקל רגשי, טון וניואנס כמו שחקנים אנושיים.

אנו מדמיינים עולם שבו מחסומי שפה ותרבות אינם עוד מכשולים לנגישות תוכן גלובלית. ביצירת הפלטפורמה שלנו, זיהינו את האתגר של מגבלות שפה בתעשיות הבידור, הלמידה המקוונת, FAST ותעשיות אחרות, ויצאנו לחולל מהפכה בלוקליזציה של תוכן.

על מנת להבטיח שהפתרון של Deepdub יספק את הלוקליזציה והדיבוב האיכותיים ביותר עבור תוכן מורכב בקנה מידה גדול, החלטנו לנקוט בגישה היברידית ולשלב מומחים לשוניים וקוליים בתהליך, בשילוב עם טכנולוגיית eTTS™ שלנו.

החזון שלנו הוא לדמוקרטיזציה של הפקת קול, להפוך אותה לגמישה באופן נרחב, נגישה לאוניברסלית, מכילה ורלוונטית מבחינה תרבותית.

מהם כמה מהאתגרים הטכניים והעסקיים הגדולים ביותר שעמדתם בפניהם בעת השקת Deepdub, וכיצד התגברתם עליהם?

השגת אמון תעשיית הבידור הייתה מכשול מרכזי בעת השקת Deepdub. הוליווד הסתמכה על דיבוב מסורתי במשך עשרות שנים, והמעבר לפתרונות מבוססי בינה מלאכותית דרש הדגמה של יכולתנו לספק תוצאות באיכות אולפן בתעשייה שלעתים קרובות סקפטית כלפי בינה מלאכותית.

כדי להתמודד עם ספקנות זו, תחילה שיפרנו את האותנטיות של הקולות שלנו שנוצרו על ידי בינה מלאכותית על ידי יצירת בנק קולות מורשה במלואו. בנק זה משלב דגימות קול אנושיות אמיתיות, מה שמשפר משמעותית את הטבעיות והאקספרסיביות של התפוקה שלנו, שהיא קריטית לקבלה בהוליווד.

לאחר מכן, פיתחנו טכנולוגיות קנייניות, כגון eTTS™, יחד עם תכונות כמו בקרת מבטא. טכנולוגיות אלו מבטיחות שקולות שנוצרו על ידי בינה מלאכותית לא רק לוכדים עומק רגשי וניואנסים, אלא גם ידבקו באותנטיות האזורית הנדרשת לדיבוב באיכות גבוהה.

כמו כן, בנינו צוות פוסט-פרודקשן פנימי ייעודי שעובד בשיתוף פעולה הדוק עם הטכנולוגיה שלנו. צוות זה מכוונן את פלטי הבינה המלאכותית, ומבטיח שכל פיסת תוכן תהיה מלוטשת ועומדת בסטנדרטים הגבוהים של התעשייה.

יתר על כן, הרחבנו את גישתנו כך שתכלול רשת עולמית של מומחים אנושיים - מדבבים, בלשנים ובמאים מרחבי העולם. אנשי מקצוע אלה מביאים תובנות תרבותיות יקרות ערך ומומחיות יצירתית, ומשפרים את הדיוק התרבותי והתהודה הרגשית של התוכן המדובב שלנו.

צוות הבלשנות שלנו עובד בשיתוף פעולה עם הטכנולוגיה שלנו ומומחים בינלאומיים כדי להבטיח שהשפה בה נעשה שימוש מושלמת עבור ההקשר התרבותי של קהל היעד, ובכך להבטיח אותנטיות ועמידה בנורמות המקומיות.

באמצעות אסטרטגיות אלו, המשלבות טכנולוגיה מתקדמת עם צוות חזק של מומחים גלובליים וצוות פוסט-פרודקשן פנימי, Deepdub הצליחה להוליווד ולחברות הפקה מובילות אחרות ברחבי העולם כי בינה מלאכותית יכולה לשפר משמעותית את תהליכי העבודה המסורתיים של דיבוב. שילוב זה לא רק מייעל את ההפקה אלא גם מרחיב את האפשרויות להתרחבות השוק.

במה שונה טכנולוגיית הדיבוב המופעלת על ידי בינה מלאכותית של Deepdub משיטות דיבוב מסורתיות?

דיבוב מסורתי הוא תהליך עתיר עבודה ויכול להימשך חודשים לכל פרויקט, שכן הוא דורש שחקני קול, מהנדסי סאונד וצוותי פוסט-פרודקשן לשחזר ידנית דיאלוגים בשפות שונות. הפתרון שלנו מחולל מהפכה בתהליך זה על ידי הצעת פתרון היברידי מקצה לקצה - המשלב טכנולוגיה ומומחיות אנושית - המשולב ישירות בזרימות עבודה של פוסט-פרודקשן, ובכך מפחית את עלויות הלוקליזציה עד 70% ואת זמני התגובה עד 50%.

בניגוד לפתרונות קוליים אחרים שנוצרו באמצעות בינה מלאכותית, טכנולוגיית eTTS™ הקניינית שלנו מאפשרת רמה של עומק רגשי, אותנטיות תרבותית ועקביות קולית ששיטות מסורתיות מתקשות להשיג בקנה מידה גדול.

האם תוכל להסביר לנו את הגישה ההיברידית שבה משתמשת Deepdub - כיצד בינה מלאכותית ומומחיות אנושית פועלות יחד בתהליך הדיבוב?

המודל ההיברידי של Deepdub משלב את הדיוק וההרחבה של בינה מלאכותית עם היצירתיות והרגישות התרבותית של המומחיות האנושית. הגישה שלנו משלבת את האמנות של דיבוב מסורתי עם טכנולוגיית בינה מלאכותית מתקדמת, ומבטיחה שתוכן מקומי ישמור על האותנטיות הרגשית וההשפעה של המקור.

הפתרון שלנו ממנף בינה מלאכותית כדי להפוך את היבטי הבסיס של הלוקליזציה לאוטומטיים, בעוד שאנשי מקצוע אנושיים משפרים את הניואנסים הרגשיים, המבטאים והפרטים התרבותיים. אנו משלבים את טכנולוגיות ה-eTT™ הקנייניות שלנו ואת טכנולוגיות ה-Voice-to-Voice (V2V) שלנו כדי לשפר את ההבעה הטבעית של קולות שנוצרו על ידי בינה מלאכותית, ולהבטיח שהם לוכדים את העומק והריאליזם של הביצועים האנושיים. בדרך זו, אנו מבטיחים שכל פיסת תוכן תרגיש אמיתית ומשפיעה בצורתה המותאמת לאור כמו במקור.

בלשנים ואנשי מקצוע בתחום הקול ממלאים תפקיד מפתח בתהליך זה, שכן הם משפרים את הדיוק התרבותי של תוכן שנוצר על ידי בינה מלאכותית. ככל שהגלובליזציה ממשיכה לעצב את עתיד הבידור, שילוב הבינה המלאכותית עם האמנות האנושית יהפוך לסטנדרט הזהב ללוקליזציה של תוכן.

בנוסף, תוכנית המלגות לאמני קול שלנו מפצה שחקני קול מקצועיים בכל פעם שקולם משמש בדיבוב בעזרת בינה מלאכותית, מה שמבטיח שימוש אתי בטכנולוגיית בינה מלאכותית קולית.

כיצד טכנולוגיית eTTS™ (Emotion-Text-to-Speech) הקניינית של Deepdub משפרת את האותנטיות הקולית ואת העומק הרגשי בתוכן מדובב?

קולות מסורתיים שנוצרים על ידי בינה מלאכותית לרוב חסרים את הרמזים הרגשיים העדינים שהופכים את ההופעות למרתקות. כדי להתמודד עם מחסור זה, Deepdub פיתחה את טכנולוגיית eTTS™ הקניינית שלה, תוך מינוף מודלים של בינה מלאכותית ולמידה עמוקה כדי ליצור דיבור שלא רק שומר על העומק הרגשי המלא של הופעת השחקן המקורי, אלא גם משלב אינטליגנציה רגשית אנושית בתהליך האוטומטי. יכולת מתקדמת זו מאפשרת לבינה המלאכותית להתאים במדויק קולות מסונתזים כדי לשקף רגשות מכוונים כמו שמחה, כעס או עצב, ולהדהד באופן אותנטי עם הקהל. בנוסף, eTTS™ מצטיינת ביצירת שכפול קולי באיכות גבוהה, מחקה ניואנסים טבעיים בדיבור אנושי כמו גובה צליל, טון וקצב, חיוניים להעברת שורות אמיתיות ומרתקות. הטכנולוגיה גם משפרת את הרגישות התרבותית על ידי התאמה מיומנת של פלטים לשליטה במבטאים, תוך הבטחה שהתוכן המדובב מכבד ויישר קו עם ניואנסים תרבותיים, ובכך משפרת את המשיכה והיעילות הגלובלית שלו.

אחת הביקורות הנפוצות על קולות שנוצרו על ידי בינה מלאכותית היא שהם יכולים להישמע רובוטיים. כיצד Deepdub מבטיחה שקולות שנוצרו על ידי בינה מלאכותית ישמרו על טבעיות וניואנסים רגשיים?

הטכנולוגיה הקניינית שלנו משתמשת באלגוריתמים של למידה עמוקה ולמידת מכונה כדי לספק פתרונות דיבוב איכותיים וניתנים להרחבה, אשר שומרים על הכוונה המקורית, הסגנון, ההומור והניואנסים התרבותיים.

יחד עם טכנולוגיית eTTS™‎ שלנו, חבילת התוכנות החדשנית של Deepdub כוללת תכונות כמו Voice-to-Voice (V2V), שיבוט קולי, בקרת מבטא ובנק הרגשות הקולי שלנו, המאפשרים לצוותי הפקה לכוונן את ההופעות כך שיתאימו לחזון היצירתי שלהם. תכונות אלו מבטיחות שכל קול נושא את העומק הרגשי והניואנסים הדרושים לסיפור סיפורים מרתק וחוויות משתמש בעלות השפעה.

במהלך השנים האחרונות, ראינו הצלחה גוברת של הפתרונות שלנו בתעשיית המדיה והבידור, ולכן החלטנו לאחרונה לפתוח את הגישה לקריינות שלנו, שאושרה על ידי הוליווד, למפתחים, ארגונים ויוצרי תוכן. ממשק API של אודיו של בינה מלאכותיתה-API, המופעל על ידי טכנולוגיית eTTS™ שלנו, מאפשר יצירת קול בזמן אמת עם פרמטרים מתקדמים להתאמה אישית, כולל מבטא, טון רגשי, קצב וסגנון קולי.

מאפיין הדגל של ה-API שלנו הוא הגדרות האודיו המוגדרות מראש, שתוכננו על סמך שנים של ניסיון בתעשייה עם צרכי הקריינות המבוקשים ביותר. הגדרות מוגדרות מראש אלו מאפשרות למשתמשים להתאים במהירות סוגי תוכן שונים מבלי להזדקק לתצורה או חקירה ידנית נרחבת. האפשרויות הזמינות כוללות תיאורי שמע וספרי שמע, קריינות דוקומנטרית או מציאותית, דרמה ובידור, העברת חדשות, פרשנות ספורט, קריינות אנימה או מצוירים, מענה קולי אינטראקטיבי (IVR), כמו גם תוכן פרסומי ומסחרי.

דיבוב מבוסס בינה מלאכותית כרוך בהתאמה תרבותית ולשונית - כיצד Deepdub מבטיחה שפתרונות הדיבוב שלה מתאימים מבחינה תרבותית ומדויקים?

לוקליזציה אינה רק תרגום מילים - אלא תרגום משמעות, כוונה והקשר תרבותי. הגישה ההיברידית של Deepdub משלבת אוטומציה המונעת על ידי בינה מלאכותית עם מומחיות לשונית אנושית, ומבטיחה שהדיאלוג המתורגם משקף את הניואנסים התרבותיים והרגשיים של קהל היעד. רשת מומחי הלוקליזציה שלנו עובדת לצד בינה מלאכותית כדי להבטיח שתוכן מדובב יתאים לניבים, לביטויים ולרגישויות תרבותיות אזוריות.

מהם החידושים הכי מרגשים שאתם עובדים עליהם כרגע כדי לקדם את הדיבוב באמצעות בינה מלאכותית לשלב הבא?

אחת החידושים הגדולים ביותר שלנו היא דיבוב בשידור חי/סטרימינג, שיאפשר דיבוב בזמן אמת לשידורים חיים כמו אירועי ספורט וחדשות חדשות, ויהפוך אירועים גלובליים לנגישים באופן מיידי. על ידי שילוב זה עם חידוש מרגש נוסף שלנו, תכונת eTTs™ שלנו, טכנולוגיה קניינית המאפשרת יצירת קולות אנושיים מטקסט בקנה מידה גדול ועם תמיכה רגשית מלאה וזכויות מסחריות מובנות, נוכל להציע דיבוב חי איכותי, אותנטי, מרגש, שאין שני לו בשוק.

קחו לדוגמה את טקסי הפתיחה של האולימפיאדה או כל אירוע ספורט חי. בעוד שגופי שידור מקומיים בדרך כלל מספקים פרשנות בשפתם ובדיאלקט האזורי, טכנולוגיה זו תאפשר לצופים מכל רחבי העולם לחוות את האירוע המלא בשפת אמם בזמן שהוא מתפתח.

דיבוב חי יגדיר מחדש את האופן שבו חווים אירועים חיים ברחבי העולם, ויבטיח שהשפה לעולם לא תהיה מחסום.

דיבוב שנוצר באמצעות בינה מלאכותית ספג ביקורת בפרויקטים מסוימים לאחרונה. מהם לדעתך הגורמים המרכזיים המניעים ביקורות אלו?

הביקורות העיקריות נובעות מחששות בנוגע לאותנטיות, אתיקה ואיכות. לחלק מהקולות שנוצרו על ידי בינה מלאכותית חסרה התהודה הרגשית והניואנסים הדרושים לסיפור סיפורים סוחף. ב-Deepdub, התמודדנו עם בעיה זו על ידי פיתוח קולות בינה מלאכותית בעלי אקספרסיביות רגשית, תוך הבטחה שהם שומרים על נשמת הביצוע המקורי. Deepdub השיגה שביעות רצון יוצאת דופן של הצופים מעל 70% בכל הממדים, כולל ליהוק מעולה, דיאלוגים ברורים, סנכרון חלק וקצב מושלם.

נושא נוסף הוא השימוש האתי בקולות מבוססי בינה מלאכותית. Deepdub מובילה בדיבוב אחראי מבוסס בינה מלאכותית, וחלוצה בתוכנית התמלוגים הראשונה בתעשייה, אשר מפצה שחקני קול על הופעות שנוצרו באמצעות בינה מלאכותית. אנו מאמינים שבינה מלאכותית צריכה לשפר את היצירתיות האנושית, לא להחליף אותה, ומחויבות זו באה לידי ביטוי בכל מה שאנו בונים.

כיצד אתה רואה את דיבוב הבינה המלאכותית משנה את תעשיית הבידור העולמית ב-5-10 השנים הקרובות?

בעשור הקרוב, דיבוב המופעל על ידי בינה מלאכותית יהפוך תוכן לדמוקרטיזציה כמו שלא היה מעולם, ויהפוך סרטים, תוכניות טלוויזיה ושידורים חיים לנגישים לכל קהל, בכל מקום, בשפת האם שלהם באופן מיידי.

אנו מדמיינים עולם שבו פלטפורמות סטרימינג וגופי שידור משלבים דיבוב רב-לשוני בזמן אמת, מסירים מחסומים לשוניים ומאפשרים לסיפורים להתפשט רחוק יותר ומהר יותר ממה שאפשרו שיטות לוקליזציה מסורתיות.

מעבר לנגישות לשונית, דיבוב מבוסס בינה מלאכותית יכול גם לשפר את הגישה למדיה עבור עיוורים ולקויי ראייה. רבים מסתמכים על תיאורי שמע כדי לעקוב אחר תוכן חזותי, ודיבוב מבוסס בינה מלאכותית מאפשר להם לעסוק בתוכן בשפה זרה כאשר כתוביות אינן אפשרות נגישה. על ידי שבירת מחסומים לשוניים וחושיים כאחד, דיבוב המופעל על ידי בינה מלאכותית יסייע ביצירת חוויית בידור מכילה יותר לכולם, דבר קריטי במיוחד לאור העובדה שתקנות חדשות סביב נגישות מדיה נכנסות לתוקף השנה ברחבי העולם.

מהם כמה מהאתגרים הגדולים ביותר שעדיין צריכים לפתור כדי שדיבוב בינה מלאכותית יהפוך באמת למיינסטרים?

האתגרים הגדולים ביותר הם שמירה על איכות גבוהה במיוחד בקנה מידה גדול, הבטחת דיוק תרבותי ולשוני, וקביעת הנחיות אתיות לקולות שנוצרו על ידי בינה מלאכותית. עם זאת, מעבר למכשולים הטכניים, קבלת הציבור של דיבוב בינה מלאכותית תלויה באמון. הצופים צריכים להרגיש שקולות שנוצרו על ידי בינה מלאכותית משמרים את האותנטיות והעומק הרגשי של ההופעות במקום להישמע סינתטיים או מנותקים.

כדי שדיבוב מבוסס בינה מלאכותית יאומץ במלואו, הוא חייב להיות איכותי על ידי שילוב של אמנות אנושית וטכנולוגיה בקנה מידה גדול, וכן להפגין כבוד ליושרה יצירתית, ניואנסים לשוניים והקשר תרבותי. משמעות הדבר היא להבטיח שהקולות יישארו נאמנים לכוונת השחקנים המקורית, להימנע מאי דיוקים שעלולים להרחיק את הקהל, ולהתייחס לחששות אתיים סביב סיכוני דיפפייק ובעלות על הקול.

ככל שדיבוב מבוסס בינה מלאכותית הופך נפוץ יותר, ספקי טכנולוגיה חייבים ליישם סטנדרטים מחמירים לאותנטיות קולית, אבטחה והגנה על קניין רוחני. Deepdub מובילה באופן פעיל את המאמץ בתחומים אלה, ומבטיחה שטכנולוגיית קול מבוססת בינה מלאכותית משפרת את סיפור הסיפורים העולמי תוך כיבוד התרומה האמנותית והמקצועית של כישרונות אנושיים. רק אז קהל, יוצרי תוכן ובעלי עניין בתעשייה יאמצו באופן מלא את הדיבוב באמצעות בינה מלאכותית ככלי אמין ובעל ערך.

תודה על הראיון הנהדר, קוראים שרוצים ללמוד עוד צריכים לבקר דיפדאב.