Даниел Чолек, ръководител на отдел „Проучване и развитие“ в InvGate – Серия от интервюта

Даниел е страстен ИТ професионалист с повече от 15 години опит в индустрията. Има докторска степен. по компютърни науки и дълга кариера в технологичните изследвания. Интересите му попадат в множество области, като изкуствен интелект, софтуерно инженерство и високопроизводителни изчисления.

Даниел е ръководител на отдела за изследвания и развитие в InvGate, където ръководи инициативите за научноизследователска и развойна дейност. Той работи заедно с екипите за продуктово и бизнес развитие, за да проектира, внедри и наблюдава стратегията за научноизследователска и развойна дейност на компанията. Когато не проучва, той преподава.

InvGate дава възможност на организациите чрез предоставяне на инструменти за предоставяне на безпроблемно обслужване в отделите, от ИТ до съоръжения.

Кога и как първоначално се заинтересувахте от компютърни науки?

Интересът ми към компютърните науки датира от ранното ми детство. Винаги съм бил очарован от електронните устройства, често се оказвах, че проучвам и се опитвам да разбера как работят. Когато пораснах, това любопитство ме насочи към кодирането. Все още помня забавлението, което изпитах, докато пишех първите си програми. От този момент нататък в съзнанието ми нямаше съмнение, че искам да преследвам кариера в компютърните науки.

В момента ръководите инициативи за научноизследователска и развойна дейност и внедрявате нови генеративни AI приложения. Можете ли да обсъдите част от работата си?

Абсолютно. В нашия отдел за научноизследователска и развойна дейност ние се захващаме със сложни проблеми, чието представяне и решаване може да бъде предизвикателство. Нашата работа не се ограничава до генеративни AI приложения, но последните постижения в тази област създадоха изобилие от възможности, които искаме да използваме.

Една от основните ни цели в InvGate винаги е била да оптимизираме използваемостта на нашия софтуер. Правим това, като наблюдаваме как се използва, идентифицираме тесните места и усърдно работим за отстраняването им. Едно такова затруднение, което често сме срещали, е свързано с разбирането и използването на естествения език. Това беше особено труден проблем за решаване без използването на големи езикови модели (LLM).

Въпреки това, с неотдавнашната поява на рентабилни LLM, ние успяхме да рационализираме тези случаи на употреба. Нашите възможности сега включват предоставяне на препоръки за писане, автоматично изготвяне на статии от базата знания и обобщаване на обширни части от текст, наред с много други езикови функции.

В InvGate вашият екип прилага стратегия, която се нарича „агностичен AI“. Бихте ли дефинирали какво означава това и защо е важно?

Agnostic AI е основно свързан с гъвкавостта и адаптивността. По същество става въпрос за това да не се обвързвате с нито един AI модел или доставчик. Вместо това, ние се стремим да запазим възможностите си отворени, като използваме най-доброто, което всеки доставчик на AI предлага, като същевременно избягваме риска от блокиране в една система.

Можете да мислите за това по следния начин: трябва ли да използваме GPT на OpenAI, Gemini на Google или Llama-2 на Meta за нашите генеративни AI функции? Трябва ли да изберем внедряване в облака с разплащане, управляван екземпляр или самостоятелно хоствано внедряване? Това не са тривиални решения и може дори да се променят с течение на времето с пускането на нови модели и навлизането на нови доставчици на пазара.

Подходът на Agnostic AI гарантира, че нашата система винаги е готова да се адаптира. Нашата реализация има три ключови компонента: интерфейс, рутер и самите AI модели. Интерфейсът абстрахира подробностите за внедряването на AI системата, което улеснява други части на нашия софтуер да взаимодействат с нея. Рутерът решава къде да изпрати всяка заявка въз основа на различни фактори като вида на заявката и възможностите на наличните AI модели. И накрая, моделите изпълняват действителните задачи на AI, които може да изискват персонализирана предварителна обработка на данни и процеси на форматиране на резултата.

Можете ли да опишете методологическите аспекти, които ръководят вашия процес на вземане на решения, когато избирате най-подходящите модели и доставчици на AI за конкретни задачи?

За всяка нова функция, която разработваме, започваме със създаване на бенчмарк за оценка. Този бенчмарк е предназначен да оцени ефективността на различни AI модели при решаването на поставената задача. Но ние не се фокусираме само върху производителността, ние също така вземаме предвид скоростта и цената на всеки модел. Това ни дава цялостен поглед върху стойността на всеки модел, което ни позволява да изберем най-рентабилната опция за маршрутизиране на заявки.

Нашият процес обаче не свършва дотук. В бързо развиващата се област на AI непрекъснато се пускат нови модели, а съществуващите се актуализират редовно. Така че, всеки път, когато стане наличен нов или актуализиран модел, ние пускаме отново нашия бенчмарк за оценка. Това ни позволява да сравним производителността на новия или актуализиран модел с тази на текущия ни избор. Ако нов модел превъзхожда текущия, ние актуализираме нашия рутер модул, за да отразим тази промяна.

Какви са някои от предизвикателствата на безпроблемното превключване между различни AI модели и доставчици?

Безпроблемното превключване между различни AI модели и доставчици наистина представлява набор от уникални предизвикателства.

Първо, всеки доставчик на AI изисква входове, форматирани по специфични начини, а моделите на AI могат да реагират по различен начин на едни и същи заявки. Това означава, че трябва да оптимизираме индивидуално за всеки модел, което може да бъде доста сложно предвид разнообразието от опции.

Второ, AI моделите имат различни възможности. Например, някои модели могат да генерират изход във формат JSON, функция, която се оказва полезна в много от нашите реализации. Други могат да обработват големи количества текст, което ни позволява да използваме по-изчерпателен контекст за някои задачи. Управлението на тези възможности за максимизиране на потенциала на всеки модел е съществена част от нашата работа.

И накрая, трябва да гарантираме, че генерираните от AI отговори са безопасни за използване. Генеративните AI модели понякога могат да предизвикат „халюцинации“ или да генерират отговори, които са неверни, извън контекста или дори потенциално вредни. За да смекчим това, ние прилагаме строги филтри за дезинфекция след обработка, за да откриваме и филтрираме неподходящи отговори.

Как е проектиран интерфейсът във вашата агностична AI система, за да се гарантира, че той ефективно абстрахира сложността на основните AI технологии за удобни за потребителя взаимодействия?

Дизайнът на нашия интерфейс е съвместно усилие между R&D и инженерните екипи. Ние работим на базата на функция по функция, като определяме изискванията и наличните данни за всяка функция. След това проектираме API, който безпроблемно се интегрира с продукта, внедрявайки го в нашата вътрешна AI-Service. Това позволява на инженерните екипи да се съсредоточат върху бизнес логиката, докато нашата AI-Service се справя със сложността на работа с различни доставчици на AI.

Този процес не разчита на авангардни изследвания, а вместо това на прилагането на доказани практики за софтуерно инженерство.

Имайки предвид глобалните операции, как InvGate се справя с предизвикателството на регионалната наличност и спазването на местните разпоредби за данни?

Осигуряването на регионална наличност и съответствие с местните разпоредби за данни е важна част от нашите операции в InvGate. Ние внимателно подбираме доставчици на AI, които могат не само да работят в мащаб, но и да поддържат най-високи стандарти за сигурност и да отговарят на регионалните разпоредби.

Например, ние разглеждаме само доставчици, които се придържат към разпоредби като Общия регламент за защита на данните (GDPR) в ЕС. Това гарантира, че можем безопасно да внедрим нашите услуги в различни региони, с увереността, че работим в рамките на местната правна рамка.

Основните доставчици на облачни услуги като AWS, Azure и Google Cloud отговарят на тези изисквания и предлагат широка гама от функционалности на AI, което ги прави подходящи партньори за нашите глобални операции. Освен това, ние непрекъснато наблюдаваме промените в местните разпоредби за данни, за да гарантираме постоянно съответствие, коригирайки нашите практики, ако е необходимо.

Как се разви подходът на InvGate към разработването на ИТ решения през последното десетилетие, особено с интегрирането на Generative AI?

През последното десетилетие подходът на InvGate към разработването на ИТ решения се разви значително. Разширихме нашата база от функции с разширени възможности като автоматизирани работни потоци, откриване на устройства и база данни за управление на конфигурацията (CMDB). Тези функции значително опростиха ИТ операциите за нашите потребители.

Наскоро започнахме да интегрираме GenAI в нашите продукти. Това стана възможно благодарение на скорошния напредък в LLM доставчиците, които започнаха да предлагат рентабилни решения. Интегрирането на GenAI ни позволи да подобрим нашите продукти с поддръжка, базирана на AI, правейки нашите решения по-ефективни и удобни за потребителя.

Въпреки че все още е рано, ние прогнозираме, че AI ще стане повсеместен инструмент в ИТ операциите. Като такива, ние планираме да продължим да развиваме нашите продукти чрез допълнително интегриране на AI технологии.

Можете ли да обясните как генериращият AI в AI Hub подобрява скоростта и качеството на отговорите на често срещани ИТ инциденти?

Генеративният AI в нашия AI Hub значително подобрява както скоростта, така и качеството на отговорите на често срещани ИТ инциденти. Той прави това чрез многоетапен процес:

Първоначален контакт: Когато потребител срещне проблем, той или тя може да отвори чат с нашия базиран на AI виртуален агент (VA) и да опише проблема. VA търси автономно в базата знания (KB) на компанията и публична база данни с ръководства за отстраняване на неизправности в ИТ, предоставяйки насоки в разговорен начин. Това често решава проблема бързо и ефективно.

Създаване на билет: Ако проблемът е по-сложен, VA може да създаде билет, автоматично извличайки подходяща информация от разговора.

Задаване на билети: Системата присвоява билета на агент по поддръжката въз основа на категорията на билета, приоритета и опита на агента с подобни проблеми.

Взаимодействие с агент: Агентът може да се свърже с потребителя за допълнителна информация или да го уведоми, че проблемът е решен. Взаимодействието е подобрено с AI, предоставяйки препоръки за писане за подобряване на комуникацията.

ескалация: Ако проблемът изисква ескалация, функциите за автоматично обобщаване помагат на мениджърите бързо да разберат проблема.

Анализ след смъртта: След като билетът бъде затворен, AI извършва анализ на първопричината, подпомагайки анализа след смъртта и докладите. Агентът може също да използва AI, за да изготви статия в базата знания, улеснявайки разрешаването на подобни проблеми в бъдеще.

Въпреки че вече сме внедрили повечето от тези функции, ние непрекъснато работим върху допълнителни подобрения и подобрения.

С предстоящите функции като по-интелигентния виртуален агент на MS Teams, какви са очакваните подобрения в разговорната поддръжка?

Един обещаващ път напред е да се разшири разговорното изживяване до „втори пилот“, способен не само да отговаря на въпроси и да предприема прости действия, но и да предприема по-сложни действия от името на потребителите. Това може да бъде полезно за подобряване на възможностите за самообслужване на потребителите, както и за предоставяне на допълнителни мощни инструменти на агентите. В крайна сметка тези мощни интерфейси за разговори ще направят AI повсеместен спътник.

Благодаря ви за страхотното интервю, читателите, които искат да научат повече, трябва да го посетят InvGate.