Sohrab Hosseini, Co-Fondatore di orq.ai – Serie di Interviste

Sohrab Hosseini, Co-Fondatore di orq.ai, è un leader tecnologico e imprenditore con sede nell’area di Amsterdam, con una profonda esperienza in SaaS, sistemi su larga scala e intelligenza artificiale applicata. Dal momento della fondazione di orq.ai nel 2022, si è concentrato sulla costruzione di infrastrutture pratiche che aiutano le squadre a spostare i modelli linguistici di grandi dimensioni dall’esperimentazione all’uso di produzione affidabile. Il suo background include ruoli di leadership senior come COO e CTO di Neocles, CTO di Future Technology di Transdev, dove ha lavorato sull’routing autonomo e la gestione della flotta, e COO di TradeYourTrip. In parallelo, è attivo come consulente e investitore angelico, supportando le aziende di intelligenza artificiale in fase iniziale con la direzione del prodotto, il giudizio tecnico e la strategia di esecuzione.

orq.ai è una piattaforma di collaborazione e LLMOps generativa AI costruita per aiutare le organizzazioni a progettare, operare e scalare prodotti e agenti alimentati da intelligenza artificiale in ambienti del mondo reale. La piattaforma unisce la gestione delle prompt, l’esperimentazione, la raccolta di feedback e la visibilità in tempo reale delle prestazioni e dei costi in un unico spazio di lavoro, restando compatibile con tutti i principali fornitori di modelli linguistici di grandi dimensioni. Abilitando una stretta collaborazione tra squadre tecniche e non tecniche, orq.ai aiuta le aziende a ridurre i cicli di rilascio, migliorare la governance e la trasparenza, e ridurre la complessità e il costo di esecuzione dei sistemi di intelligenza artificiale in produzione.

Ha ricoperto ruoli tecnici e operativi senior in sistemi autonomi, tecnologia di gestione della flotta e piattaforme SaaS prima di fondare Orq.ai — come ha influenzato la sua carriera la decisione di costruire un livello di controllo aziendale per agenti di intelligenza artificiale nel 2022?

I nostri background sono sempre stati incentrati sul guidare squadre di ingegneria e sul focus sulle piattaforme di abilitazione; cose come cloud, DevOps e abilitazione dei dati, soprattutto durante il nostro periodo come consulenti tecnologici. Quando è iniziata la crescita dell’intelligenza artificiale generativa, io e il mio co-fondatore ci siamo chiesti: quale tipo di abilitazione avranno bisogno le aziende non solo per costruire intelligenza artificiale, ma anche per governarla e controllarla correttamente?

Abbiamo visto che il vero bisogno era per un livello di controllo aziendale per agenti di intelligenza artificiale. Ciò ci ha portato a costruire Orq.ai fin dall’inizio.

Quando ha lanciato Orq.ai, cosa ha visto nel mercato che lo ha convinto che il vero collo di bottiglia non era la qualità del modello, ma l’incapacità di spostare i sistemi agente dalle demo alla produzione affidabile?

Abbiamo sempre creduto che, quando si costruisce software innovativo, si deve costruire per il futuro. Fin dall’inizio, abbiamo assunto che i modelli linguistici di grandi dimensioni sarebbero migliorati e sarebbero diventati più intelligenti nel tempo. Quindi, la vera sfida che abbiamo visto non era la qualità del modello in sé, ma tutti i problemi di controllo, governance e gestione del ciclo di vita che sorgono quando si tenta di spostare da una demo a un ambiente di produzione reale.

In altre parole, anche se i modelli migliorano, il vero valore per i nostri clienti (e per noi) è assicurarsi che questi sistemi funzionino effettivamente in produzione in modo affidabile. E questo è ciò che abbiamo cercato di risolvere.

La maggior parte delle squadre può costruire prototipi impressionanti, ma lotta con l’orchestrazione in fase di esecuzione, la governance e il monitoraggio. Secondo la sua opinione, qual è il punto di rottura più grande quando le squadre di ingegneria tentano di scalare da un ambiente di proof-of-concept a un agente di produzione live?

Il punto di rottura più grande è che le squadre spesso pensano che sia un percorso lineare e diretto dalla costruzione di un agente alla sua conclusione. In realtà, è un processo molto iterativo.

Si è costantemente impegnati ad aggiustare le proprie ipotesi, testarle, spostarle in produzione e poi monitorare cosa accade nel mondo reale. Si trovano casi limite e poi si ricomincia da capo.

La sfida è che non è un sforzo una tantum; è un ciclo continuo di raffinamento. E per costruire su questo, non è solo che è iterativo, ma è che spesso non c’è abbastanza strumentazione o supporto per sostenere quel processo in modo fluido.

Si ha bisogno di un modo per far collaborare gli esperti di dominio, i responsabili del prodotto e gli ingegneri senza creare silos o passaggi costosi che sprechino molto tempo. Quindi, un’altra grande parte del puzzle è assicurarsi che tutti questi stakeholder possano iterare insieme in modo efficiente. E questo è qualcosa che abbiamo cercato di risolvere.

Orq.ai si posiziona come un livello di controllo unificato che copre sperimentazione, valutazione, osservabilità e fase di esecuzione. Perché ha creduto che un’architettura end-to-end fosse essenziale, piuttosto che offrire strumenti isolati come molte soluzioni puntuali?

Quando si inizia, è naturale scegliere uno strumento che risolva il proprio più grande problema in quel momento, spesso potrebbe essere l’osservabilità. Ma mentre la squadra evolve, si incontra il prossimo collo di bottiglia e si aggiunge un altro strumento, ad esempio un gateway AI. Prima che ci si renda conto, si hanno cinque o sette strumenti diversi nel proprio panorama. I dati si frammentano, le persone perdono la visibilità e si sprechano risorse solo per mantenere tutte queste integrazioni. Si perde quella visibilità unificata in tutto il ciclo di vita.

Abbiamo creduto che, mentre le aziende guidate da agenti emergono, si ha realmente bisogno di quell’architettura end-to-end. Si ha bisogno di una visibilità unificata di ciò che tutti gli agenti stanno facendo in tutta l’organizzazione, non solo soluzioni puntuali frammentate. È per questo che non abbiamo visto alcun’altra via se non quella di abbracciare quelle grandi parti del flusso di lavoro in una piattaforma unificata.

Con il nuovo Agent Studio e il runtime ridisegnato, quali sono stati i principali problemi che ha cercato di risolvere in base ai feedback dei primi clienti in Europa e negli Stati Uniti?

Quello che abbiamo visto è che le squadre utilizzavano tutte le librerie open-source per costruire i loro agenti, anche se l’architettura di un agente può essere abbastanza pulita e semplice. Finivano con librerie gonfie, molto sovraccarico e una grande curva di apprendimento solo per ottenere agenti semplici. Con Orq, abbiamo voluto scaricare quel fardello.

Invece di preoccuparsi dell’architettura, del calcolo, dell’autoscaling, di tutta l’infrastruttura, le squadre possono semplicemente concentrarsi sulla configurazione dei loro agenti e fornire loro gli strumenti e le API giuste. Noi gestiamo il lavoro pesante in modo che possano concentrarsi sulla costruzione dei loro casi d’uso reali. E inoltre, poiché supportiamo l’intero ciclo di vita, abbiamo costruito postazioni di lavoro specializzate che consentono di testare veramente gli agenti su larga scala.

Questo significa che è possibile trovare casi limite più velocemente e rafforzare gli agenti in modo più efficace. È tutto sul fornire alle squadre gli strumenti non solo per costruire agenti facilmente, ma anche per raffinarli e renderli più robusti in scenari del mondo reale, senza tutta la fatica extra.

Man mano che il GDPR e il Regolamento AI dell’UE stringono le richieste, come queste normative stanno influenzando il modo in cui le aziende progettano, monitorano e distribuiscono gli agenti — e come Orq.ai si sta adattando?

Non è tanto che queste richieste si stanno stringendo improvvisamente, ma sono semplicemente parte della legge, e i nostri clienti devono aderirvi. Quello che stiamo facendo è assicurarsi che in tutto il ciclo di vita, forniamo alle squadre gli strumenti giusti, gli valutatori e le barriere di protezione in modo che possano costruire la conformità fin dal primo giorno.

Ci assicuriamo che la residenza dei dati, la privacy dei dati e tutto il resto siano integrati fin dall’inizio. E con le tensioni geopolitiche e la spinta per la sovranità tecnologica e dell’intelligenza artificiale in Europa, abbiamo visto una grande domanda per questo. Dal momento che possiamo eseguire interamente on-premises e aiutare le aziende a ridurre la dipendenza, siamo in una buona posizione per aiutarle a mantenere il controllo del proprio destino.

Le aziende stanno sempre più chiedendo architetture pronte per la sovranità e distribuzioni ibride/on-premises. Cosa le dice questo spostamento sulla direzione dell’infrastruttura di intelligenza artificiale aziendale?

Ogni azienda e anche ogni caso d’uso coinvolge compromessi. È una questione di quanto pronti e quanto sicuri debbano essere. Sostengono ogni sfumatura lungo questo spettro. Ma quello che stiamo vedendo è un forte focus sulla sovranità e sulla residenza dei dati al livello del modello.

I clienti vogliono chiarezza su dove vivono i loro dati e la capacità di ridurre la dipendenza dai grandi fornitori cloud. Grazie al nostro gateway AI, che funziona su tutte le principali piattaforme cloud e on-premises, le squadre possono facilmente fare quei compromessi su base caso per caso. Ottengono la flessibilità per mantenere il controllo e spostarsi senza problemi tra ambienti.

Stiamo vedendo un’enorme ondata di domanda da parte delle grandi aziende e delle istituzioni del settore pubblico.

Come vede l’evoluzione dei flussi di lavoro multi-agente, delle barriere di sicurezza e dei sistemi di ragionamento più avanzati man mano che le aziende si spostano dall’esperimentazione alla vera industrializzazione degli agenti nel 2026?

Man mano che l’uso degli agenti si industrializza veramente, stiamo vedendo emergere nuovi tipi di problemi, soprattutto con le impostazioni multi-agente. Potresti avere decine o addirittura centinaia di agenti in esecuzione in tutta l’organizzazione in qualsiasi momento, proprio come i dipendenti.

La domanda è: come si governano tutti quando si ha questo insieme multidimensionale di problemi, come costi, qualità dei dati, residenza dei dati, correttezza, metriche di allucinazione e così via? Si ha bisogno di un nuovo livello di governance per gestire questo e si ha bisogno di barriere di sicurezza che possano essere distribuite dall’alto verso il basso.

Si ha bisogno di visibilità dall’alto verso il basso e di nuovi livelli di aggregazione in modo che il CFO, il COO, il CISO possano vedere cosa sta accadendo e intervenire con informazioni azionabili. Pensiamo veramente che nel 2026, questo intero concetto di “dipartimento degli agenti” e la tecnologia per supportarlo diventerà un argomento molto più caldo.

Gli agenti in deriva, la regressione della qualità e i flussi di dati poco chiari sono problemi ricorrenti nella produzione di intelligenza artificiale. Come il livello di controllo di Orq.ai affronta queste lacune di lunga data nella versione, nella valutazione e nel monitoraggio continuo?

Ogni agente ha veramente bisogno del suo own set di valutazioni. Queste valutazioni definiscono essenzialmente cosa è giusto e cosa è sbagliato per quella particolare scenari. Trascorrendo del tempo all’inizio per impostare correttamente questi set di valutazioni, le squadre possono fare meglio l’esperimentazione offline per vedere come le cose si comportano prima di andare live. E poi, monitorando queste stesse valutazioni online, è possibile rilevare quando i modelli si spostano o quando il comportamento dell’agente inizia a cambiare nel tempo. In questo modo, si ha un insieme coerente di metriche di qualità durante i test offline, il monitoraggio online e la protezione.

Guardando avanti, cosa pensa definirà la prossima generazione di agenti di intelligenza artificiale di livello aziendale — e come Orq.ai si sta posizionando per diventare la piattaforma operativa predefinita per quel mondo?

Guardando avanti, penso che ciò che definirà la prossima generazione di agenti di intelligenza artificiale di livello aziendale sarà che ogni fornitore fornirà i propri agenti. Nelle grandi aziende, sarà questo vasto panorama di agenti di prima e terza parte che lavorano insieme e si chiamano a vicenda.

Non sarà solo un tipo di agente o un fornitore; sarà un intero ecosistema che richiede governance e conformità. E questo è dove Orq entra in gioco. Ci stiamo posizionando come la torre di controllo degli agenti che fornisce ai diversi livelli dell’organizzazione la giusta visibilità aggregata e le informazioni azionabili per intervenire in qualsiasi fase.

Se si tratta di costruire, scalare, operare o anche dismettere gli agenti, diverse funzioni avranno bisogno di diverse viste di quel panorama. E saremo il fornitore predefinito per quella capacità.

Thank you per la grande intervista, i lettori che desiderano saperne di più possono visitare orq.ai.