Jay Mishra, COO di Astera Software – Serie di Interviste

Jay Mishra è il Chief Operating Officer (COO) di Astera Software, un fornitore in rapida crescita di soluzioni di dati pronte per l’impresa. Aiutano gli utenti aziendali a colmare il divario tra dati e informazioni con una suite di soluzioni di estrazione dei dati, qualità dei dati, integrazione dei dati, data warehousing e scambio di dati elettronici, che vengono utilizzate da aziende di medie e grandi dimensioni in una vasta gamma di settori.

Cosa ti ha inizialmente attirato verso l’informatica?

Ho sempre avuto una profonda passione per la matematica e il mio ingresso nell’informatica è stato una naturale estensione di questo. La mia formazione universitaria era in Matematica e Informatica e mi ha affascinato il passaggio logico dal mondo della matematica al regno dell’informatica. Ciò che mi ha particolarmente colpito sono stati i meccanismi intricati degli algoritmi e dei processi algoritmici avanzati, che mi hanno portato a perseguire una specializzazione in algoritmi durante il mio Master in Informatica. Da allora, la mia connessione con l’informatica è rimasta forte e mi sforzo costantemente di stare al passo con gli ultimi sviluppi nel settore.

Attualmente sei il COO di Astera, potresti condividere con noi cosa comporta il tuo ruolo quotidiano?

Come COO di Astera, il mio ruolo è multifacético, riflesso della natura dinamica della nostra azienda. Sono stato con Astera fin dalla sua nascita e le mie responsabilità hanno coperto varie aree dell’organizzazione. Ciò include tutto, dalla partecipazione attiva allo sviluppo e alla codifica dei nostri prodotti all’assicurarsi che le nostre funzionalità si allineino alle esigenze dei nostri clienti in evoluzione. Lavoro a stretto contatto con i nostri clienti, lavorando in tandem con loro per raffinare le nostre soluzioni. Il mio ruolo si estende oltre lo sviluppo del prodotto per abbracciare le vendite e il marketing, dove portiamo le nostre offerte sul mercato.

Poiché siamo in una fase di crescita, ho assunto responsabilità aggiuntive, tra cui la supervisione dei nostri obiettivi di ricavo e l’espansione strategica del nostro portfolio di prodotti per raggiungere nuovi mercati. In sostanza, ho una mano in quasi ogni aspetto delle nostre operazioni, assicurandomi che non solo costruiamo prodotti eccezionali, ma li portiamo anche con successo sul mercato e raggiungiamo i nostri obiettivi aziendali.

Per i lettori che non conoscono questo termine, cosa è il data warehousing?

Il data warehousing è un modello architettonico utilizzato per consolidare tutti i dati aziendali in un repository centralizzato che servirà come base per generare vari tipi di analisi, report e dashboard che presenteranno l’immagine reale di dove si trova l’azienda e prevederanno anche come l’azienda si svilupperà in futuro. Per soddisfare tutto ciò, si riuniscono i dati in un certo modo e quell’architettura si chiama data warehouse.

Il termine è effettivamente preso da un magazzino reale dove i prodotti sono archiviati su scaffali organizzati. Ma quando si entra nel mondo dei dati, si riuniscono i dati da varie fonti. Si riuniscono i dati dalla produzione, dal sito web, dai clienti, dalle vendite e dal marketing, dalla finanza e dal reparto delle risorse umane. Si riuniscono tutti i dati in un unico luogo e quello che verrà chiamato data warehouse è progettato in un certo modo in modo che la creazione di report, in particolare in base alla timeline, sia facile. Quello è lo scopo principale di un data warehouse.

Quali sono alcune delle principali tendenze nel data warehousing attualmente?

Il data warehousing è evoluto notevolmente negli ultimi 20-25 anni. Circa un decennio fa, abbiamo assistito all’emergere del data warehousing automatizzato, un cambiamento di paradigma che ha accelerato il processo di creazione di modelli di dati e data warehouse. Recentemente, l’automazione ha preso il centro della scena. Affronta la natura ripetitiva dei compiti di data warehousing, semplificando i processi per risparmiare tempo e risorse.

Il nostro prodotto, Astera Data Warehouse Builder, ad esempio, offre un approccio olistico all’automazione nel data warehousing. Copre tutto, dall’automazione dei pipeline ETL (Extract, Transform, Load) e della modellazione dei dati all’automatizzazione del caricamento dei dati in strutture come schemi stellari o data vault. Inoltre, mantiene efficientemente queste strutture attraverso meccanismi di Change Data Capture (CDC). Questa automazione completa è emersa come una tendenza chiave nel paesaggio del data warehousing.

Inoltre, l’ultima tendenza è la fusione tra data warehousing e intelligenza artificiale (AI). In particolare, l’AI generativa ha portato l’automazione a nuove altezze. Non solo automatizza i compiti, ma aiuta anche gli utenti nella presa di decisioni.

La configurazione dei componenti del data warehousing, dei pipeline e dei punti di decisione può essere guidata dall’AI, rendendo il data warehousing più potente ed efficiente che mai. In sostanza, si tratta di automazione su steroidi e sta trasformando il paesaggio del data warehousing. L’intersezione tra AI e data warehousing è una tendenza che promette molto per il futuro.

Quali sono i quattro principi fondamentali che le aziende dovrebbero considerare per lo sviluppo del loro data warehouse?

1. Definire obiettivi chiari

È essenziale iniziare comprendendo esattamente cosa si desidera ottenere dal proprio data warehouse. Evitare la trappola comune di raccogliere dati eccessivi senza uno scopo chiaro. Invece, identificare gli obiettivi specifici che si desidera raggiungere con il data warehouse. Quali report e informazioni si stanno cercando? Concentrandosi sugli obiettivi, è possibile assicurarsi di raccogliere solo i dati pertinenti, anziché accumulare indiscriminatamente grandi quantità di informazioni. Data la diminuzione dei costi di archiviazione e di calcolo, è fondamentale utilizzare queste risorse in modo intelligente ed etico.

2. Scegliere il modello architettonico giusto

I modelli architettonici sono molto importanti. Decidono se la soluzione di data warehousing sarà di successo o no. Ci sono varie opzioni, che vanno dal data warehousing di stile Inmon ai schemi stellari di Ralph Kimball, nonché nuovi modelli come Data Vault e l’approccio di una sola grande tabella sostenuto dai vendor di database columna. Non tutti i modelli saranno adatti a ogni scenario.

Stiamo vedendo principalmente una combinazione di schema stellare che siede in cima a un data vault. Quindi, una combinazione di Data Vault e Star Schema è ancora il modello più ampiamente utilizzato. Ma, come ho detto, per ogni requisito o per ogni scenario ci sarà una risposta diversa. Quindi, eseguire il passaggio attraverso gli esperti, vedere quale modello architettonico è adatto al proprio scenario.

3. Selezionare gli strumenti giusti

Sono molto importanti e fanno una grande differenza ancora una volta sul tempo e le risorse necessarie per costruire una soluzione e anche sulla qualità della soluzione, che è determinata dai prodotti che si utilizzeranno per costruire e mantenere il data warehouse. Prestare molta attenzione alle capacità del prodotto e guardare i prodotti che possono portare sotto un unico ombrello la maggior parte dei requisiti. Ci sono aree come ETL (Extract, Transform, Load), qualità dei dati, modellazione dei dati, caricamento dei dati e pubblicazione dei dati che giocano un ruolo significativo. Se si tenta di utilizzare più prodotti per ciascuna di queste aree, sarà difficile. Quindi, guardare i prodotti che possono essere utilizzati per fare la maggior parte, se non tutti, i diversi componenti.

4. Il tuo team

Ultimo ma non meno importante, il team di persone che si riuniscono per costruire la soluzione del data warehouse è la parte più importante. Consigliamo di avere qualcuno con una forte formazione in modelli architettonici dei dati. In termini di composizione del team, i team cross-funzionali sono il modo migliore per procedere, dove si ha una miscela di utenti aziendali e persone con alcune competenze di programmazione o almeno competenze nei dati e avere una stretta collaborazione tra i custodi dei dati, le persone che sono responsabili dei dati e, naturalmente, l’azienda. Fostering una stretta cooperazione tra questi diversi aspetti dell’organizzazione, è possibile creare un team coeso ed efficace responsabile della costruzione e della manutenzione della soluzione di data warehousing.

Il successo nel data warehousing dipende dal raggiungimento di un equilibrio tra questi quattro principi. Questi principi, quando seguiti con cura, si sono rivelati una ricetta per il successo nella nostra esperienza.

Perché le aziende hanno bisogno di uno stack di dati moderno?

Dipende da come definiamo “moderno” e che continua a cambiare, a volte per anno, mese e anche per giorno. Dobbiamo considerare set di strumenti moderni progettati con il cambiamento del paesaggio dei dati in mente. Negli ultimi anni, ci sono stati cambiamenti significativi nella natura e nel volume dei dati. L’ascesa dei Big Data ha trasformato il paesaggio dei dati, con dati che affluiscono da fonti come siti web di e-commerce, database di produzione e varie parti del proprio business. Questi dati stanno cambiando non solo in volume, ma anche nella loro natura.

In passato, i dati erano principalmente strutturati, ma ora i dati non strutturati giocano un ruolo significativo. Inoltre, la velocità con cui i dati vengono generati e resi disponibili per l’uso è aumentata. Date queste modifiche nei dati, dobbiamo continuamente valutare e adattare il nostro set di strumenti per affrontare efficacemente le sfide dei dati in evoluzione.

Lo stack di dati moderno è progettato per gestire tutte le variazioni nelle strutture e nella velocità dei dati ed è ben attrezzato per adattarsi ai modelli architettonici emergenti che sono evoluti negli ultimi anni. Pertanto, se si desidera sfruttare al meglio i propri dati, è necessario guardare alla modernizzazione del proprio stack di dati. È l’unico modo per stare al passo con le nuove sfide dei dati.

Abbiamo visto che le aziende si attaccano a soluzioni esistenti che sembrano funzionare. È fondamentale riconoscere che i dati stessi sono intrinsecamente dinamici. Continuano a evolversi, presentando nuove sfide e opportunità. Le soluzioni esistenti potrebbero non essere in grado di adattarsi a questi cambiamenti. Pertanto, per sfruttare appieno il potenziale dei propri dati, le aziende devono abbracciare il concetto di modernizzazione del proprio stack di dati. Non si tratta di rompere ciò che funziona; si tratta di rimanere agili e reattivi alla natura evolutiva dei dati. Continuando a valutare e integrare i progressi nella tecnologia dei dati, le aziende possono rimanere competitive e prendere decisioni informate in un mondo sempre più guidato dai dati.

Quali sono alcune delle sfide di gestione dei dati attuali che si vedono nel settore?

1. Velocità dei dati e integrazione

Una delle grandi sfide che affrontiamo oggi è il volume enorme di dati che affluiscono da varie applicazioni. Se si prende un’organizzazione IT tipica, si ha a che fare con nuove app che spuntano fuori tutto il tempo – dozzine, a volte anche centinaia ogni anno, specialmente in organizzazioni di medie dimensioni.

Ora, tutti questi dati generano dati che contengono informazioni preziose. La preoccupazione principale qui è la capacità di integrare rapidamente queste nuove fonti di dati nei pipeline di dati esistenti e consolidarle in una visione unificata. La velocità con cui le organizzazioni possono adattarsi e incorporare questi nuovi flussi di dati è la sfida più grande che vediamo.

2. Format di dati vari

Un’altra sfida critica deriva dalla natura stessa dei dati, in particolare dalla crescente prevalenza di dati non strutturati. Con i dati non strutturati ci sono, naturalmente, diverse scuole di pensiero su come gestirli.

Le organizzazioni devono decidere se archiviare questi dati direttamente in data lake per un uso successivo o estrarre e trasformarli in un formato più strutturato per un consumo immediato. La sfida di come gestire i dati non strutturati rimane e vediamo che anche le aziende di medie dimensioni o di piccole dimensioni sono impattate. Quindi, elaborare strategie efficaci per gestire i dati non strutturati è essenziale.

3. Pubblicazione e condivisione dei dati

Mentre l’integrazione e la consolidazione dei dati sono cruciali, la capacità di condividere i dati in modo efficace è altrettanto importante. Le organizzazioni necessitano di meccanismi per pubblicare e distribuire i dati ai dipartimenti interni, ai fornitori di terze parti, ai partner e ad altre parti interessate. Questa sfida si estende oltre il semplice rendere i dati accessibili; implica assicurarsi della sicurezza dei dati, della privacy e della conformità con le normative. Poiché la condivisione dei dati diventa una necessità per le aziende di tutte le dimensioni, le tecnologie e i prodotti in questo spazio stanno evolvendo rapidamente per soddisfare la domanda.

Quali sono alcuni modi in cui Astera ha integrato l’AI nel flusso di lavoro dei clienti?

Ci concentriamo sull’intersezione dell’AI con la gestione dei dati in due modi distinti.

1. Migliorare l’usabilità con l’AI generativa

Il nostro impegno profondo per l’usabilità è un pilastro fondamentale della nostra filosofia di sviluppo del prodotto. Negli ultimi 12-13 anni, abbiamo costruito una solida reputazione per progettare prodotti con una curva di apprendimento breve, rendendoli accessibili anche agli utenti non tecnici. Con una modesta quantità di formazione, gli individui possono utilizzare efficacemente i nostri prodotti per eseguire compiti significativi con i loro dati.

Con l’introduzione dell’AI generativa, Astera ha portato l’usabilità al livello successivo. Abbiamo utilizzato l’AI generativa per creare un’interfaccia utente che consente ai clienti di interagire con il prodotto utilizzando comandi di linguaggio naturale. Questa interfaccia AI-driven semplifica i compiti di configurazione, rendendoli più intuitivi ed efficienti per gli utenti.

Inoltre, Astera ha integrato l’automazione alimentata dall’AI per gestire compiti che in precedenza richiedevano diverse ore di lavoro manuale, specialmente nella configurazione dei prodotti di gestione dei dati. Il fattore di costo più grande per la costruzione di una soluzione di gestione dei dati non era solo l’acquisto di un prodotto, ma il tempo e lo sforzo spesi nella configurazione. Abbiamo cercato di affrontare questo con l’AI. Questo approccio riduce notevolmente il tempo e le risorse tradizionalmente spese sulla configurazione del prodotto.

Ad esempio, il prodotto Astera, ReportMiner, semplifica l’estrazione dei dati da documenti non strutturati consentendo agli utenti di creare modelli di estrazione in base a regole. L’AI può ora generare il modello iniziale in pochi secondi, un compito che in precedenza richiedeva due o tre ore per un utente tipico. La prima versione di un modello generato dall’AI potrebbe non essere perfetta, ma gestisce circa il 90% del carico di lavoro, consentendo agli utenti di apportare rapide modifiche e completare il compito in pochi minuti invece di ore. Questo approccio è solo un esempio di come Astera sfrutti l’AI per migliorare l’usabilità in tutti i suoi prodotti.

Stiamo facendo cose simili in tutto il nostro stack di dati, dove stiamo ottenendo un notevole miglioramento dell’usabilità con l’intelligenza artificiale.

2. Funzionalità AI come set di strumenti

Astera offre uno stack di dati unificato che copre vari aspetti della gestione dei dati, tra cui ingestione, trasformazione, qualità dei dati, data warehousing, API e pubblicazione dei dati. L’azienda riconosce l’importanza di fornire funzionalità AI come un set di strumenti versatili per i suoi utenti. All’interno di questo set di strumenti, i clienti di Astera possono accedere all’AI in tutta la gamma della scienza dei dati, dalla costruzione e dalla distribuzione di modelli di apprendimento automatico alla gestione delle operazioni di apprendimento automatico (ML Ops). Astera supporta anche l’uso di modelli basati su open-source, tra cui grandi modelli di linguaggio (LLM), e facilita la fine-tuning per casi d’uso specifici.

Questa funzionalità AI più ampia consente agli utenti di Astera di sfruttare l’AI per vari compiti legati ai dati, tra cui la distribuzione di modelli di apprendimento automatico, l’implementazione di ML Ops e la fine-tuning dei modelli open-source. Inoltre, Astera lavora costantemente per espandere il suo supporto AI, coprendo aree come database vettoriali, ricerche di similarità, incorporamenti e molto altro.

Quali sono alcune delle migliori pratiche per sfruttare l’AI e i modelli di apprendimento automatico nella gestione dei dati per le grandi aziende?

1. Rimani all’avanguardia degli sviluppi AI e ML

Il campo dei grandi modelli di linguaggio sta evolvendo rapidamente. Per ottenere un vantaggio competitivo, le grandi aziende dovrebbero rimanere informate sugli ultimi progressi. Ad esempio, Astera è stata un’early adopter dell’AI generativa, utilizzando modelli come OpenAI e LAMA. Il monitoraggio costante delle tecnologie emergenti assicura di essere ben preparati per sfruttarle efficacemente.

2. Sperimentare con più modelli e configurazioni

Utilizzando la fine-tuning dei LLM, siamo stati in grado di distribuire modelli di piccole dimensioni, come 8-13 miliardi di parametri, e distribuirli localmente. È qualcosa che ha funzionato molto bene per noi e ciò che consigliamo è che, invece di utilizzare solo uno o l’altro, si provino diversi modelli di base e diverse configurazioni e si veda quale funziona meglio. I grandi modelli di linguaggio vengono in diversi sapori, ognuno con le proprie capacità uniche. Creare una configurazione che consente di scegliere da una vasta gamma di opzioni, riflettendo ciò che gli sviluppatori e gli scienziati dei dati fanno nei loro percorsi di scienza dei dati.

Per potenziare gli utenti, abbiamo creato un sistema di configurazione che offre un’ampia gamma di opzioni, simile a ciò che gli sviluppatori e gli scienziati dei dati incontrano quando lavorano con librerie open-source nei loro percorsi di scienza dei dati guidati dai dati. Il nostro obiettivo è stato quello di integrare senza problemi queste opzioni nel nostro prodotto, facilitando un’esperienza dinamica e adattabile per gli utenti.

3. Priorizzare la distribuzione locale rispetto alle API

Quando si ha a che fare con prodotti basati sui dati, ridurre i ritardi è fondamentale. Affidarsi solo alle API per l’accesso ai modelli AI e ML può introdurre ritardi inaccettabili, specialmente quando si gestiscono grandi volumi di dati. È consigliabile priorizzare la distribuzione di modelli fine-tuning localmente, dedicati al proprio scenario specifico. Questo approccio può migliorare notevolmente i tempi di risposta e le prestazioni generali.

Perché Astera è una soluzione superiore rispetto alle piattaforme concorrenti?

• Le soluzioni di Astera hanno un’interfaccia visiva intuitiva e senza codice, insieme a un’usabilità migliorata alimentata dall’AI, che rende facile eseguire processi di dati complessi per tutti gli utenti, indipendentemente dalle loro capacità tecniche.
• Le funzionalità di automazione del nostro stack di dati riducono i compiti manuali ripetitivi e risparmiano tempo e risorse di sviluppo.
• La nostra piattaforma unificata può aiutare gli utenti a eseguire processi di dati end-to-end senza dover passare da una soluzione all’altra. Ciò elimina la spesa di apprendimento e gestione di più sistemi isolati.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Astera Software.