Perché l’intelligenza artificiale e l’apprendimento automatico si stanno allontanando dal cloud

Una catena di ristoranti a servizio rapido sta eseguendo i suoi modelli di intelligenza artificiale sulle macchine all’interno dei suoi negozi per localizzare la logistica di consegna. Allo stesso tempo, un’azienda farmaceutica globale sta addestrando i suoi modelli di machine learning in locale, utilizzando server che gestisce da sola.

Il cloud computing non sta andando da nessuna parte, ma alcune aziende che utilizzano modelli di machine learning e i fornitori di tecnologia che forniscono le piattaforme per gestirli affermano che il machine learning sta vivendo un momento on-premise. Per molti anni, i fornitori di servizi cloud hanno sostenuto che i requisiti di elaborazione per l’apprendimento automatico sarebbero troppo costosi e ingombranti per essere avviati da soli, ma il campo sta maturando.

“Abbiamo ancora un sacco di clienti che desiderano eseguire una migrazione al cloud, ma ora stiamo sicuramente vedendo, almeno nell’ultimo anno circa, molti più clienti che desiderano rimpatriare i carichi di lavoro in sede a causa di costo”, ha affermato Thomas Robinson, vicepresidente delle partnership strategiche e dello sviluppo aziendale presso la società di piattaforme MLOps Domino Data Lab. Il costo è in realtà un grande fattore trainante, ha affermato Robinson, notando il prezzo elevato dell’esecuzione di modelli di deep learning ad alta intensità di calcolo come GPT-3 o altri modelli di trasformatori di linguaggio di grandi dimensioni, che le aziende oggi utilizzano negli strumenti di intelligenza artificiale e chatbot di conversazione, su server cloud .

C’è più di un equilibrio in cui ora stanno investendo di nuovo nella loro infrastruttura ibrida.

La tendenza on-premise sta crescendo tra i rivenditori di grandi dimensioni e di generi alimentari che hanno bisogno di inserire dati su prodotti, distribuzione e negozio in grandi modelli di apprendimento automatico per previsioni di inventario, ha affermato Vijay Raghavendra, chief technology officer di SymphonyAI, che lavora con la catena di alimentari Albertsons . Raghavendra ha lasciato Walmart nel 2020 dopo sette anni trascorsi con l’azienda in ruoli senior di ingegneria e tecnologia commerciale..

“Questo è successo dopo la mia permanenza in Walmart. Sono passati dall’avere tutto in locale, a tutto nel cloud quando ero lì. E ora penso che ci sia più di un equilibrio in cui ora stanno investendo di nuovo nella loro infrastruttura ibrida: infrastruttura on-premise combinata con il cloud”, ha detto Raghavendra a Protocol. “Se hai la capacità, potrebbe avere senso alzarti in piedi [co-location data center] ed esegui quei carichi di lavoro nel tuo colo, perché i costi di esecuzione nel cloud diventano piuttosto costosi su una certa scala. “

Alcune aziende stanno prendendo in considerazione configurazioni in loco nella fase di costruzione del modello, quando i modelli ML e deep learning vengono addestrati prima che vengano rilasciati per funzionare in natura. Tale processo richiede l’ottimizzazione e il test intensivi di elaborazione di un numero elevato di parametri o combinazioni di diversi tipi di modelli e input utilizzando terabyte o petabyte di dati.

“L’alto costo della formazione sta ponendo alcune sfide alle persone”, ha affermato Danny Lange, vicepresidente dell’IA e dell’apprendimento automatico presso la società di giochi e intelligenza artificiale Unity Technologies. Il costo della formazione può raggiungere milioni di dollari, ha detto Lange.

“È un costo che molte aziende stanno cercando di dire, posso portare la mia formazione internamente in modo da avere un maggiore controllo sul costo della formazione, perché se consenti agli ingegneri di allenarsi su un banco di GPU in un cloud pubblico servizio, può diventare molto costoso, molto rapidamente.

Le aziende che spostano elaborazione e dati sui propri server fisici situati all’interno di data center co-locati di proprietà o affittati tendono a essere all’avanguardia nell’uso dell’IA o del deep learning, ha affermato Robinson. “[They] ora stanno dicendo: “Forse ho bisogno di una strategia in cui posso entrare nel cloud per le cose appropriate. Posso fare, forse, qualche ricerca iniziale, ma posso anche allegare un carico di lavoro in loco”.

Se consenti agli ingegneri di addestrarsi su un banco di GPU in un servizio cloud pubblico, può diventare molto costoso, molto rapidamente.

Anche se il cliente ha pubblicizzato la sua strategia incentrata sul cloud, un cliente farmaceutico con cui lavora Domino Data Lab ha acquistato due cluster di server Nvidia per gestire in loco modelli di riconoscimento delle immagini pesanti per il calcolo, ha affermato Robinson.

Costo alto? Che ne dici di una cattiva banda larga

Per alcune aziende, la preferenza per l’esecuzione del proprio hardware non riguarda solo la formazione di enormi modelli di deep learning. Victor Thu, presidente di Datatron, ha affermato che i rivenditori o le catene di fast food con modelli di machine learning specifici per area, utilizzati per localizzare la logistica di consegna o ottimizzare l’inventario dei negozi, preferirebbero eseguire carichi di lavoro di inferenza ML nei propri server all’interno dei propri negozi, piuttosto che trasmettere dati avanti e indietro per eseguire i modelli nel cloud.

Alcuni clienti “non lo vogliono affatto nel cloud”, ha detto Thu a Protocol. “Il comportamento al dettaglio a San Francisco può essere molto diverso da quello di Los Angeles e San Diego, ad esempio”, ha affermato, osservando che Datatron ha visto clienti che hanno spostato alcune operazioni di riciclaggio sulle proprie macchine, in particolare quei rivenditori con scarsa connettività Internet in determinate località.

La latenza del modello è un motivo più comunemente riconosciuto per allontanarsi dal cloud. Una volta che un modello è stato distribuito, la quantità di tempo necessaria per passare i dati avanti e indietro tra i server cloud è un fattore comune nella decisione di passare all’interno dell’azienda. Alcune aziende evitano anche il cloud per assicurarsi che i modelli rispondano rapidamente ai nuovi dati quando operano su un dispositivo mobile o all’interno di un veicolo semi-autonomo.

“Spesso la decisione di rendere operativo un modello in locale o nel cloud è stata in gran parte una questione di latenza e sicurezza dettata da dove vengono generati i dati o da dove vengono consumati i risultati del modello”, ha affermato Robinson.

Nel corso degli anni, i fornitori di servizi cloud hanno superato le prime percezioni secondo cui i loro servizi non erano sufficientemente sicuri per alcuni clienti, in particolare quelli di settori altamente regolamentati. Poiché aziende di grandi dimensioni come Capital One hanno abbracciato il cloud, oggigiorno i problemi di sicurezza dei dati hanno meno importanza.

Tuttavia, la privacy e la sicurezza dei dati obbligano alcune aziende a utilizzare sistemi in loco. AiCure utilizza un approccio ibrido nella gestione dei dati e dei modelli di apprendimento automatico per la sua app utilizzata dai pazienti negli studi clinici, ha affermato il CEO dell’azienda Ed Ikeguchi. AiCure mantiene i processi che coinvolgono informazioni di identificazione personale (PII) sensibili sotto il proprio controllo.

“Svolgiamo gran parte del nostro lavoro di tipo PII a livello locale”, ha affermato Ikeguchi. Tuttavia, ha affermato, quando l’azienda può utilizzare dati aggregati e resi anonimi, “allora tutti i dati estratti funzioneranno con il cloud”.

Ikeguchi ha aggiunto: “Alcuni di questi fornitori di servizi cloud dispongono di un’eccellente infrastruttura per supportare i dati privati. Detto questo, prendiamo anche molte precauzioni da parte nostra, in termini di ciò che finisce nel cloud”.

“Abbiamo clienti molto attenti alla sicurezza”, ha affermato Biren Fondekar, vicepresidente dell’esperienza del cliente e della strategia digitale di NetApp, i cui clienti dei settori dei servizi finanziari e sanitari altamente regolamentati utilizzano il software AI di NetApp nei propri data center privati.

La grande nuvola risponde

Anche i giganti del cloud stanno rispondendo alla tendenza spingendo sottilmente i loro prodotti on-premise per l’apprendimento automatico. AWS ha promosso la sua infrastruttura Outposts per l’apprendimento automatico l’anno scorso in un post sul blog, citando la diminuzione della latenza e l’elevato volume di dati come due motivi principali per cui i clienti desiderano eseguire il ML al di fuori del cloud.

“Una delle sfide che i clienti devono affrontare nell’esecuzione dell’inferenza nel cloud è la mancanza di inferenza in tempo reale e/o di requisiti di sicurezza che impediscono l’invio o l’archiviazione dei dati degli utenti nel cloud”, ha scritto Josh Coen, architetto senior per le soluzioni di AWS, e Mani Khanuja, specialista in intelligenza artificiale e machine learning presso AWS.

A ottobre, Google Cloud ha annunciato Google Distributed Cloud Edge per soddisfare le preoccupazioni dei clienti in merito alla conformità specifica per regione, alla sovranità dei dati, alla bassa latenza e all’elaborazione locale dei dati.

Microsoft Azure ha introdotto prodotti per aiutare i clienti ad adottare un approccio ibrido alla gestione dell’apprendimento automatico convalidando ed eseguendo il debug dei modelli su macchine locali, quindi distribuendoli nel cloud.

Snowflake, che è integrato con la piattaforma MLOps di Domino Data Lab, sta valutando più strumenti on-premise per i clienti, ha affermato Harsha Kapre, senior product manager di Snowflake. “So che ci stiamo pensando attivamente”, ha detto al Protocollo. Snowflake ha dichiarato a luglio che offrirà la sua architettura di data lake di tabelle esterne, che può essere utilizzata per la preparazione dei dati di machine learning, per l’utilizzo da parte dei clienti sul proprio hardware.

“Penso che all’inizio i tuoi dati dovessero trovarsi in Snowflake. Ora, se inizi a guardarlo, i tuoi dati in realtà non devono essere tecnicamente [in Snowflake]”, ha detto Kapre. “Penso che probabilmente sia un po’ presto” per dire di più, ha aggiunto.

Costi nascosti

Man mano che le aziende integrano l’IA nelle loro attività, sempre più persone in un’azienda utilizzano modelli di apprendimento automatico, che possono aumentare i costi se lo fanno nel cloud, ha affermato Robinson. “Alcuni di questi modelli sono ora utilizzati da applicazioni con così tanti utenti che il calcolo ha richiesto un aumento vertiginoso e ora diventa una necessità economica eseguirli in locale”, ha affermato.

Ma alcuni dicono che la promessa in loco ha costi nascosti.

“I fornitori di servizi cloud sono davvero molto bravi nell’acquistare apparecchiature e nel gestirle in modo economico, quindi sei in competizione con persone che sanno davvero come correre in modo efficiente. Se vuoi portare la tua formazione internamente, sono necessari molti costi aggiuntivi e competenze da svolgere”, ha affermato Lange.

Bob Friday, chief AI officer presso Juniper Networks, società di comunicazioni e reti di intelligenza artificiale, è d’accordo.

“È quasi sempre più economico lasciarlo a Google, AWS o Microsoft, se possibile”, ha affermato Friday, aggiungendo che se un’azienda non ha un caso d’uso marginale che richiede un processo decisionale in una frazione di secondo in un veicolo semi-autonomo, o la gestione di file video in streaming di grandi dimensioni, in locale non ha senso.

Ma i risparmi sui costi sono disponibili per le aziende con grandi iniziative di intelligenza artificiale, ha affermato Robinson. Sebbene le aziende con operazioni di intelligenza artificiale più piccole potrebbero non realizzare vantaggi in termini di costi andando internamente, ha affermato, “su larga scala, l’infrastruttura cloud, in particolare per le GPU e altro hardware ottimizzato per l’intelligenza artificiale, è molto più costosa”, ha affermato, alludendo a Domino Data Il client farmaceutico di Lab che ha investito in cluster Nvidia “perché il costo e la disponibilità delle GPU non erano appetibili solo su AWS”.

Tutti vanno nel cloud, poi cercano di tornare un po’ indietro. Penso che si tratti di trovare il giusto equilibrio.

Robinson ha aggiunto, “un’altra cosa da tenere in considerazione è che l’hardware con accelerazione AI si sta evolvendo molto rapidamente e i fornitori di cloud sono stati lenti nel renderlo disponibile agli utenti”.

Alla fine, come il passaggio a più cloud e strategie cloud ibride, la transizione del machine learning per incorporare l’infrastruttura on-premise potrebbe essere un segno di sofisticatezza tra le aziende che sono andate oltre il semplice immergersi nell’intelligenza artificiale.

“C’è sempre stato un po’ di un effetto pendolo in corso”, ha detto Lange. “Tutti vanno nel cloud, poi cercano di tornare un po’ indietro. Penso che si tratti di trovare il giusto equilibrio”.

.

Leave a Comment

Your email address will not be published.