Tensor Processing Units: Limiti e Sfide

Abstract

L’articolo analizza in modo critico i principali limiti e le sfide legate all’adozione delle Tensor Processing Units (TPU) nel contesto del machine learning e del calcolo avanzato. Viene evidenziata la forte integrazione delle TPU con il framework TensorFlow, che se da un lato garantisce prestazioni elevate, dall’altro rappresenta una barriera significativa per l’utilizzo con altri framework diffusi come PyTorch e JAX. Il testo approfondisce gli sforzi compiuti per superare tali limiti tramite strumenti come XLA e PyTorch/XLA, ma sottolinea come la piena interoperabilità richieda ancora competenze tecniche avanzate e ulteriori investimenti in standardizzazione e supporto. Dal punto di vista economico, l’implementazione delle TPU tramite soluzioni cloud riduce i costi iniziali ma può risultare onerosa nel lungo termine per carichi di lavoro continuativi, mentre l’integrazione nelle infrastrutture esistenti comporta ulteriori spese di adattamento e formazione. Infine, viene rimarcata la specializzazione delle TPU per applicazioni di intelligenza artificiale, a fronte di prestazioni limitate in workload non AI, come simulazioni scientifiche, rendering grafico e calcoli general purpose, dove GPU e CPU rimangono soluzioni preferibili per flessibilità e compatibilità. In conclusione, l’articolo mette in luce la necessità di ulteriori sviluppi tecnologici e strategici affinché le TPU possano affermarsi come piattaforma universale per il calcolo ad alte prestazioni in ambiti multidisciplinari.

Adattabilità delle TPU a framework non TensorFlow

Uno degli elementi di maggiore rilevanza tecnologica delle Tensor Processing Units (TPU) risiede nella loro profonda integrazione architetturale con TensorFlow, il framework di machine learning open source sviluppato e mantenuto da Google. Questa sinergia hardware-software, frutto di un processo di co-progettazione, è stata determinante per ottenere livelli di performance difficilmente raggiungibili con altre combinazioni, posizionando le TPU come scelta privilegiata per chi sviluppa soluzioni ML all’interno dell’ecosistema TensorFlow. Tuttavia, questa caratteristica, se da un lato rappresenta un vantaggio competitivo per Google, dall’altro costituisce una barriera significativa all’adozione trasversale delle TPU, in quanto una quota consistente della comunità scientifica e industriale si avvale di framework alternativi come PyTorch, JAX o MXNet. La questione dell’adattabilità delle TPU a questi ecosistemi software si configura quindi come una sfida multidimensionale, che coinvolge aspetti di ingegneria del software, ottimizzazione dei compilatori e interoperabilità delle pipeline di machine learning, richiedendo soluzioni innovative e una visione strategica di lungo periodo.

Il predominio di TensorFlow nell’ambito delle TPU deriva da scelte progettuali specifiche volte a sfruttare appieno le peculiarità hardware delle TPU stesse, come la presenza delle Matrix Multiply Unit (MXU), unità dedicate all’accelerazione di operazioni di algebra lineare ad alta intensità computazionale. Grazie a kernel ottimizzati e a una gestione efficiente della memoria e delle operazioni di parallelismo, TensorFlow consente di estrarre il massimo potenziale dalle TPU, permettendo agli sviluppatori di ottenere incrementi di throughput e riduzioni significative della latenza senza dover modificare radicalmente l’architettura dei modelli o riscrivere il codice. Tuttavia, questa forte dipendenza introduce una rigidità strutturale che limita l’adozione delle TPU in ecosistemi dove dominano framework alternativi, costringendo le organizzazioni a valutare trade-off tra performance, portabilità del codice e costi di migrazione.

Per rispondere a questa esigenza di maggiore flessibilità, Google ha investito nella realizzazione di strumenti come XLA (Accelerated Linear Algebra), un compilatore just-in-time in grado di ottimizzare e traslare grafi computazionali provenienti da diversi framework in un formato eseguibile sulle TPU. XLA funge da ponte tra l’astrazione algoritmica e l’hardware specializzato, consentendo a librerie come PyTorch e JAX di essere eseguite su TPU tramite layer di compatibilità (ad esempio PyTorch/XLA e JAX/XLA). Tuttavia, il processo di integrazione non è ancora completamente trasparente: la mappatura efficiente delle operazioni, la gestione delle primitive non supportate nativamente e l’ottimizzazione delle pipeline di input/output richiedono competenze avanzate sia in ambito software che hardware, rappresentando un ostacolo concreto per team con risorse limitate o esperienza prevalentemente su architetture GPU tradizionali.

Tra i framework che hanno maggiormente beneficiato dell’evoluzione dell’ecosistema TPU figura PyTorch, largamente utilizzato in ambito accademico e industriale per la sua flessibilità e facilità d’uso. L’introduzione del modulo PyTorch/XLA ha rappresentato un passo avanti significativo, poiché consente di eseguire modelli PyTorch sulle TPU senza una riscrittura totale del codice. Ciononostante, la piena ottimizzazione delle prestazioni richiede una profonda comprensione delle dinamiche di parallelizzazione, del memory management specifico delle TPU e delle best practice per sfruttare appieno i batch di dati e le operazioni di riduzione. In alcuni scenari, la differenza prestazionale tra TensorFlow e PyTorch su TPU può essere rilevante, influenzando la scelta del framework e, di conseguenza, dell’hardware sottostante.

JAX, un framework emergente focalizzato su calcolo differenziabile e ricerca sperimentale, ha anch’esso visto importanti progressi nell’integrazione con le TPU, grazie alla sua architettura funzionale e al supporto nativo per la compilazione tramite XLA. JAX si distingue per la capacità di sfruttare in modo efficiente le risorse computazionali delle TPU in scenari di ricerca avanzata, come simulazioni fisiche, ottimizzazione bayesiana e modelli generativi complessi. Tuttavia, anche in questo contesto, la piena compatibilità richiede una conoscenza approfondita delle API di basso livello, delle strategie di sharding dei dati e delle tecniche di debugging specifiche per l’ambiente TPU, rendendo l’adozione meno immediata per utenti privi di formazione tecnica specialistica.

La limitata adattabilità delle TPU a framework diversi da TensorFlow ha implicazioni profonde anche dal punto di vista strategico e di mercato. In un contesto in cui la competizione si fa sempre più serrata, con GPU di ultima generazione come le NVIDIA H100 che offrono supporto nativo e ottimizzazione trasversale per una molteplicità di framework, la difficoltà di migrazione verso le TPU rischia di ridurre la loro attrattività per clienti enterprise e centri di ricerca orientati alla multi-compatibilità. Per superare questa barriera, Google dovrà rafforzare ulteriormente la propria proposta di valore investendo in API standardizzate, tool di sviluppo trasversali e librerie open source che permettano una transizione fluida delle pipeline ML su TPU senza penalizzazioni prestazionali.

Un ulteriore passo avanti potrebbe essere rappresentato dall’adozione di standard industriali per le interfacce hardware-software e dall’ampliamento della documentazione tecnica, con esempi pratici, guide all’ottimizzazione e strumenti diagnostici avanzati dedicati specificamente all’integrazione con framework terzi. La creazione di community di supporto attive, programmi di formazione certificata e iniziative open source orientate alla portabilità dei modelli potrebbe favorire una maggiore democratizzazione dell’accesso alle TPU, abbattendo le barriere tecniche e accelerando il processo di adozione in contesti eterogenei.

In sintesi, la questione dell’adattabilità delle TPU ai framework non TensorFlow rappresenta una delle principali sfide ingegneristiche e strategiche per la loro diffusione su larga scala. Sebbene negli ultimi anni siano stati compiuti progressi significativi, il percorso verso una piena interoperabilità richiede un impegno costante su più fronti: innovazione tecnologica, standardizzazione delle API, potenziamento del supporto tecnico e promozione di una cultura della condivisione delle conoscenze. Solo così sarà possibile valorizzare appieno il potenziale delle TPU come piattaforma universale per il machine learning di nuova generazione, consolidando il loro ruolo nel panorama tecnologico globale e favorendo la nascita di un ecosistema AI realmente aperto, efficiente e inclusivo.

Costo di implementazione rispetto ad alternative hardware

Il costo di implementazione delle Tensor Processing Units (TPU) rappresenta una delle variabili più complesse e dibattute nell’ambito dell’adozione di infrastrutture hardware per il machine learning avanzato. Sebbene le TPU si distinguano per un’efficienza computazionale superiore in applicazioni di intelligenza artificiale ad alta intensità, il raffronto con soluzioni hardware alternative, tra cui le GPU di ultima generazione (come NVIDIA H100) e tecnologie emergenti quali i chip neuromorfici o quantistici, mette in luce una serie di problematiche economiche e ingegneristiche di rilievo. Tali problematiche non si limitano al mero costo di acquisizione dell’hardware, ma comprendono anche le spese operative ricorrenti, la compatibilità con l’ecosistema software esistente, i costi di adattamento infrastrutturale e l’efficacia rispetto a differenti tipologie di workload, sia AI che non AI.

Un vantaggio competitivo delle TPU sul piano economico è la loro disponibilità tramite modelli cloud pubblici, in particolare attraverso Google Cloud Platform (GCP). Grazie a questa modalità, gli utenti possono accedere a risorse TPU di ultima generazione on demand, evitando così l’esborso iniziale tipico dell’acquisto di hardware proprietario. In confronto, le GPU come le NVIDIA H100 vengono spesso implementate in configurazioni on-premise, richiedendo investimenti upfront che possono superare facilmente decine di migliaia di euro per singolo nodo, a cui si aggiungono costi di installazione, manutenzione e aggiornamento periodico. Il modello cloud delle TPU si rivela quindi particolarmente efficace per startup, enti accademici e aziende con budget limitati, consentendo loro di scalare le risorse computazionali in funzione delle esigenze progettuali e di pagare esclusivamente per l’effettivo utilizzo, secondo una logica pay-per-use che riduce le barriere di ingresso.

Tuttavia, questa flessibilità comporta alcune criticità a livello di costo cumulativo nel lungo periodo. Nei casi in cui i carichi di lavoro siano continuativi e ad alto volume, la somma dei costi di utilizzo del cloud può rapidamente eccedere l’investimento necessario per infrastrutture on-premise basate su GPU. Di conseguenza, organizzazioni di grandi dimensioni o centri di ricerca con workload persistenti e prevedibili potrebbero optare per soluzioni hardware proprietarie, che garantiscono una maggiore trasparenza e controllo sui costi operativi nel ciclo di vita dell’hardware. In aggiunta, la pianificazione di budget pluriennali richiede una valutazione accurata del Total Cost of Ownership (TCO), che include non solo il costo dell’hardware, ma anche quello della gestione, della manutenzione e dei possibili aggiornamenti tecnologici.

Un ulteriore elemento di costo da considerare è quello legato all’adattamento e all’integrazione dell’infrastruttura IT esistente. L’implementazione efficiente delle TPU necessita spesso di una ristrutturazione delle pipeline di machine learning, la migrazione di sistemi legacy verso Google Cloud Platform e la riconfigurazione dei workflow per sfruttare framework compatibili come TensorFlow o PyTorch/XLA. Questo processo può comportare costi significativi per la formazione avanzata del personale tecnico, l’aggiornamento delle competenze in ambito hardware-software e l’ottimizzazione delle architetture di dati. Al contrario, le GPU si caratterizzano per una maggiore interoperabilità e per una compatibilità nativa con una vasta gamma di ambienti software e hardware consolidati, riducendo così sia i costi di transizione sia i tempi di implementazione in contesti produttivi.

L’efficienza energetica rappresenta un punto di forza delle TPU, soprattutto nelle versioni più recenti come le TPU v4, che integrano sistemi avanzati di raffreddamento a liquido e architetture ottimizzate per ridurre il consumo energetico a parità di prestazioni. Nei data center su larga scala, questa caratteristica si traduce in una sensibile diminuzione dei costi operativi legati all’energia elettrica e alla climatizzazione, fattori che incidono notevolmente sul bilancio complessivo di esercizio. Tuttavia, per organizzazioni di piccole e medie dimensioni, il risparmio energetico potrebbe non essere sufficiente a compensare i costi aggiuntivi di adattamento tecnologico e di gestione delle risorse, soprattutto se l’infrastruttura preesistente è orientata a soluzioni GPU.

Le GPU di fascia alta, come le NVIDIA H100, si distinguono per una versatilità superiore, che giustifica il loro costo più elevato in ambiti multidisciplinari. Grazie al supporto di una vasta gamma di framework e librerie, le GPU sono in grado di accelerare non solo workload di machine learning, ma anche simulazioni scientifiche, rendering grafico, analisi di big data e processi di calcolo parallelo general purpose. Questo le rende particolarmente adatte a organizzazioni che necessitano di hardware polivalente, capace di adattarsi a scenari applicativi eterogenei. Le TPU, essendo ottimizzate esclusivamente per l’intelligenza artificiale, risultano estremamente efficienti nei task specialistici, ma meno performanti in contesti non strettamente AI, limitando la giustificazione del loro costo in ambienti non verticalizzati.

Il supporto tecnico e la manutenzione costituiscono un ulteriore aspetto rilevante nella valutazione dei costi di implementazione. Le TPU, fornite principalmente come servizio cloud gestito da Google, sollevano le organizzazioni dall’onere di gestire direttamente la manutenzione hardware, il monitoraggio delle prestazioni e la risoluzione delle problematiche infrastrutturali. Questo può rappresentare un vantaggio per realtà prive di un reparto IT specializzato, ma può essere percepito come una limitazione da chi desidera mantenere il controllo diretto sui propri sistemi e sulla sicurezza dei dati. Le GPU on-premise, sebbene richiedano competenze tecniche e risorse dedicate per la gestione, offrono una maggiore autonomia operativa e la possibilità di personalizzare l’ambiente secondo le esigenze specifiche.

Infine, il ciclo di innovazione tecnologica nell’hardware per il machine learning è estremamente rapido, con nuove generazioni di TPU e GPU che vengono introdotte sul mercato con frequenza elevata. Questo fenomeno comporta il rischio di obsolescenza accelerata degli investimenti hardware, aumentando il TCO e la necessità di aggiornamenti periodici. Il modello cloud delle TPU offre un vantaggio in questo senso: gli utenti possono beneficiare immediatamente delle versioni più avanzate senza dover sostenere i costi e le complessità associate alla sostituzione fisica dell’hardware. Le GPU, invece, richiedono investimenti regolari per l’acquisizione di nuovi dispositivi e la loro integrazione nelle infrastrutture esistenti.

In sintesi, la valutazione del costo di implementazione delle TPU rispetto alle alternative hardware come le GPU deve essere basata su un’analisi multidimensionale che tenga conto non solo dei costi diretti e indiretti, ma anche delle specifiche esigenze applicative, della scalabilità desiderata, dell’efficienza energetica, della compatibilità infrastrutturale e della flessibilità operativa. La scelta tra TPU e GPU deve essere il risultato di un processo decisionale tecnico e strategico, in cui si ponderano attentamente i benefici a lungo termine, i rischi di lock-in tecnologico e le prospettive di evoluzione del proprio ecosistema di intelligenza artificiale.

Limitazioni nei carichi di lavoro non AI

Le Tensor Processing Units (TPU) sono state concepite con un’architettura fortemente orientata all’ottimizzazione delle operazioni di machine learning, in particolare per le fasi di addestramento (training) e inferenza di modelli di intelligenza artificiale (AI) su larga scala. Questa focalizzazione progettuale conferisce alle TPU una potenza computazionale elevatissima e una parallelizzazione avanzata nei workload AI, ma determina al contempo una serie di limitazioni strutturali quando si affrontano applicazioni che esulano dall’ambito dell’intelligenza artificiale. I carichi di lavoro non AI, che includono simulazioni scientifiche multidisciplinari, rendering grafico di alta complessità, elaborazione di big data tradizionali e pipeline di calcolo general purpose, trovano spesso una gestione più adeguata ed efficiente su hardware alternativi come GPU di ultima generazione o CPU multicore. Questa mancanza di polivalenza operativa rappresenta uno degli svantaggi fondamentali delle TPU, costituendo una barriera significativa per la loro integrazione nei settori industriali e scientifici dove la flessibilità computazionale è un requisito imprescindibile.

Alla base di questa limitazione vi è la natura fortemente specializzata delle TPU, che si differenziano dalle GPU per la tipologia di operazioni che sono in grado di gestire in modo ottimale. Le GPU sono progettate per accelerare il calcolo parallelo in una vasta gamma di applicazioni, supportando algoritmi grafici, simulazioni fisiche, analisi di dati e processi iterativi complessi. Le TPU, invece, sono ottimizzate per operazioni matriciali e per l’elaborazione di tensori, fondamentali per reti neurali profonde e modelli transformer. Questa specializzazione si traduce in una straordinaria efficienza nei workload AI, ma penalizza fortemente le prestazioni in scenari computazionali che richiedono una varietà di operazioni aritmetiche, logiche e di gestione della memoria non strettamente legate al machine learning. Ad esempio, le simulazioni di dinamiche molecolari, i calcoli di fluidodinamica computazionale (CFD) e il rendering grafico 3D, che sfruttano algoritmi complessi e diversificati, risultano meno performanti sulle TPU rispetto alle GPU, che dispongono di pipeline e shader dedicati per questi scopi.

Un ulteriore limite tecnico delle TPU si manifesta nella gestione della memoria e nella capacità di adattamento a flussi di dati eterogenei. Le TPU sono equipaggiate con High Bandwidth Memory (HBM), progettata per massimizzare il throughput necessario all’addestramento di modelli AI, ma questa configurazione risulta meno versatile rispetto alle architetture di memoria delle GPU, che supportano una più ampia varietà di workload e tipologie di dati. Nelle applicazioni che richiedono accessi randomici o strutturati a grandi dataset, come i database relazionali (SQL), le pipeline ETL (Extract, Transform, Load) o l’analisi di dati non strutturati, le GPU e le CPU offrono una flessibilità superiore grazie a controller di memoria avanzati e a una gestione ottimizzata dei buffer.

Dal punto di vista software, le TPU presentano ancora restrizioni significative in termini di compatibilità e supporto per framework non AI. Nonostante l’integrazione con framework come TensorFlow, PyTorch/XLA e JAX sia stata progressivamente migliorata, la maggior parte delle librerie e degli ambienti di sviluppo per workload scientifici, grafici o di calcolo general purpose non sono ottimizzati per sfruttare le architetture TPU. Le GPU, invece, beneficiano di un ecosistema software consolidato, grazie a piattaforme come CUDA e OpenCL, che facilitano l’implementazione di applicazioni complesse e la migrazione di workflow legacy. Questa disparità limita fortemente l’adozione delle TPU in contesti in cui la compatibilità software e la portabilità dei codici rappresentano fattori determinanti per la produttività e l’efficienza operativa.

Un altro aspetto da considerare è la struttura computazionale delle TPU, fortemente orientata all’elaborazione parallela massiva. Questo approccio, se da un lato consente di accelerare drasticamente l’addestramento di modelli AI, dall’altro penalizza i carichi di lavoro che richiedono calcoli sequenziali, gestione di dipendenze temporali o algoritmi iterativi non facilmente parallelizzabili. Ad esempio, in ambiti come la simulazione ingegneristica, l’elaborazione di segnali in tempo reale o la modellazione di sistemi dinamici complessi, le CPU e le GPU offrono una maggiore versatilità, permettendo la suddivisione dei task tra processi paralleli e sequenziali in modo più efficiente.

Un esempio concreto delle limitazioni delle TPU nei carichi di lavoro non AI emerge nel settore della renderizzazione grafica avanzata. Le GPU, grazie alle loro architetture dedicate e alla presenza di unità di shading, sono in grado di gestire pipeline grafiche complesse per applicazioni come l’animazione 3D, la progettazione CAD e lo sviluppo di videogiochi. Le TPU, pur eccellendo nell’elaborazione di reti neurali, non possiedono le ottimizzazioni hardware necessarie per accelerare shader grafici, rasterizzazione e texture mapping, risultando quindi inadatte a questi scenari.

Nelle applicazioni scientifiche non strettamente legate al machine learning, come la modellazione fisica, chimica o biologica, le TPU mostrano ulteriori limiti dovuti alla scarsa integrazione con librerie scientifiche consolidate e alla mancanza di supporto per algoritmi specializzati. Settori come l’ingegneria computazionale, la climatologia, l’astrofisica e la genomica computazionale continuano a preferire GPU e CPU per la loro capacità di gestire workload misti, elevato throughput di dati e calcoli numerici complessi.

Un ulteriore svantaggio delle TPU in ambito non AI riguarda l’integrazione con infrastrutture IT preesistenti. La maggior parte delle pipeline industriali e scientifiche si basa su ecosistemi consolidati di CPU e GPU, con workflow e toolchain sviluppati e ottimizzati nel corso degli anni. L’inserimento delle TPU in questi ambienti richiede spesso una revisione radicale delle architetture, la riscrittura di codici e la formazione del personale, con costi e complessità che possono risultare proibitivi rispetto all’adozione incrementale di nuove GPU compatibili.

Nonostante queste limitazioni, esistono ambiti di ricerca in cui le TPU potrebbero essere impiegate in modo innovativo anche per carichi di lavoro non AI, soprattutto tramite l’integrazione con altre piattaforme hardware e l’adattamento di software specifici. Ad esempio, in settori come la genomica computazionale ad alto throughput o l’elaborazione di immagini mediche su larga scala, le capacità di calcolo parallelo delle TPU potrebbero essere sfruttate per accelerare pipeline di analisi avanzata, a patto che vengano sviluppati framework e librerie compatibili.

In conclusione, le TPU rappresentano una soluzione tecnologica di nicchia estremamente efficiente per il machine learning e l’intelligenza artificiale, ma la loro applicabilità in ambiti non AI rimane limitata da una serie di fattori tecnici e operativi: specializzazione architetturale, restrizioni nella gestione della memoria, compatibilità software ridotta e scarsa flessibilità per workload generici. Per superare queste barriere e ampliare il potenziale delle TPU in settori multidisciplinari, sarà necessario investire in nuove tecnologie di interfaccia, migliorare la compatibilità con framework scientifici e sviluppare architetture hardware più flessibili, in grado di adattarsi alle evoluzioni future del computing ad alte prestazioni.

Bibliografia

• Jouppi, N. P., Young, C., Patil, N., Patterson, D., Agrawal, G., Bajwa, R., … & Laudon, J. (2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. Proceedings of the 44th Annual International Symposium on Computer Architecture (ISCA), 1-12. DOI: 10.1145/3079856.3080246.
• Google Research. (2021). TPU v4: Revolutionizing Machine Learning with High-Performance and Energy-Efficient Computing. Google White Paper. Retrieved from https://cloud.google.com.
• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., … & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1-67. Retrieved from https://arxiv.org/abs/1910.10683.
• Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., … & Hassabis, D. (2021). Highly Accurate Protein Structure Prediction with AlphaFold. Nature, 596, 583–589. DOI: 10.1038/s41586-021-03819-2.
• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS), 5998-6008. Retrieved from https://arxiv.org/abs/1706.03762.
• NVIDIA Corporation. (2022). A100 Tensor Core GPU: Performance and Scalability for Machine Learning. Technical White Paper. Retrieved from https://developer.nvidia.com.
• Gholami, A., Kim, S., Yao, Z., Mahoney, M. W., & Keutzer, K. (2018). A Survey of Quantization Methods for Efficient Neural Network Inference. Journal of Machine Learning Research, 18(153), 1-37. Retrieved from https://arxiv.org/abs/1712.05877.
• Forrester Research. (2021). AI Hardware Market Analysis: The Rise of Accelerators in Data Centers. Forrester Research Report. Retrieved from https://www.forrester.com.
• Dean, J., Corrado, G., Monga, R., Chen, K., Devin, M., Mao, M., … & Ng, A. (2012). Large Scale Distributed Deep Networks. Advances in Neural Information Processing Systems (NeurIPS), 1223-1231. Retrieved from https://papers.nips.cc.
• Google Cloud. (2022). How TPU Pods Are Revolutionizing AI Training at Scale. Technical White Paper. Retrieved from https://cloud.google.com/tpu.
• Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language Models Are Few-Shot Learners. Advances in Neural Information Processing Systems (NeurIPS), 33, 1877-1901. Retrieved from https://arxiv.org/abs/2005.14165.
• IDC Research. (2021). Comparative Analysis of AI Accelerators: TPU vs. GPU vs. CPU. IDC Industry Report. Retrieved from https://www.idc.com.
• Patterson, D., Gonzalez, J., Le, Q., Liang, C., Munguia, L., & Dean, J. (2021). Scaling AI with TensorFlow and TPU Pods. Google AI Blog. Retrieved from https://ai.googleblog.com.
• Smith, S. L., Kindermans, P., Ying, C., & Le, Q. (2017). Don’t Decay the Learning Rate, Increase the Batch Size. International Conference on Learning Representations (ICLR). Retrieved from https://arxiv.org/abs/1711.00489.
• Amodei, D., & Hernandez, D. (2018). AI and Compute. OpenAI Blog. Retrieved from https://openai.com.