BigQuery: cos’è e e perché è il motore della data strategy aziendale

Google BigQuery è una piattaforma analitica di big data analytics basata su cloud che permette di processare grandi quantità di data set in modalità solo lettura usando query simili a SQL. Si tratta di un data warehouse aziendale totalmente gestito che consente di analizzare dati nell’ordine di miliardi di righe grazie alla sua architettura serverless. BigQuery offre funzionalità integrate come machine learning, business intelligence e analisi geospaziale, consentendo alle aziende di innovare meglio accelerando il time-to-insight senza necessità di gestione dell’infrastruttura.

BigQuery presenta diverse caratteristiche fondamentali: è un data warehouse serverless che permette di focalizzarsi sui dati invece che sulla gestione delle risorse; presenta i dati in tabelle, righe e colonne; effettua l’archiviazione dei dati grazie a un formato di archiviazione a colonne ottimizzato per query analitiche; supporta completamente la semantica delle transazioni del database; offre analisi descrittive e prescrittive che comprendono business intelligence, analisi mirate e geospaziali, e machine learning; consente l’esecuzione di query sia sui dati archiviati in BigQuery sia su dati esterni con tabelle esterne o query federate; include un sistema di Identity and Access Management (IAM) per la protezione delle risorse.

BigQuery offre due principali modelli di prezzi di calcolo: on demand o basati sulla capacità. I prezzi on demand permettono di pagare per i dati analizzati dalle query, con il costo determinato dal numero di byte elaborati da ciascuna query. I prezzi basati sulla capacità consentono invece di pagare per la capacità di elaborazione delle query ad hoc o con scalabilità automatica, misurata in slot (CPU virtuali), per un certo periodo di tempo. Google Cloud ha introdotto anche BigQuery Pricing Editions che ampliano la scelta offrendo versatilità per scegliere l’insieme di opzioni più opportuno, con edizioni Standard, Enterprise ed Enterprise Plus.

BigQuery si integra con numerose tecnologie e servizi. È possibile eseguire query sui dati archiviati in BigQuery o sui dati esterni con tabelle esterne o query federate, compresi Cloud Storage, Spanner, Bigtable o fogli Google archiviati su Google Drive. Inoltre, BigQuery si integra con strumenti di analisi e visualizzazione come Looker, Looker Studio e Fogli Google. Per gli sviluppatori e data scientist, sono disponibili librerie client in vari linguaggi di programmazione come Python, JavaScript, Java e Go, oltre all’API REST e all’API RPC. BigQuery supporta anche driver ODBC e JDBC per interagire con applicazioni esistenti e tool di terze parti. Recentemente, Google ha anche potenziato l’integrazione con soluzioni di sicurezza come CyberRes Voltage SecureData per offrire protezione enterprise end-to-end.

BigQuery offre numerosi vantaggi rispetto ad altre soluzioni di data warehouse. La sua infrastruttura serverless elimina la necessità di gestire l’infrastruttura, permettendo di concentrarsi sui dati. Il motore di analisi scalabile e distribuito consente l’esecuzione di query su Petabyte di dati molto velocemente. BigQuery è in grado di trarre il massimo dalla versatilità, riuscendo a dividere il Compute Engine, dedicato all’analisi dei dati, rispetto alle scelte di archiviazione. Le prenotazioni BigQuery offrono prevedibilità dei costi, versatilità, possibilità di gestire il carico di lavoro e acquisti centralizzati. Inoltre, BigQuery ML permette agli analisti di dati di sfruttare il machine learning tramite gli strumenti e le competenze SQL esistenti, con un incremento d’uso oltre il 200% nel 2022.

BigQuery ML permette agli analisti di dati di sfruttare il machine learning tramite gli strumenti e le competenze SQL esistenti, senza necessità di conoscenze di programmazione avanzate. Con BigQuery ML, è possibile creare e eseguire modelli di machine learning direttamente all’interno di BigQuery utilizzando comandi SQL standard. Questo approccio democratizza l’accesso al machine learning, consentendo anche agli analisti non esperti di data science di sviluppare modelli predittivi. BigQuery ML supporta vari tipi di modelli, tra cui regressione lineare, regressione logistica, k-means clustering e reti neurali. L’integrazione con altre tecnologie Google Cloud consente di estendere gli insight di intelligenza artificiale e machine learning a BigQuery e ad altre piattaforme di terze parti.

BigQuery implementa diverse misure per garantire la sicurezza e la conformità dei dati. Il sistema Identity and Access Management (IAM) permette la protezione delle risorse affidandola al modello di accesso presente in Google Cloud. Le best practice per la sicurezza di Google Cloud offrono un approccio solido ma versatile, che spazia dalla classica sicurezza del perimetro a una cyber difesa in profondità, più complessa e granulare. BigQuery effettua l’archiviazione dei dati grazie a un formato di archiviazione a colonne, replicandola in automatico in più località per aumentare la disponibilità. Il modello di compliance della piattaforma tiene conto delle differenze geografiche e quindi fa in modo di rendere conforme la gestione della privacy dei dati, per esempio, alla direttiva statunitense HIPAA o a quella europea GDPR. Inoltre, Google ha introdotto BigQuery data clean room che agevola le organizzazioni nella condivisione e nell’abbinamento dei set di dati tra loro nel rispetto della privacy degli utenti.

Recentemente, Google ha introdotto diverse novità per BigQuery. Al Data Cloud & AI Summit, Google Cloud ha presentato BigQuery Pricing Editions, che ampliano la scelta e offrono ai clienti versatilità per scegliere l’insieme di opzioni più opportuno, con edizioni Standard, Enterprise ed Enterprise Plus. Sono state introdotte anche innovazioni in ambito autoscaling e compressed storage. Google ha anche progettato Datastream per BigQuery, per aiutare le aziende a replicare in modo più efficiente i dati in real-time, da fonti come AlloyDB, PostgreSQL, MySQL e database di terze parti come Oracle, direttamente in BigQuery. L’aggiornamento di BigQuery ha esteso il supporto a nuovi formati di dati, tra cui Apache Iceberg, con supporto in arrivo anche per Linux Foundation Delta Lake e Apache Hudi.

BigQuery si distingue da altri data warehouse cloud come Amazon Redshift e Snowflake per diverse caratteristiche. A differenza di Amazon Redshift, che ha un’architettura lake house e sfrutta SQL per l’analisi di dati strutturati e semi-strutturati, BigQuery è un data warehouse serverless che non richiede la gestione dell’infrastruttura. Mentre Snowflake è stato progettato con una nuova architettura per gestire tutti gli aspetti di data analytics, combinando performance, semplicità e affidabilità, BigQuery si concentra sull’analisi dei dati non strutturati e in streaming in una piattaforma serverless. BigQuery è particolarmente integrato con l’ecosistema Google Cloud, offrendo connessioni native con servizi come Google Analytics 4, mentre Redshift si integra con l’ecosistema AWS e Snowflake offre un approccio multi-cloud.

BigQuery è particolarmente adatto per diversi casi d’uso aziendali. Un esempio significativo è quello di Cattolica Assicurazioni, che ha utilizzato BigQuery per trasformarsi in una “Data Driven Company”, implementando un’infrastruttura tecnologica in grado di analizzare in real-time dati strutturati e non strutturati. BigQuery ha permesso alla compagnia una più rapida gestione dei progetti che richiedono l’analisi di grandi quantitativi di dati, come l’adeguamento alla normativa IFRS 17. Un altro caso d’uso è quello di Wind 3, che ha utilizzato BigQuery per comprendere quali fossero i propri 100.000 clienti con più possibilità di cambiare operatore nei mesi successivi, permettendo di mettere in atto le opportune contromosse di marketing. BigQuery è stato anche utilizzato per creare un data set pubblico per la ricerca sulla diffusione del Coronavirus, mettendo a disposizione di ricercatori, data scientist e analisti un archivio di dati pubblici liberamente accessibili e consultabili.