Big Data Analytics

Change data capture: cos’è e per cosa viene usato

Lo strumento di pubblicazione è in grado di catturare le modifiche dei dati in real-time, per renderle immediatamente disponibili a database o applicazioni. Ecco come

Pubblicato il 27 Ott 2022

Riassumi questo articolo
Approfondisci con altre fonti
Statistica bayesiana: cos’è e come aiuta il processo decisionale

Change data capture (CDC) è l’acquisizione delle modifiche ai dati. Lo strumento di pubblicazione è in grado di catturare le modifiche dei dati in real-time, per renderle immediatamente disponibili a database o applicazioni.

Nell’era del cloud ha acquisito un’importanza crescente, per mantenere una connessione fra i database dei microservizi e le architetture degli eventi e del cloud native. Ecco come.

Change data capture: cos'è e per cosa viene usato

Cos’è il change data capture

Il change data capture è una funzione di runtime avanzata che consente di acquisire le modifiche ai dati in tempo reale. Opera per propagare i record modificati nelle sorgenti di dati all’interno di data warehouse ETL.

L’acquisizione delle modifiche ai dati rappresenta un approccio alla data integration. Consente di tenere sotto controllo le modifiche applicate ai dati. Inoltre, avvisa i sistemi e i servizi coinvolti dai cambiamenti. L’obiettivo è mantenere un elevato livello di coerenza e funzionalità in tutti i sistemi a base di dati.

Il modello di integrazione dai dati si basa sull’individuazione, cattura e delivery delle modifiche alle fonti di dati enterprise.

Change Data Capture (CDC)

Change Data Capture (CDC)

Guarda questo video su YouTube

Perché il change data capture è importante

Il change data capture svolge una funzione importante perché è in grado di tagliare in maniera significativa l’esigenza di aggiornare il warehouse su vasta scala.

Inoltre, la possibilità di avere a disposizione informazioni aggiornate in tempo reale è cruciale per consentire il buon funzionamento di un’azienda. La tecnologia può abilitare processi di integrazione dei dati su scala aziendale in real-time. Permette di far propagare immediatamente le variazioni apportate nel database degli ordini dei prodotti nelle applicazioni relative a: fatturazione, transazioni, spedizione, ordini, giacenze, clienti eccetera.

Quando avviene l’aggiornamento di un ordine di acquisto, arriva un nuovo cliente o si riceve un pagamento, occorre allineare tutte le applicazioni aziendali. Devono ricevere la notifica della modifica, in modo tale da svolgere i processi in maniera corretta.

Change data capture: cos'è e per cosa viene usato

Metodologia

La Change data capture tiene sotto controllo le modifiche a livello di riga nelle tabelle di origine del database: classificate come eventi di inserimento, update ed eliminazione. Dunque, rende le variazioni disponibili seguendo l’ordine temporale: l’ordine con cui il database sorgente è stato modificato, e con cui le modifiche sono state apportate a tutti i sistemi e i servizi che si basano su quei dati.

Tale modalità di integrazione dei dati assicura che tutte le parti coinvolte da un definito set di dati siano informate delle modifiche in maniera accurata e possano operare di conseguenza, cambiando la propria versione dei dati o mettendo in moto i relativi processi aziendali.

Le attuali architetture basate su microservizi hanno regalato una nuova centralità alla CDC, grazie alla possibilità di connettere i classici database con le architetture cloud native e orientate agli eventi.

Con la change data capture, le aziende possono proseguire a usare i database esistenti, ma utilizzando le tecnologie emergenti per usare le informazioni in maniera più efficace. La CDC mette a punto modelli e schemi per i nuovi deployment, come il modello Outbox, per consentire ai microservizi di scambiare dati consolidati, iniziando da una transazione di database.

La modalità più efficace permette di acquisire le modifiche al database, considerando le variazioni come eventi. Inoltre recapita le notifiche di introdotta modifica ai sistemi e alle applicazioni interessate. Lo fa attraverso un servizio di messaggistica. Come nelle architetture guidate dagli eventi (EDA), spedisce le notifiche di avvenuta variazione in maniera asincrona.

Change data capture: cos'è e per cosa viene usato

Esempio: Apache Kakfa

La CDC riveste il ruolo di assicurare che gli eventi trasmessi da una piattaforma per il data streaming+ distribuita (come Apache Kakfa) riflettano le variazioni effettuate nel sistema o database sorgente. Invece Apache Kafka ovvero lo strumento per assicurare la comunicazione asincrona fra il database e i consumer dei dati consiste nel garantire la trasmissione accurata di tutte le variazioni. Lo fa grazie alla messaggistica asincrona che consente di separare gli eventi dai consumer. Apache Kafka consente di pubblicare, sottoscrivere, archiviare ed elaborare flussi di eventi in real-time. Permette anche di gestire i flussi di dati derivanti da più sorgenti e di indirizzare i dati a numerosi destinatari.

Fattori di confusione

I database relazionali sono per esempio Microsoft SQL Server, Oracle, mysql o Postgres. In questi casi, aggiornare il database sorgente comporta l’update di tutta una gamma di risorse correlate. Per esempio, aggiorna l’indice di ricerca o la cache.

L’approccio più immediato per aggiornare le risorse in contemporanea dovrebbe prevedere l’esecuzione dell’upgrade delle applicazioni.

Tuttavia, trascrivere coerentemente i dati modificati su più destinazioni introduce fattori di confusione. Infatti crea problematiche e difficoltà di coordinamento. La CDC invece permette di evitare la doppia scrittura. Consente anche di aggiornare le risorse in modo puntuale e simultaneo.

Change data capture: cos'è e per cosa viene usato
Immagine da Shutterstock

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Partecipa alla community

guest
0 Commenti
Più recenti Più votati
Inline Feedback
Vedi tutti i commenti

DATA CENTER HUB

Tutti
RICERCHE
I PROTAGONISTI
GUIDE
APPROFONDIMENTI
Leggi l'articolo L’AI «accende» la caccia ai talenti da impiegare nei data center
mercato del lavoro IT
L’AI «accende» la caccia ai talenti da impiegare nei data center
Leggi l'articolo Dalle GPU ai megawatt: come cambiano le regole delle AI factory
efficienza elettrica
Dalle GPU ai megawatt: come cambiano le regole delle AI factory
Leggi l'articolo Rack liberi, investimenti bloccati: il paradosso dei data center sottoutilizzati
l'approfondimento
Rack liberi, investimenti bloccati: il paradosso dei data center sottoutilizzati
Leggi l'articolo Data center: perché il digital twin sta diventando uno strumento chiave per le operation
vademecum
Data center: perché il digital twin sta diventando uno strumento chiave per le operation
Leggi l'articolo Trasformatori allo stato solido: l’AI accende la corsa all’efficienza
Alimentazione data center
Trasformatori allo stato solido: l’AI accende la corsa all’efficienza
Leggi l'articolo Data center in Italia, la corsa si gioca sull’energia: 95 GW di richieste a Terna
l'analisi
Data center in Italia, la corsa si gioca sull’energia: 95 GW di richieste a Terna
Leggi l'articolo Data center, gestione dell’energia e architetture critiche con Schneider Electric
l'identikit
Data center, gestione dell’energia e architetture critiche con Schneider Electric
Leggi l'articolo Data center, la region Azure in Italia di Microsoft
l'identikit
Data center, la region Azure in Italia di Microsoft
Leggi l'articolo Sviluppo dei data center, l’approccio integrato di Deerns
l'identikit
Sviluppo dei data center, l’approccio integrato di Deerns
Leggi l'articolo Campus data center e interconnessione: come si sviluppa l’ecosistema Equinix
l'identikit
Campus data center e interconnessione: come si sviluppa l’ecosistema Equinix
Leggi l'articolo Continuità elettrica per i data center: le soluzioni di Riello UPS
l'identikit
Continuità elettrica per i data center: le soluzioni di Riello UPS
Leggi l'articolo Data center, le 50 parole chiave
glossario
Data center, le 50 parole chiave
Leggi l'articolo Equans, un approccio end-to-end per i nuovi data center
l'identikit
Equans, un approccio end-to-end per i nuovi data center
Leggi l'articolo Munters, il raffreddamento che sostiene l’evoluzione dei data center
l'identikit
Munters, il raffreddamento che sostiene l’evoluzione dei data center
Leggi l'articolo Elettrificazione e distribuzione elettrica ad alta efficienza secondo ABB
L'identikit
Elettrificazione e distribuzione elettrica ad alta efficienza secondo ABB
Leggi l'articolo Dallo staffaggio alla protezione antincendio: l’offerta Hilti per i data center
l'identikit
Dallo staffaggio alla protezione antincendio: l’offerta Hilti per i data center
Leggi l'articolo Come HiRef ottimizza il raffreddamento e l’efficienza energetica dei data center
l'identikit
Come HiRef ottimizza il raffreddamento e l’efficienza energetica dei data center
Leggi l'articolo Data center in Italia: come cambia l’ecosistema della filiera
VADEMECUM
Data center in Italia: come cambia l’ecosistema della filiera
Leggi l'articolo La corsa all’AI fa esplodere la domanda energetica dei data center
Lo studio
La corsa all’AI fa esplodere la domanda energetica dei data center
Leggi l'articolo Dal data center all’AI factory: cosa serve sapere prima di investire
Vademecum
Dal data center all’AI factory: cosa serve sapere prima di investire
Leggi l'articolo Consumi AI data center: ABB scommette sulla corrente continua
Energy efficiency
Consumi AI data center: ABB scommette sulla corrente continua
Leggi l'articolo Data center, cresce l’appeal del mercato italiano per i capitali
L'analisi
Data center, cresce l’appeal del mercato italiano per i capitali
Leggi l'articolo Data center “lights-out”: quanto manca all’infrastruttura autonoma
vademecum
Data center “lights-out”: quanto manca all’infrastruttura autonoma
Leggi l'articolo Etichetta UE per i data center: più trasparenza sui consumi
L'approfondimento
Etichetta UE per i data center: più trasparenza sui consumi
Leggi l'articolo Data center, Becker: “La sovranità digitale passa dalla dimensione regionale”
L'intervista
Data center, Becker: “La sovranità digitale passa dalla dimensione regionale”
Leggi l'articolo L’AI «accende» la caccia ai talenti da impiegare nei data center
mercato del lavoro IT
L’AI «accende» la caccia ai talenti da impiegare nei data center
Leggi l'articolo Dalle GPU ai megawatt: come cambiano le regole delle AI factory
efficienza elettrica
Dalle GPU ai megawatt: come cambiano le regole delle AI factory
Leggi l'articolo Rack liberi, investimenti bloccati: il paradosso dei data center sottoutilizzati
l'approfondimento
Rack liberi, investimenti bloccati: il paradosso dei data center sottoutilizzati
Leggi l'articolo Data center: perché il digital twin sta diventando uno strumento chiave per le operation
vademecum
Data center: perché il digital twin sta diventando uno strumento chiave per le operation
Leggi l'articolo Trasformatori allo stato solido: l’AI accende la corsa all’efficienza
Alimentazione data center
Trasformatori allo stato solido: l’AI accende la corsa all’efficienza
Leggi l'articolo Data center in Italia, la corsa si gioca sull’energia: 95 GW di richieste a Terna
l'analisi
Data center in Italia, la corsa si gioca sull’energia: 95 GW di richieste a Terna
Leggi l'articolo Data center, gestione dell’energia e architetture critiche con Schneider Electric
l'identikit
Data center, gestione dell’energia e architetture critiche con Schneider Electric
Leggi l'articolo Data center, la region Azure in Italia di Microsoft
l'identikit
Data center, la region Azure in Italia di Microsoft
Leggi l'articolo Sviluppo dei data center, l’approccio integrato di Deerns
l'identikit
Sviluppo dei data center, l’approccio integrato di Deerns
Leggi l'articolo Campus data center e interconnessione: come si sviluppa l’ecosistema Equinix
l'identikit
Campus data center e interconnessione: come si sviluppa l’ecosistema Equinix
Leggi l'articolo Continuità elettrica per i data center: le soluzioni di Riello UPS
l'identikit
Continuità elettrica per i data center: le soluzioni di Riello UPS
Leggi l'articolo Data center, le 50 parole chiave
glossario
Data center, le 50 parole chiave
Leggi l'articolo Equans, un approccio end-to-end per i nuovi data center
l'identikit
Equans, un approccio end-to-end per i nuovi data center
Leggi l'articolo Munters, il raffreddamento che sostiene l’evoluzione dei data center
l'identikit
Munters, il raffreddamento che sostiene l’evoluzione dei data center
Leggi l'articolo Elettrificazione e distribuzione elettrica ad alta efficienza secondo ABB
L'identikit
Elettrificazione e distribuzione elettrica ad alta efficienza secondo ABB
Leggi l'articolo Dallo staffaggio alla protezione antincendio: l’offerta Hilti per i data center
l'identikit
Dallo staffaggio alla protezione antincendio: l’offerta Hilti per i data center
Leggi l'articolo Come HiRef ottimizza il raffreddamento e l’efficienza energetica dei data center
l'identikit
Come HiRef ottimizza il raffreddamento e l’efficienza energetica dei data center
Leggi l'articolo Data center in Italia: come cambia l’ecosistema della filiera
VADEMECUM
Data center in Italia: come cambia l’ecosistema della filiera
Leggi l'articolo La corsa all’AI fa esplodere la domanda energetica dei data center
Lo studio
La corsa all’AI fa esplodere la domanda energetica dei data center
Leggi l'articolo Dal data center all’AI factory: cosa serve sapere prima di investire
Vademecum
Dal data center all’AI factory: cosa serve sapere prima di investire
Leggi l'articolo Consumi AI data center: ABB scommette sulla corrente continua
Energy efficiency
Consumi AI data center: ABB scommette sulla corrente continua
Leggi l'articolo Data center, cresce l’appeal del mercato italiano per i capitali
L'analisi
Data center, cresce l’appeal del mercato italiano per i capitali
Leggi l'articolo Data center “lights-out”: quanto manca all’infrastruttura autonoma
vademecum
Data center “lights-out”: quanto manca all’infrastruttura autonoma
Leggi l'articolo Etichetta UE per i data center: più trasparenza sui consumi
L'approfondimento
Etichetta UE per i data center: più trasparenza sui consumi
Leggi l'articolo Data center, Becker: “La sovranità digitale passa dalla dimensione regionale”
L'intervista
Data center, Becker: “La sovranità digitale passa dalla dimensione regionale”