L’affermazione potrà stupire, ma è indubbio il fatto che dopo oltre mezzo secolo d’informatica la qualità dei dati continua ad essere un serio problema. Un problema la cui soluzione sta diventando ormai irrimandabile, almeno per le aziende che intendono seriamente sfruttare le sempre più sofisticate applicazioni che da alcuni anni vengono loro proposte, dagli Erp ai Crm, dagli Scm ai più recenti sviluppi della Business Intelligence, come il Performance Management, le quali, per aver successo, richiedono di essere alimentate da dati la cui bontà sia al di sopra di ogni sospetto. In caso contrario, infatti, le informazioni risultanti dalla loro elaborazione sarebbero prive di attendibilità, con conseguenze disastrose nel caso in cui fossero impiegate per fare previsioni o per basarvi strategie aziendali. Come ci ricorda uno dei più famosi ‘mantra’ dell’informatica (‘garbage in, garbage out’), anche utilizzando i migliori strumenti di analisi la qualità delle informazioni in uscita non può mai essere migliore di quella dei dati in entrata.Appaiono dunque ancora attuali i risultati di un’ampia ricerca svolta nel 2002 dal Tdwi (The Data Warehouse Institute; www.dw-institute.com) che, pubblicati con il titolo ‘Data quality and the bottom line’, avevano sollevato molto scalpore, poiché mettevano in evidenza, tra le altre cose, come nel corso di un solo anno la cattiva qualità dei dati fosse costata alle aziende americane la non trascurabile somma di oltre 600 miliardi di dollari. E questa era solo una parte della verità. Infatti il costo calcolato dal Tdwi teneva conto solo delle attività strettamente necessarie per ovviare agli inconvenienti diretti del fenomeno (dalla fattura sbagliata alla comunicazione respinta al mittente), senza prendere in considerazione gli effetti collaterali (previsioni poco accurate, cattive decisioni, peggioramento dei rapporti con i clienti ed altro ancora) i cui danni in termini monetari vanno a sommarsi ai precedenti (vedi figura 1).
Ma oltre ai costi in termini economici determinati dalla scarsa qualità dei dati, la ricerca aveva messo in luce anche la poca attenzione attribuita dalle aziende al problema (vedi figura 2).
Solo l’11% del campione disponeva infatti di programmi per gestire e migliorare in modo sistematico la qualità dei dati, mentre il 48% non aveva nemmeno incominciato a prendere in considerazione la cosa. E questo, avevano scoperto gli analisti, in quanto la maggior parte delle aziende del campione, oltre a sovrastimare l’effettiva qualità dei propri dati, non sembrava possedere un’esatta percezione dell’impatto che eventuali errori e inconsistenze in essi contenuti potevano avere sulle rispettive ‘bottom line’. Questo atteggiamento, secondo gli analisti, può essere spiegato dal fatto che le aziende, considerando il fenomeno inevitabile, avevano in sostanza finito per tollerarlo. Pochi tra i manager del campione sembravano infatti rendersi conto che non solo la scarsa qualità dei loro dati era uno svantaggio competitivo, ma che un livello di qualità considerato adeguato in un certo momento poteva non esserlo più in un momento successivo.
Qualcosa sta cambiando
Negli ultimi tempi le aziende hanno tuttavia cominciato a prendere coscienza dell’impatto che una cattiva qualità dei dati può avere sulle loro performance. Secondo una ricerca Idc (Business Analytics Implementation Challenges), pubblicata lo scorso gennaio e a cui hanno partecipato manager e responsabili It di oltre 1.600 società, la scarsa qualità dei dati è vista come un problema reale.
“La qualità dei dati – osserva Dan Vesset, Research Manager for Analytics and Data Warehousing di Idc – comincia ad essere riconosciuta come un presupposto indispensabile per la realizzazione di soluzioni gestionali e analitiche affidabili, ma è stata a lungo sottovalutata. Di fatto, pur riconoscendo che per affrontare il problema nel modo corretto occorrono un notevole impegno e risorse adeguate, il non farlo rappresenta una scelta assai poco comprensibile in un contesto economico e di mercato che richiede una sempre maggiore attenzione per le performance di tutti i processi di business. La qualità e correttezza dei dati deve essere assolutamente certificata. E anche se questa in molti casi può essere un’operazione complessa e richiedere notevoli quantità di tempo, tuttavia è indispensabile per il successo di un qualunque progetto di Data warehousing o di Business intelligence. Una delle maggiori cause di fallimento di questi progetti è dovuta infatti proprio alla mancanza di fiducia nella qualità dei dati da parte di chi deve utilizzarli.”
L’opinione di Vesset è condivisa da Ted Friedman, Research Director di Gartner, il quale afferma in modo esplicito che: “La scarsa attenzione per la qualità dei dati è una delle principali ragioni dell’insuccesso non solo dei progetti di Data warehousing o di Business intelligence, ma anche di Erp o Crm. E nei prossimi tre anni, per le stesse ragioni, prevediamo che oltre il 50% di questi progetti o fallirà o non riuscirà a raggiungere gli obiettivi prefissati.”
Per Gartner la qualità dei dati non è un problema che può essere affrontato solo attraverso l’impiego di strumenti tecnologici, e quindi di competenza dell’It, ma richiede il diretto coinvolgimento di tutte le funzioni aziendali. Questo comporta la necessità di sviluppare una cultura capace di cogliere l’importanza dei dati aziendali e di considerarli come un vero e proprio ‘asset’ competitivo. Si tratta di convincere chi opera nei diversi settori aziendali del fatto che i dati costituiscono una componente essenziale di ciò che producono, e non un sottoprodotto dei relativi processi. Si tratta in sostanza di fare in modo che tutti coloro che lavorano in azienda non solo si sentano proprietari dei dati che ‘scaturiscono’ dai processi nei quali sono coinvolti, ma sappiano anche come vengono usati, e su quali decisioni possono influire.
“In questo campo – afferma Friedman – non esistono formule magiche capaci di risolvere il problema: quello che occorre, oltre agli strumenti che la tecnologia può metterci a disposizione, è sopratutto un forte impegno aziendale”. Infatti, osserva l’analista Gartner: “Molti manager trovano noioso occuparsi della qualità dei dati e quindi ne sostengono solo a parole la necessità; salvo ricredersi al momento in cui un progetto importante non riesce a partire per problemi appunto di qualità dei dati, o perchè gli interessati sono riluttanti ad utilizzarlo temendo di essere considerati responsabili degli errori che potrebbero derivare dal suo impiego; oppure quando diventa di colpo evidente come la qualità dei dati disponibili non consenta di supportare le nuove esigenze del business.”
I sette criteri della qualità
Il concetto di qualità dei dati è complesso ed esistono molti modi per definirlo. In effetti, non è sufficiente che un insieme di dati sia privo di errori per essere considerato di qualità. Vi sono altri criteri che devono essere soddisfatti per potergli riconoscere quella caratteristica, sette per la precisione: accuratezza, integrità, coerenza, completezza, validità, tempestività e accessibilità. I primi cinque riguardano in modo specifico i contenuti e la struttura dei dati, e individuano i vari tipi di difetti che vengono di solito associati al concetto di scarsa qualità; gli ultimi due invece riguardano il fatto che coloro che devono utilizzare i dati possano disporne in tempo utile e riescano ad accedervi con facilità.
Di fatto, è praticamente impossibile assicurare che un insieme di dati verifichi completamente tutti i criteri sopra citati, né sembra tanto importante garantirne l’assoluta perfezione, quanto fare in modo che siano in grado di soddisfare le esigenze di chi deve usarli. Si è infatti visto che diverse applicazioni o diversi utenti possono richiedere livelli diversi di qualità, ma è altrettanto evidente che se un data warehouse deve supportare le attività di vari tipi di utenti, è necessario che sia progettato e gestito in modo tale da soddisfare le esigenze di quelli più critici. E siccome tali esigenze possono variare nel tempo, in definitiva la migliore strategia da adottare è quella che consente di assicurare ai dati la massima qualità possibile.
Numerose e svariate sono le cause della scarsa qualità dei dati, ma quella principale è legata agli errori commessi nella loro introduzione nei sistemi che li dovranno elaborare da parte dei dipendenti o (come sempre più spesso accade con il diffondersi dei concetti di ‘azienda estesa’ e delle applicazioni di e-business) dai clienti e dai fornitori (vedi figura 3).
Altri errori possono avere origine quando si integrano dati provenienti da sistemi diversi, poiché molto spesso succede che tra campi corrispondenti vi siano differenze non solo di formato, ma anche di codifica e di sintassi. Particolarmente pericolose sono poi le incongruenze che nascono dalle variazioni apportate alle strutture dei record a seguito dell’introduzione di nuovi campi o di nuove codifiche non tempestivamente segnalate agli utenti, così come quelle che vengono generate nel corso di conversioni o di migrazioni di dati tra sistemi diversi.Ma i problemi più difficili da risolvere sono quelli che si verificano nelle grandi organizzazioni a causa della loro frammentazione in divisioni, reparti e gruppi di lavoro, ciascuno con i suoi particolari processi di business ed i suoi sistemi di gestione dati. In questi casi capita spesso che entità apparentemente chiare come ‘cliente’ o ‘fornitore’, oppure ‘utile’ o ‘fatturato’ siano definite o calcolate in modo completamente diverso. Se a tutto questo si aggiungono eventi quali fusioni o acquisizioni, o la necessità di gestire filiali in Paesi stranieri con lingue e legislazioni diverse, le difficoltà da affrontare per garantire la qualità dei dati possono diventare enormi.
Come affrontare il problema
Da quanto precede risulta evidente come portare la qualità dei dati a un livello definito ‘accettabile’ possa richiedere grandi sforzi di coordinamento alle organizzazioni interessate. “Il primo passo per la realizzazione di un progetto per il miglioramento della qualità dei dati – osserva ancora Friedman, di Gartner – consiste nel portare il top management a riconoscere l’esistenza del problema e ad assumere la responsabilità della sua soluzione”.
Due risultati non sempre facili da raggiungere. Anche perchè oggi, nella maggior parte delle aziende, questa responsabilità viene delegata all’It, che pur essendo essenziale ai fini della buona riuscita del progetto, di solito non ha l’autorità necessaria ad imporre i necessari cambiamenti ai processi di business o ai comportamenti delle persone. Superata questa difficoltà, si tratta poi di assegnare al progetto persone che siano in grado di definirne gli obiettivi, farlo partire, gestirlo nel tempo ed attivare sistemi di controllo che consentano di verificare i livelli di qualità raggiunti in modo che sia possibile mantenerli e, se necessario, migliorarli.
Diversi sono i ruoli da coprire: dal ‘Chief Quality Officer’ (Cqo), un manager di alto livello, preferibilmente con un background di business, che agisca da supervisore dell’intero progetto; agli analisti incaricarti di monitorare continuamente la qualità dei dati e suggerire gli interventi richiesti per correggere e prevenire gli errori. All’interno delle diverse funzioni di business devono poi essere individuate persone cui affidare la responsabilità dei risultati raggiunti. Sono poi necessari degli specialisti, in questo caso preferibilmente in possesso di background informatico, capaci di tradurre le esigenze di business in regole applicative. Se, come potrebbe accadere in aziende di limitate dimensioni, non è possibile dedicare a ciascuno di questi compiti risorse a tempo pieno, è importante che queste responsabilità vengano comunque assegnate, anche cumulandone più di una nelle stesse persone.
Un mercato
Sebbene il mercato degli strumenti per applicazioni di ‘data quality’ sia ancora di dimensioni limitate (si stima che, in termini di fatturato annuo, valga tra i 500 milioni e il miliardo di dollari), secondo uno studio di Meta Group dal titolo ‘The Data Quality Tools Evaluation Report’ pubblicato nell’agosto 2003, il suo tasso di crescita nel periodo 2004-2008 dovrebbe essere piuttosto sostenuto, nell’ordine cioè del 20-30% annuo. In questo mercato operano una dozzina di fornitori specializzati (vedi figura 4)
che offrono le tecnologie necessarie per affrontare i vari aspetti del problema, dall’analisi dei sistemi sorgente (‘profiling’) alla validazione dei dati (‘cleansing’); dalla trasformazione delle informazioni (‘standardizing’) alla loro reingegnerizzazione (‘parsing’). Inoltre, i principali vendor di soluzioni per la Bi offrono a loro volta strumenti specifici per l’Etl (il primo anello della ‘catena del valore’ dell’informazione), che mettono a disposizione degli utenti tecnologie in grado di estrarre i dati dalle diverse sorgenti, ripulirli, verificarli ed eventualmente arricchirli allo scopo di migliorarne la qualità per poterli poi caricare in un Data warehouse ed essere sottoposti alle analisi proprie della Bi.
Ma il problema della validazione qualitativa dei dati, della loro reingegnerizzazione, trasformazione e integrazione, si presenta con la stessa impellenza qualunque sia il tipo di applicazione aziendale, soprattutto se strategica. Quindi non solo nelle applicazioni di Business intelligence, ma nei progetti di Crm, Scm ed Erp. Resta il fatto che il mercato delle applicazioni di ‘data quality’ tenderà a convergere con quello delle soluzioni di ‘data integration’, finendo per conglobare non solo l’Etl, ma anche l’Eai (Enterprise Application Integration) e l’ Eii (Enterprise Information Integration).
Business objects è il n°1
Idc ha rilasciato a luglio il ‘Worldwide Business Intelligence Tools Forecast and Analysis 2003-2008’, Rapporto che combina i dati relativi al fatturato di licenze software e manutenzione per prodotti di query reporting e analisi, data mining, data warehouse e data mart specializzati. Il Rapporto valuta tale mercato a 3,9 miliardi di dollari nel 2003 e attribuisce a Business Objects la leadership sia per quota di fatturato (639 milioni di dollari, pari al 16,5% del totale (con un picco del 20% nell’area dei tool Q&R per l’utente finale) sia per tasso di crescita, pari quasi al 17%, il più alto tra i fornitori di B.I. (G.C.B.)
