Qualidade de dados
2º Ten Marcello Sandi Pinheiro – Analista de BI e Qualidade de Dados
Cap Marçal de Lima Hokama – Administrador de Banco de Dados
INTRODUÇÃO
Durante os últimos anos ocorreu um crescimento significativo dos Sistemas de Informações nas organizações, fruto de um processo natural de implantação de tecnologias visando a automatização das áreas e atividades dentro da organização e, com isso, a dinamização dos serviços dentro da organização como um todo. Tecnicamente, tais Sistemas de Informações (SI) mantém repositórios com os dados que, na verdade, representam o negócio da organização, e são, na …exibir mais conteúdo…
2. ARQUITETURA PARA MELHORIA DA QUALIDADE DE DADOS
Trata-se um processo suportado pela TDQM, onde os repositórios operacionais “alvo” passam pelo tratamento e melhoria da qualidade dos dados. Começa após o mapeamento das tabelas que serão replicadas em uma área denominada STAGE, com o intuito de, primeiro, manter os repositórios de origem na produção e, segundo, não onerar os Sistemas de Gerenciamento de Banco de Dados (SGBD) operativos desses repositórios, conforme ilustrado na figura 2.
[pic]
Figura 2: Arquitetura Proposta para o Projeto de Qualidade de Dados.
As tabelas na STAGE irão passar pelas etapas da TDQM com o intuito de gerar o Plano de Qualidade de Dados. Dessa forma, os problemas são mapeados e as regras de tratamento e melhoria de qualidade de dados são definidas e implementadas em uma ferramenta específica para qualidade de dados, a qual dá suporte a técnicas de Extração, Transformação e Carga (conhecido como ETL) e também a recursos específicos para a qualidade de dados utilizando técnicas estatísticas, probabilísticas e de inteligência artificial.
A proposta é criar um modelo contínuo de melhoria da qualidade, com processos bem definidos e com uma equipe específica responsável pelo tratamento e melhoria da qualidade dos dados.
Em um primeiro momento, após a aplicação de regras de qualidade de dados pela ferramenta, os dados com qualidade serão armazenados na “STAGE com Qualidade” (Processo Q1). Os dados serão replicados