Os Data Warehouses são hoje um dos pilares dos sistemas de informação das empresas e organizações, oferecendo respostas a questões sobre novas condições de mercado e permitindo efetuar planeamento estratégico de longo prazo.

No entanto, os Data Warehouses estão rapidamente a evoluir para um papel ainda mais importante nas organizações. Existe uma alteração qualitativa e quantitativa no volume, variedade e velocidade dos dados disponíveis com relevância para o negócio. Num meio cada vez mais competitivo é necessário tomar decisões mais rápidas baseadas em mais e melhor informação e simultaneamente reduzir custos com as infraestruturas dos sistemas de informação.

Estes novos desafios obrigam a uma evolução dos tradicionais data warehouses e sistemas de apoio à decisão. Três aspetos chave a ter em conta na evolução dos sistemas de data warehouse.

A necessidade de tratar cada vez maiores volumes de dados implica a introdução de novas infraestruturas e ferramentas que permitam retirar impacto no desempenho dos sistemas existentes de data warehousing e simultaneamente reduzir custos operacionais. Este objetivo é possível introduzindo sistemas que permitam pré-processar os dados antes de os carregar no data warehouse, guardar dados não imediatamente necessários e permitir navegar e explorar grandes volumes de dados libertando o data warehouse para a tradicional análise de dados mais estruturais.

A necessidade de ter ferramentas que permitam adicionar e integrar novas e diferentes fontes de dados, combinando dados estruturados com dados não estruturados ou semiestruturados.  Assim como infraestruturas que facilitem o armazenamento e a integração destes dados de forma efetiva e com enormes reduções de custos operacionais.

A necessidade de usar novas ferramentas analíticas que permitam encontrar informação em grandes volumes dados de forma efetiva, rápida e reduzindo custos. Introduzindo o conceito de advanced analytics tools.

Libertar o Data Warehouse

Cada vez mais é necessário trabalhar com grandes volumes de dados, esta situação leva a uma sobrecarga nos sistemas tradicionais de data warehousing e de apoio à decisão. Acompanhar esta tendência leva a um aumento de custos operacionais e de infraestruturas incomportável para as organizações, por outro lado não incorporar estes novos dados significa tomar decisões baseadas em informação incompleta.

A solução é usar novas estruturas para armazenar dados antigos, offloading e novos dados, pre-processing, libertando desta forma os sistemas de data warehousing.  Uma solução é usar sistemas de clusters Hadoop para o efeito. Esta solução apresenta várias vantagens, por um lado os sistemas Hadoop são de custo reduzido comparativamente aos sistemas tradicionais de data warehousing, por outro lado são sistemas desenhados para acesso rápido a grandes volumes de dados.

Desta forma os sistemas Hadoop complementam os sistemas de data warehousing existentes de três formas:

• Para pré-processamento, utilizando as caraterísticas dos sistemas Hadoop para armazenar novos dados provenientes de novas e antigas fontes, sejam dados estruturados ou não estruturados. Pré-processar esses dados e determinar os que devem ser carregados no data warehouse para posterior análise usando ferramentas tradicionais;
• Para offloading, descarga de dados antigos ou pouco usados no data warehouse para os sistemas Hadoop, continuando estes dados disponíveis para análise usando ferramentas tradicionais ou ferramentas de advance analytics;
• Navegar e explorar, usando ferramentas de big data descobrir rapidamente informação de valor para apoio à decisão na grande quantidade de dados armazenados nos sistemas Hadoop, libertando o data warehouse para as análises tradicionais.

Autor: António Rodrigues (@tomanix)