A experiência mostra uma dificuldade notória dos clientes em distinguir a nova abordagem dos Data Lakes e a abordagem antiga do Datawarehouse. Este artigo serve essencialmente para clarificar alguns conceitos e diferenças entre eles:

• Os Data Lakes podem ser a fonte, ou uma das fontes do Datawarehouse, sendo portanto conceitos complementares neste aspecto. Este ponto é importante, sendo que normalmente os dados são “limpos” e catalogados nos Data Lakes de forma a introduzi-los nos Datawarehouse para análises estruturais da informação e agregações;

• Os Data Lakes ingerem dados estruturados (sim também) não estruturados ou meio caminho entre ambos enquanto que o Datawarehouse apenas suporta dados estruturados devido à sua natureza fixa (schema on write);

• Dada a sua natureza, assente em tecnologia Hadoop (ou na cloud em cima por exemplo do Amazon S3) e na sua estruturação menos rígida nos Data Lakes a ingestão de dados é rápida, ao contrário do Datawarehouse onde essa ingestão de dados demora mais tempo e é sempre mais complexa;

• Os Data Lakes permitem uma análise e aplicação de algoritmos de ML (Machine Learning) e Analytics e também alguns casos típicos de BI. No caso do Datawarehouse o foco é apenas entregar apenas use cases de BI, como relatórios ou consultas de histórico, etc;

• No Datawarehouse os dados são normalmente agregados, resultado de processamento prévio enquanto nos Data Lakes os dados encontram-se de uma forma “não tratada”;

• Os SLAs são por norma diferentes, sendo muito mais apertados no Datawarehouse;

• Os Datawarehouse também podem ser fontes para os Data Lakes no caso da aplicação de regras de negócio aos dados que devem ser exportadas para o Data Lake para ser analisadas com ferramentas de Data Science (ex: Análise de tendências ou ML)

Estes sete pontos clarificam e posicionam ambos os conceitos num universo complementar. Se tem dúvidas ou pretende explorar estes conceitos contacte-nos.