O Zwoox é uma ferramenta de ingestão de dados, desenvolvida pela Xpand IT, e que facilita a importação e estruturação de dados para um cluster Hadoop.
Esta é uma ferramenta altamente escalável dado que se encontra totalmente integrada no Cloudera Enterprise Data Hub e tira total proveito de várias tecnologias Hadoop, como Spark, Hbase e Kafka. Com o Zwoox a necessidade de codificar data pipelines “à mão” é eliminada, qualquer que seja a fonte de dados.
Uma das maiores vantagens do Zwoox é o facto de acelerar a ingestão de dados, oferecendo inúmeras opções no que à importação de dados diz respeito permitindo inclusive replicar RDBMS DML em near real-time para estruturas de dados Hadoop.
Apesar de existirem várias ferramentas que permitem a importação de dados para clusters Hadoop, só com o Zwoox é possível efetuar esta importação de forma acessível, eficiente e altamente escalável, persistindo os dados em HDFS (com tabelas Hive) ou Kudu.
Algumas das possibilidades que o Zwoox oferece:
- Automação de particionamento em HDFS;
- Tradução de data types;
- Carregamento total ou por deltas;
- Tabelas de audit (com full history) sem impactos na performance;
- Derivação de novas colunas de funções pré-definidas ou código “pluggable”;
- Integração operacional com o Cloudera Manager.
Esta ferramenta encontra-se disponível no Cloudera Solutions Center e estará brevemente no site da Xpand IT. Por enquanto, pode também consultar o documento informativo sobre o produto.
Se precisa de saber mais sobre o Zwoox ou sobre ingestão de dados, contacte-nos.
Content and Digital Coordinator – Xpand IT
