Criação de pipelines de dados

No Minitab Data Center, você pode criar um pipeline de dados para limpar e transformar dados de uma ou mais fontes em um conjunto de dados pronto para uso.

Neste tópico

O que é um pipeline de dados?
Vistas do pipeline
Ajuste a exibição do pipeline
Nós disponíveis
Atualizar o pipeline
Desfazer/Refazer mudanças no pipeline
Linhas de ligação

O que é um pipeline de dados?

Um pipeline de dados é uma sequência de etapas que coletam, transformam e preparam dados para que fiquem prontos para análise ou relatório. Pipelines de dados ajudam a garantir que:

Os dados permanecem consistentes e confiáveis
As atualizações acontecem sob demanda
As equipes usam o mesmo conjunto de dados confiável
Erros são identificados antes do uso dos dados

O pipeline de dados aparece como um diagrama visual interativo que permite adicionar, remover e modificar nós enquanto recebe mensagens de status e erro de processamento em tempo real.

Por exemplo, você pode criar um pipeline que puxa dados de um arquivo CSV e de uma planilha Minitab, limpa e combina os dados, e então gera um único conjunto de dados para usar no seu dashboard.

Observação

Cada pipeline suporta até 60 nós de processamento, além de um nó de saída (61 nós no total). Você pode ter até dez nós fonte de dados.

Vistas do pipeline

Cada Data Center projeto contém um diagrama interativo de pipeline que representa as etapas de processamento dos dados.

Limpeza vista: Use a Limpeza visualização para limpar e preparar seus dados
Fonte de dados vista: Use a Fonte de dados visualização para modificar o esquema do conjunto de dados ou quaisquer configurações que afetem todo o conjunto de dados.
Para obter mais informações, vá para Gerencie o esquema do conjunto de dados ou Definir opções de fonte de dados.

Ajuste a exibição do pipeline

Use os Ampliar botões, Reduzir, ou Ajustar visualização no pipeline canvas para ajustar sua visão.

Você também pode selecionar Auto Layout na barra de ferramentas para otimizar a visualização do pipeline.

Observação

Você pode arrastar e reposicionar os nós para uma organização visual ideal.

Nós disponíveis

A maioria dos pipelines inclui os seguintes tipos de nós:

Fonte de dados
Limpeza
Mesclar
Reformulação
Saída

Nós fonte de dados

Um nó fonte de dados conecta seu pipeline a um conjunto de dados. Cada pipeline suporta no máximo dez nós fonte de dados.

Para adicionar um nó fonte de dados, selecione Adicionar dados na barra de ferramentas.

Você também pode selecionar Adicionar fonte de dados no menu contextual da tela.

Para mais informações sobre nós fonte de dados, acesse Fundamentos dos nós de origem.

Nós de limpeza

Corrige problemas de formatação, remove erros e realiza outras operações de preparação de dados.

O Data Center suporta múltiplos nós de limpeza em hierarquias flexíveis para suportar todos os seus processos de limpeza de dados.

O primeiro Limpeza nó é somado em série, então os nós subsequentes ficam em paralelo conforme segue. Você pode renomear e mover nós a qualquer momento para qualquer posição.

Para adicionar um nó de limpeza não parentado, selecione Adicionar limpeza no menu contextual do canvas.

Para mais informações sobre nós de limpeza de dados, acesse Princípios básicos da etapa de limpeza.

Nós de fusão de dados

Use Junção nossos União nós para combinar múltiplos conjuntos de dados.

Você pode adicionar nós de junção e união a partir de um nó existente ou da linha de conector.

Para adicionar um nó de fusão de dados sem parentais, selecione Adicionar junção ou Adicionar União pelo menu contextual canvas.

Para mais informações sobre nós de fusão de dados, acesse Fusão de conjuntos de dados.

Remodelação de nós

Reformule conjuntos de dados usando Transposição operações.

Você pode adicionar nós transpositos a partir de um nó existente ou da linha conector.

Para adicionar um nó de remodelação sem parentais, selecione Adicionar Transposição no menu contextual da tela.

Para mais informações sobre remodelação de nós, acesse Conjuntos de dados transpostos.

Nós de saída

Indica o nó terminal de um pipeline de dados. Entrega dados a um destino final, como uma ferramenta de análise ou dashboard.

Para definir um nó de saída, abra o menu do botão direito e escolha Definir saída entre um nó pai. A partir daqui, você pode enviar uma cópia dos dados limpos para um projeto Minitab ou um Painel Minitab.

Você também pode selecionar Abrir em na barra de ferramentas enviar uma cópia dos dados limpos para um projeto Minitab ou Painel Minitab.

Para mais informações sobre como exportar os dados ou todo o pipeline do Data Center, acesse Exportação de dados e projetos.

Atualizar o pipeline

Use Atualizar para reprocessar as transformações de dados dentro do pipeline de dados. Apenas nós de Fonte de Dados podem ser atualizados independentemente de forma independente.

Para atualizar todo o pipeline, selecione Atualizar na barra de ferramentas.

Para atualizar uma fonte de dados individual, selecione Atualizar no menu de contexto do nó de origem. Se uma fonte de dados não estiver acessível, será solicitado que você reconecte ou procure o arquivo.

Desfazer/Refazer mudanças no pipeline

Use Desfazer, reverta Refazer ou reaplica mudanças recentes feitas no pipeline.

Você pode desfazer e refazer várias alterações enquanto edita um pipeline. O histórico de Desfazer e Refazer está disponível apenas durante a sessão de edição atual.

Desfazer e Refazer está no Mais menu da barra de ferramentas.

Linhas de ligação

Linhas conectoras definem o fluxo de dados através de um pipeline ao ligar nós entre si. Eles mostram como os dados se movem de um nó para outro e determinam a ordem em que as etapas do pipeline são executadas.

Crie uma linha de conexão: Crie uma linha de conexão conectando a saída de um nó à entrada de outro nó. Para remover uma linha de conector, selecione-a e apague-a.

Observação
Um nó deve estar conectado a outros nós por meio de linhas conectoras para participar do fluxo de dados do pipeline.
Rearranjo as linhas conectoras: Selecione uma linha de conexão existente e arraste uma extremidade para outro nó para reconectar a linha e atualizar o fluxo do pipeline.
Inserir nós a partir de uma linha conectora: Selecione o ícone Inserir em uma linha de conexão para inserir um nó entre dois nós conectados.