O Azure Synapse Analytics é uma plataforma poderosa que integra big data e data warehousing. Um dos componentes chave do Synapse é o Data Flow, que permite a transformação de dados em larga escala. O cmdlet New-AzSynapseDataFlow no PowerShell é utilizado para criar fluxos de dados no Azure Synapse. Neste artigo, vamos explorar como você pode criar e executar scripts PowerShell usando New-AzSynapseDataFlow no ambiente Windows.

Exemplos:

Para começar, certifique-se de que você tem o módulo Az.Synapse instalado no PowerShell. Você pode instalá-lo usando o seguinte comando:

Install-Module -Name Az.Synapse -AllowClobber -Scope CurrentUser

Exemplo 1: Criando um Fluxo de Dados Simples

Este exemplo demonstra como criar um fluxo de dados simples no Azure Synapse.

# Autenticar no Azure
Connect-AzAccount

# Defina variáveis para o workspace e o nome do fluxo de dados
$workspaceName = "SeuWorkspace"
$dataFlowName = "MeuFluxoDeDados"

# Defina o JSON de especificação do fluxo de dados
$dataFlowDefinition = @{
    name = $dataFlowName
    properties = @{
        type = "MappingDataFlow"
        typeProperties = @{
            sources = @(
                @{
                    name = "FonteDeDados"
                    dataset = @{
                        referenceName = "SeuDataset"
                        type = "DatasetReference"
                    }
                }
            )
            sinks = @(
                @{
                    name = "DestinoDeDados"
                    dataset = @{
                        referenceName = "SeuDatasetDestino"
                        type = "DatasetReference"
                    }
                }
            )
        }
    }
}

# Crie o fluxo de dados
New-AzSynapseDataFlow -ResourceGroupName "SeuGrupoDeRecursos" -WorkspaceName $workspaceName -Name $dataFlowName -Definition $dataFlowDefinition

Exemplo 2: Executando um Fluxo de Dados

Após criar o fluxo de dados, você pode querer executá-lo. Aqui está como você pode fazer isso:

# Defina o nome do pipeline que executará o fluxo de dados
$pipelineName = "MeuPipeline"

# Defina o JSON do pipeline que executa o fluxo de dados
$pipelineDefinition = @{
    name = $pipelineName
    properties = @{
        activities = @(
            @{
                name = "ExecutarFluxoDeDados"
                type = "ExecuteDataFlow"
                typeProperties = @{
                    dataFlow = @{
                        referenceName = $dataFlowName
                        type = "DataFlowReference"
                    }
                }
            }
        )
    }
}

# Crie e execute o pipeline
New-AzSynapsePipeline -ResourceGroupName "SeuGrupoDeRecursos" -WorkspaceName $workspaceName -Name $pipelineName -Definition $pipelineDefinition
Invoke-AzSynapsePipeline -ResourceGroupName "SeuGrupoDeRecursos" -WorkspaceName $workspaceName -PipelineName $pipelineName

Esses exemplos mostram como você pode criar e executar fluxos de dados no Azure Synapse usando PowerShell no Windows. Certifique-se de substituir os valores de exemplo por seus próprios nomes de recursos e definições.