Compartilhando dados entre diferentes subscrições/tenants no Azure

     No mundo de hoje, os dados são exibidos como um ativo estratégico essencial que muitas organizações precisam compartilhar de modo simples e seguro com seus clientes e parceiros. Há muitas maneiras de que os clientes fazerem isso hoje, incluindo por meio de FTP, email e APIs, para mencionar algumas. As organizações podem facilmente perder o controle de com quem elas o compartilharam seus dados. Compartilhar dados por meio de FTP ou a própria infraestrutura de API costuma ser caro de provisionar e administrar. Há sobrecarga de gerenciamento associada ao uso desses métodos de compartilhamento em grande escala.

     O Azure Data Share permite que as organizações compartilhem dados de modo simples e seguro com vários clientes e parceiros. Em apenas alguns cliques, você pode provisionar uma nova conta de compartilhamento de dados, adicionar conjuntos de dados e convidar seus clientes e parceiros para o compartilhamento de dados. 

Onde posso utilizar o Azure Data Share?

     O Azure Data Share pode ser usado em vários setores diferentes. Por exemplo, um varejista talvez queira compartilhar dados recentes de ponto de vendas com seus fornecedores. Usando o Azure Data Share, um varejista pode configurar um compartilhamento de dados contendo dados do ponto de vendas para todos os fornecedores e compartilhar vendas por hora ou por dia.

     O Azure Data Share também pode ser usado para estabelecer um mercado de dados para um setor específico. Por exemplo, um governo ou uma instituição de pesquisa que compartilha regularmente dados anônimos sobre o crescimento da população com terceiros, por exemplo o IBGE.

     Outro caso de uso do Azure Data Share seria apoiar em migracoes de ambiente de dados entre subscricoes/tenants diferentes (no momento em que estamos escrevendo esse artigo, mover dados entre tenants nao e permitido). Aqui na RNet nos utilizamos essa abordagem para apoiar um dos nossos clientes.

Como ele funciona

     No momento, o Azure Data Share oferece compartilhamento baseado em snapshot  e compartilhamento in-place.

     No compartilhamento baseada em instantâneo, os dados passam da assinatura do Azure do provedor de dados e chegam à assinatura do Azure do consumidor de dados. Como um provedor de dados, você provisiona um compartilhamento de dados e convida destinatários para ele. Os consumidores de dados recebem um convite para o compartilhamento de dados por email. Depois de aceitar o convite, um consumidor de dados pode disparar um instantâneo completo dos dados compartilhados com ele. Esses dados são recebidos na conta de armazenamento dos consumidores de dados. Os consumidores de dados podem receber atualizações regulares incrementais dos dados compartilhados com eles para que sempre tenham a versão mais recente dos dados.

     Os provedores de dados podem oferecer a seus consumidores de dados atualizações incrementais aos dados compartilhados com eles por meio de um agendamento de instantâneo. Agendas de instantâneo são oferecidas por hora ou por dia. Quando um consumidor de dados aceita e configura o compartilhamento de dados, ele pode assinar uma agenda de instantâneo. Isso é útil em cenários em que os dados compartilhados são atualizados regularmente e o consumidor de dados precisa dos dados mais atualizados.

     Quando um consumidor de dados aceita um compartilhamento de dados, ele é capaz de receber os dados em um armazenamento de dados de sua escolha. Por exemplo, se o provedor de dados compartilhar dados usando o Armazenamento de Blobs do Azure, o consumidor de dados poderá receber esses dados no Azure Data Lake Storage. Da mesma forma, se o provedor de dados compartilhar dados de um Azure Synapse Analytics (antigo SQL Data Warehouse), o consumidor de dados poderá escolher se deseja receber os dados em um Azure Data Lake Storage, em um Banco de Dados SQL do Azure ou em um Azure Synapse Analytics. No caso do compartilhamento de fontes baseadas em SQL, o consumidor de dados também pode escolher se deseja receber dados em parquet ou csv.

     Com o compartilhamento in-loco, os provedores de dados podem compartilhar dados onde eles residem sem copiar os dados. Depois que a relação de compartilhamento é estabelecida por meio do fluxo de convite, um link simbólico é criado entre o armazenamento de dados de origem do provedor de dados e o armazenamento de dados de destino do consumidor de dados. O consumidor de dados pode ler e consultar os dados em tempo real usando o próprio armazenamento de dados. As alterações no armazenamento de dados de origem estão disponíveis imediatamente para o consumidor de dados. O compartilhamento no local está disponível no momento para o Azure Data Explorer.

Vamos a demo.

Crie um resource group, esse será o nosos “container” onde os recursos da nossa solução ficarão organizados.

Digita DATA na barra de pesquisa do Azure para aparecer a sua oferta e clique em Data Shares

Uma vez que você clicou, você irá para a tela de criação e  clique em “CREATE”

Prenche as informações solicitadas e confirme (ok/create)

Após o deploy do recurso ser feito no azure, para para a tela do recurso no azure, pois, você precisará escolher que será o seu “flow” clicando em “start sharing your data”

Preencha os detalhes, como o nome do seu share, o tipo do compartilhamento  e uma breve descrição depois clique em next

Na aba de datasets, escolha qual será a fonte para realizar o compartilhamento dos dados.

Escolha o seu blob storage onde os arquivos estão e que devem ser compartilhados. 

Obs – o blob storage deve ser previamente criado, no entanto, esse não é o foco desse artigo.

Selecione o container e clique em OK. Quando você clicar no OK, sua tela ficará similar assim e clique em next

Na aba recepiente, escolha o e-mail com que você deseja compartilhar (pode ser as credenciais  da outra subscrição ou tentant do azure) e clique em next.

Na guia “settings”, configure a recorrência do compartilhamento 

E  na última tela, faça o review create 

Quando o passo acima for concluído, a conta utilizada no recipiente receberá um e-mail que foi convidada a participar de um compartilhamento. 

Para a segunda parte dessa configuração, o resource provider deve ser configurado anteriomente assim como o storage account(o link de como esses recursos devem ser configurados, serão disponibilizado no fim do artigo). 

Clique no invite que você recebeu e seja direcionado para a página para cadastrar o aceite do invite, quando isso for feito a outra “ponta” será notificado e o compartilhamento estará pronto. Crie uma data sahre account 

Preencha com as informações pertinentes e clique em OK

Aceite e configure o data share account

Agora você precisa configruar os datasets, clique para realizar os passos

Cliue para fazer o mapeamento , como pode ver ele não foi feito.

Quando você clicar, ele irá aparecer qual o mapa que você deseja realizar para o destino (target)

Uma vez mapeado, será feito o deploy internamente disso no azure e, o status irá aparecer como “mapped”, informado que o mapeamento foi realizado.

O snapshot será habilitado e agendado, conforme o que você defininiu anteriormente. Caso ele não seja habilitado por padrão, faça isso

No lado do meu “received”, podemos ver que o mapeamento está ativo e, toda vez que um arquivo cair no storage account “source”, ele irá ser “empurrado” baseado no schedule e conforme o tipo que definimos. Veja que ele está ativo

Se clicarmos em share e subscriptions 

Veremos que o arquivo foi compartilhado, o mapeamento está feito, nesse momento  o seu azure data share deve ser semelhante a esse 

Espero que tenham gostado e “stay tuned” no blog da RNET e nas redes sociais para novas atualizações.

Referência

O que é o Azure Data Share? | Microsoft Docs

Criar uma conta de armazenamento – Azure Storage | Microsoft Docs

Provedores de recursos e tipos de recurso – Azure Resource Manager | Microsoft Docs