VSCode Plugin
O plugin TOTVS Carol para o Visual Studio Code permite a construção e teste de Pipelines com recursos como code completion, testes dry-run da pipeline e execução da pipeline SQL na Carol.
Instalação
→ Para conhecer os passos de instalação acesse a página oficial do plugin TOTVS Carol.
Após instalado, o plugin pode ser acessado no menu lateral esquerdo do VSCode.
Para gerenciar as Tenants e realizar outras ações, use o atalho (Ctrl + Shift + P) e digite "Carol".
Para fazer login, você deverá informar a Organização, e será redirecionado para o login na Carol. Após o login será possível selecionar as Tenants que serão ativadas, e o plugin estará pronto para uso, permitindo processar e criar novas pipelines, entre outras operações listadas abaixo.
Para melhor uso do plugin do VSCode, os arquivos pipeline deve ser definidos com extensão csql.
Operações
O plugin do VSCode permite as seguintes operações:
Os comandos do VSCode possuem o seguinte objetivo:
Carol - Add Tenant Credential
O plugin solicitará os dados para adicionar uma Tenant dentro do VSCode, permitindo a interação com a Carol através de uma conexão já estabelecida. Internamente, o plugin irá criar o connector token no ambiente informado.
Carol - Tenants
Este comando permite listar todas as Tenants disponíveis no plugin permitindo ativar uma Tenant ou deletar uma Tenant.
Uma vez que a Tenant está ativa, a informação da Tenant ficará disponível no rodapé do VSCode:
Carol - Run Big Query
Este comando permite executar uma query para validar o resultado da pipeline. Um atalho para esse comando é a tecla F5, que vai submeter a query ao ambiente conectado (visível no rodapé) e vai mostrar o resultado numa panel nova.
Este comando não valida o schema retornado pela pipeline contra o schema do Data Model.
View: Show Carol BigQuery
Este comando permite processar os dados na Carol executando a pipeline diretamente na Carol. O comando permite alterar uma série de parâmetros para determinar aonde o dado processado será armazenado, quando executado esse comando será criado uma task na Carol para acompanhamento.
Os parâmetros disponíveis:
Arquivo csql: este é o arquivo correspondente pela pipeline.Data Model output: datamodel que a Carol irá armazenar os dados.Save CDS:indica para a Carol salvar os dados processados no storage CDS.Send Subscription: indica para a Carol enviar os dados processados para as subscriptions do data model output. Caso o registro tenha o atributo mdmDeleted como falso, será enviado a mensagem de eliminação no Data Subscription.Send Realtime: indica para a Carol salvar os dados na camada Realtime (RT).Clear Realtime: indica para a Carol limpar a camada Realtime antes de inserir os novos dados.Use Dataflow: indica para a Carol utilizar o Dataflow para processar os dados. Este valor quando enviado false é gerenciado automaticamente pela Carol dependendo do tamanho dos dados processados na pipeline.Clear BigQuery: indica para a Carol para limpar o storage Bigquery antes de salvar os novos dados.Save BigQuery: indica para a Carol salvar os dados processados no storage Big Query.
Quando o botão Process Pipeline é acionado, a mensagem de confirmação aparecerá juntamente com o link para acessar a task criada para processar os dados:
Carol - Dry Run Big Query
O comando dry-run submete a query para o dry-run do Bigquery, retornando a quantidade estimada de megabytes que será lido. Este comando é ideal para validar recursos necessários para execução da query.
O resultado é observado no rodapé do VSCode, ao lado do ambiente conectado.
Carol - Upload Data
O comando upload-data permite a subida de arquivos apenas no formato .json para a Carol.
Estes arquivos podem submeter dados de duas formas:
- Registros em staging tables já existentes.
- Esquema de dados para a criação de novas staging tables.
