Carol File Loader
Este aplicativo para carregamento de dados estruturados na plataforma Carol é uma ferramenta que permite aos usuários o download e carga de dados nos formatos CSV, XLSX, JSON e API (em breve)
, utilizando os protocolos HTTP, HTTPS e FTP (em breve)
. Além disso, o aplicativo suporta os padrões de autenticação Basic, Bearer e OAuth2, o que garante a segurança e privacidade dos dados utilizados. A ferramenta suporta a configuração de diversas fontes de dados e a carga agendada ou manual de maneira escalável.
Siga os links abaixo para instruções detalhadas sobre o uso do app:
Instalação
Para instalar o app é necessário que o mesmo esteja disponível para a organização a que pertence à Tenant.
→ Instalando o Carol App nas Tenants
Configuração
Pipeline
Utilizando a configuração CONFIG_JSON, a aplicação suporta a definição de múltiplos pipelines de carga de dados.
[
"pipeline_name": {
"format": enum (Format),
"url": string,
"headers": {
string: string,
...
},
"auth": {
object (Auth)
},
"carol": {
object (Carol)
},
"csv": {
object (Csv)
},
"json": {
object (Json)
},
"api": {
object (Api)
}
},
{
object (Pipeline)
},
...
]
Campo | Descrição |
---|---|
pipeline_name | string Um nome definido pelo usuário para o pipeline. Os nomes dos pipelines devem ser únicos para esta configuração. |
format | enum FormatDescreve o formato dos dados sendo carregados. |
url | string URL do arquivo ou endpoint onde residem os dados que serão carregados. |
headers | map (key: string, value: string) Cabeçalhos HTTP personalizados que serão enviados na requisição da URL. Exemplos: "Authorization": "cf365fe19f224be09499af3f65aedebb" "X-Api-Key": "449703493e2f41318585856d8c1a52ff" |
auth | object AuthConfigurações específicas da autenticação utilizada na requisição da URL. |
carol | object CarolConfigurações específicas do conector Carol. |
csv | object CsvConfigurações específicas para dados no formato CSV. |
xlsx | object XlsxConfigurações específicas para dados no formato XLSX. |
json | object JsonConfigurações específicas para dados no formato JSON. |
api | object ApiConfigurações específicas para dados utilizando API. |
Format
Formatos suportados pela aplicação.
Valor | Descrição |
---|---|
csv | Arquivo texto em formato estruturado de tabela, com colunas separadas por separador, normalmente , ou ; . |
xlsx | Arquivo no formato Microsoft Excel Open XML Spreadsheet, armazena os dados em estrutura tabular, organizados em planilhas. |
json | Arquivo texto de padrão aberto, armazena dados em pares atributo-valor e arrays. |
api em breve | Suporte a chamadas em APIs que forneçam dados estruturados. |
Auth
{
"type": enum (AuthType),
"config": {
"username": string,
"password": string,
"token_url": string,
"client_id": string,
"client_secret": string,
"refresh_token": string,
"redirect_uri": string
}
}
Campo | Descrição |
---|---|
type | enum AuthTypeDescreve o tipo de autenticação utilizado no pipeline. |
username | string Identificação do usuário utilizado na autenticação. Somente Basic. |
password | string Senha utilizada na autenticação. Somente Basic. |
token_url | string URL do serviço de autorização utilizado para geração de token de acesso. Bearer e OAuth2. Ver |
cliente_id | string Identificador público para o aplicativo no fluxo de autenticação OAuth2. Bearer e OAuth2. Ver |
cliente_secret | string Segredo compartilhado entre o aplicativo e Authorization Server durante o fluxo de autenticação OAuth2. Bearer e OAuth2. Ver |
refresh_token | string Inicialmente recebido juntamente com o token de acesso durante o fluxo de autenticação OAuth2, permite a obtenção não interativa de um novo token de acesso após sua expiração. Somente OAuth2. Ver |
redirect_uri | string URL cadastrada no aplicativo OAuth2 como retorno após autenticação. Somente OAuth2. Ver |
AuthType
Tipos de autenticação suportados pela aplicação.
Valor | Descrição |
---|---|
basic | Informações de autenticação (usuário e senha) são codificadas como Base64 no cabeçalho Authorization . |
bearer | Credenciais de autenticação (ID e Secret) são utilizadas para obtenção de token de acesso em um Authorization Server. A requisição ao recurso definido em URL utiliza o token recebido no cabeçalho Authorization . |
oauth2 | Credenciais de autenticação (ID e Secret) são utilizadas em conjunto com o refresh_token para obtenção de token de acesso em um Authorization Server. Atualmente somente o fluxo de authenticação de aplicativo Web é suportado. A requisição ao recurso definido em URL utiliza o token recebido no cabeçalho Authorization |
Carol
{
"connector": string,
"staging": string,
"crosswalk": [
string,
...
],
"flexible": boolean
}
Campo | Descrição |
---|---|
connector | string Nome do conector que possui a tabela de destino para a carga de dados. |
staging | string Nome da tabela de staging onde os dados serão armazenados na plataforma. |
crosswalk | string[] Colunas que serão usadas como chave primária da tabela. |
flexible | boolean Indica se colunas adicionais serão ignoradas ou não. |
Csv
{
"delimiter": string,
"header": boolean,
"columns": [
string,
...
]
}
Campo | Descrição |
---|---|
delimiter | string Delimitador de colunas usado no arquivo CSV. |
header | boolean Indica se o arquivo CSV contém uma linha com os cabeçalhos ou não. |
columns | string[] Define o nome das colunas do arquivo CSV que não possui cabeçalhos. |
Xlsx
{
"sheet": string,
"header": boolean,
"columns": [
string,
...
]
}
Campo | Descrição |
---|---|
sheet | string Nome da planilha que contém os dados a serem utilizados. |
header | boolean Indica se o arquivo XLSX contém uma linha com os cabeçalhos ou não. |
columns | string[] Define o nome das colunas do arquivo XLSX que não possui cabeçalhos. |
Json
{
"root": string,
"properties": [
string,
...
]
}
Campo | Descrição |
---|---|
root | string Notação JSON que representa o array de dados a serem carregados. Exemplos: "root": "" "root": "hits" "root": "meta.view.columns" |
properties | string[] Lista de campos em notação JSON que devem ser consideradas durante a carga de dados. Este campo deve ser suprimido para que todos os dados sejam utilizados. |