O armazenamento de logs de longo prazo permite que você exporte e armazene seus logs do AppSignal em armazenamento compatível com S3. Você precisa de um Business Add-On pago para usar este recurso. O AppSignal continuará armazenando seus logs por 30 dias.
Siga os seguintes passos para configurar o armazenamento de logs de longo prazo:
- Garantir que você tem todos os requisitos
- Configurar armazenamento S3
- Adicionar armazenamento à fonte de log
Requisitos
Para configurar o armazenamento de logs de longo prazo, você precisará de:
Configurar armazenamento S3
Você precisará de armazenamento compatível com S3 para usar o armazenamento de logs de longo prazo. Documentamos os passos para:
Se você estiver usando um serviço diferente, leia nossa seção Configurando outros serviços de armazenamento compatíveis com S3.
Se você planeja usar o mesmo bucket e as mesmas credenciais para exportar
múltiplas fontes de log, certifique-se de incluir um caminho único para cada
fonte de log. Isso evitará que logs de diferentes fontes tentem sobrescrever
uns aos outros.
Configurando o armazenamento AWS S3
Siga os passos abaixo para configurar o armazenamento AWS S3 para o armazenamento de logs de longo prazo:
- Crie um novo bucket S3 e obtenha sua URL. Você precisará fornecer ao AppSignal a URL do bucket. Você pode gerar essa URL com o seguinte padrão:
https://s3.[region-code].amazonaws.com/[bucket-name], substituindo [region] e [bucket-name] respectivamente.
- Crie um novo usuário com acesso programático e permissão de
read/write para o bucket onde pretende armazenar os logs. Você precisará fornecer ao AppSignal o access key ID e a access secret key do usuário. Um exemplo de política IAM é:
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::<bucket_name>",
"arn:aws:s3:::<bucket_name>/*"
]
}
]
- Adicione armazenamento à fonte de log.
Configurando DigitalOcean Spaces
Siga os passos abaixo para configurar o DigitalOcean Spaces para o armazenamento de logs de longo prazo:
- Crie um novo space com
Restrict File Listing e obtenha sua URL. Você precisará fornecer ao AppSignal a URL do space. Você pode gerar essa URL com o seguinte padrão: [region].digitaloceanspaces.com/[spacename], substituindo [region] e [spacename] respectivamente.
- Gere um novo token de chave de API DigitalOcean. Você precisará fornecer ao AppSignal a
access key e a secret key da chave.
- Adicione armazenamento à fonte de log.
Siga os passos abaixo para configurar serviços de armazenamento compatíveis com S3 para o armazenamento de logs de longo prazo:
- Crie um novo bucket e obtenha sua URL. Você precisará fornecer ao AppSignal a URL do bucket, consulte a documentação do seu serviço de armazenamento S3 para detalhes sobre onde encontrá-la.
- Crie uma nova access key. Você precisará fornecer ao AppSignal a
access key e a secret key da chave, consulte a documentação do seu serviço de armazenamento S3 para detalhes sobre como gerar isso.
- Adicione armazenamento à fonte de log.
Adicionar armazenamento à fonte de log
Antes de adicionar armazenamento a uma fonte de log, certifique-se de ter seguido os passos de configuração do armazenamento e de ter as seguintes informações:
- URL do bucket
access key e secret key
Quando tiver essas informações em mãos, siga os passos abaixo para adicionar seu armazenamento S3 à fonte de log desejada.
- Navegue até Log Sources e clique em “Add storage” na fonte de log desejada:
- Forneça ao AppSignal a
URL do bucket, a access key e a secret key e conclua a configuração clicando em Send long-term storage request.
Uma vez concluída a configuração, o AppSignal enfileirará um job de armazenamento para começar a gravar os dados de log no seu bucket S3.
Cada job criará um arquivo no seu bucket S3 com o seguinte nome e formato:
/yyyy-mm/yyyy-mm-ddThhmmss-yyyy-mm-ddThhmmss.json.gz
Por exemplo:
https://s3.com/2015-01/2015-01-01T100000-2015-01-02T110000.json.gz
Você pode ler mais sobre jobs de armazenamento na seção Jobs de armazenamento e exceções.
Jobs de armazenamento e exceções
Nesta seção, você pode aprender mais sobre a gravação de logs no armazenamento S3 por meio dos jobs de armazenamento, e como o AppSignal lida com exceções de jobs.
Jobs de armazenamento
Os jobs de armazenamento são executados a cada hora. Cada job grava uma hora de dados de log de 25 horas atrás.
Por exemplo, um job que é executado em 12/01/2024 às 10:00, gravará um arquivo de logs de 11/01/2024 que foram criados entre 09:00 e 09:59:59 no seu armazenamento S3.
Isso garante que quaisquer linhas de log que possam ter sido atrasadas sejam incluídas no job de armazenamento.
Se um job for bem-sucedido, um job para a próxima hora de dados é enfileirado e o armazenamento de longo prazo da sua fonte terá o status de “Running”.
Você pode visualizar e gerenciar os jobs de armazenamento na página “Manage source”.
Exceções
Se um job de armazenamento falhar, o AppSignal tentará reexecutar o job de armazenamento a cada hora, durante 24 horas (ou seja, 24 tentativas).
Se após 24 tentativas o AppSignal não conseguir completar o job de armazenamento, notificaremos você sobre um job failed.
Restaurando um job que falhou
Quando uma fonte de log tem um job de armazenamento com o status failed, o AppSignal para de enfileirar novos jobs. Clicar no status failed exibirá o erro que o AppSignal encontrou ao tentar executar o job de armazenamento.
Você precisará verificar manualmente as configurações da fonte de log para tentar novamente o job, isso pode ser feito por meio da página “Manage source”.
Uma vez verificadas, o AppSignal tentará novamente o job. Se for bem-sucedido, o AppSignal retomará os jobs de armazenamento horários e o armazenamento de longo prazo da sua fonte terá o status de “Running”.
Você tem até 48 horas antes do prazo de retenção de logs do AppSignal para armazenar os logs no seu armazenamento S3.Por exemplo, com 30 dias de retenção, você teria até 10:00 em 29/01/2024 para armazenar os logs de 09:00-09:59:59 em 01/01/2024.
Removendo armazenamento
Para remover o armazenamento de longo prazo de uma fonte, navegue até a página “Manage source” da fonte e clique em “Remove storage”.
Uma vez confirmado, o AppSignal removerá o armazenamento da fonte e excluirá o histórico de jobs de armazenamento da fonte. Os dados de log já armazenados no seu armazenamento não serão excluídos. 