Le stockage des logs à long terme vous permet d’exporter et de stocker vos logs AppSignal dans un stockage compatible S3. Vous avez besoin d’un module complémentaire Business payant pour utiliser cette fonctionnalité. AppSignal continuera à stocker vos logs pendant 30 jours.
Suivez les étapes ci-dessous pour configurer le stockage des logs à long terme :
- Vérifiez que vous avez toutes les exigences
- Configurez le stockage S3
- Ajoutez le stockage à la source de log
Exigences
Pour configurer le stockage des logs à long terme, vous aurez besoin de :
Vous aurez besoin d’un stockage compatible S3 pour utiliser le stockage des logs à long terme. Nous avons documenté les étapes pour :
Si vous utilisez un autre service, veuillez lire notre section Configuration d’autres services de stockage compatibles S3.
Si vous prévoyez d’utiliser le même bucket et les mêmes identifiants pour exporter
plusieurs sources de log, veillez à inclure un chemin unique pour chaque source
de log. Cela évitera que les logs de différentes sources ne tentent de s’écraser
mutuellement.
Configuration du stockage AWS S3
Suivez les étapes ci-dessous pour configurer le stockage AWS S3 pour le stockage des logs à long terme :
- Créez un nouveau bucket S3 et récupérez son URL. Vous devrez fournir à AppSignal l’URL du bucket. Vous pouvez générer cette URL avec le modèle suivant :
https://s3.[region-code].amazonaws.com/[bucket-name], en remplaçant respectivement [region] et [bucket-name].
- Créez un nouvel utilisateur avec un accès programmatique et un accès
read/write au bucket dans lequel vous comptez stocker les logs. Vous devrez fournir à AppSignal l’access key ID et l’access secret key de l’utilisateur. Voici un exemple de politique IAM :
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::<bucket_name>",
"arn:aws:s3:::<bucket_name>/*"
]
}
]
- Ajoutez le stockage à la source de log.
Configuration de DigitalOcean Spaces
Suivez les étapes ci-dessous pour configurer DigitalOcean Spaces pour le stockage des logs à long terme :
- Créez un nouvel espace avec
Restrict File Listing et récupérez son URL. Vous devrez fournir à AppSignal l’URL des spaces. Vous pouvez générer cette URL avec le modèle suivant : [region].digitaloceanspaces.com/[spacename], en remplaçant respectivement [region] et [spacename].
- Générez une nouvelle clé de jeton d’API DigitalOcean. Vous devrez fournir à AppSignal l’
access key et la secret key de cette clé.
- Ajoutez le stockage à la source de log.
Configuration d’autres services de stockage compatibles S3
Suivez les étapes ci-dessous pour configurer des services de stockage compatibles S3 pour le stockage des logs à long terme :
- Créez un nouveau bucket et récupérez son URL. Vous devrez fournir à AppSignal l’URL du bucket, consultez la documentation de votre service de stockage S3 pour savoir où la trouver.
- Créez une nouvelle clé d’accès. Vous devrez fournir à AppSignal l’
access key et la secret key de la clé, consultez la documentation de votre service de stockage S3 pour savoir comment la générer.
- Ajoutez le stockage à la source de log.
Ajouter le stockage à la source de log
Avant d’ajouter un stockage à une source de log, assurez-vous d’avoir suivi les étapes de configuration du stockage et d’avoir les informations suivantes :
- URL du bucket
access key et secret key
Une fois ces informations en main, suivez les étapes ci-dessous pour ajouter votre stockage S3 à la source de log souhaitée.
- Accédez à Log Sources et cliquez sur « Add storage » sur la source de log souhaitée :
- Fournissez à AppSignal votre
buckets URL, votre access key et votre secret key, puis terminez la configuration en cliquant sur Send long-term storage request.
Une fois la configuration terminée, AppSignal mettra en file d’attente une tâche de stockage pour commencer à écrire les données de log dans votre bucket S3.
Chaque tâche créera un fichier dans votre bucket S3 avec le nom de fichier et le format suivants :
/yyyy-mm/yyyy-mm-ddThhmmss-yyyy-mm-ddThhmmss.json.gz
Par exemple :
https://s3.com/2015-01/2015-01-01T100000-2015-01-02T110000.json.gz
Vous pouvez en savoir plus sur les tâches de stockage dans la section Tâches de stockage et exceptions.
Tâches de stockage et exceptions
Dans cette section, vous pouvez en savoir plus sur l’écriture des logs vers le stockage S3 via des tâches de stockage, et sur la manière dont AppSignal gère les exceptions de tâches.
Tâches de stockage
Les tâches de stockage sont exécutées toutes les heures. Chaque tâche écrit une heure de données de log datant de 25 heures auparavant.
Par exemple, une tâche qui s’exécute le 12/01/2024 à 10:00 écrira un fichier de logs du 11/01/2024 qui ont été créés entre 09:00 et 09:59:59 vers votre stockage S3.
Cela garantit que toutes les lignes de log qui ont pu être retardées sont incluses dans la tâche de stockage.
Si une tâche réussit, une tâche pour l’heure suivante est mise en file d’attente et le stockage à long terme de votre source aura le statut « Running ».
Vous pouvez consulter et gérer les tâches de stockage depuis la page « Manage source ».
Exceptions
Si une tâche de stockage échoue, AppSignal tentera de la relancer chaque heure pendant 24 heures (soit 24 tentatives).
Si, après 24 tentatives, AppSignal ne parvient pas à terminer la tâche de stockage, nous vous notifierons d’une tâche en failed.
Restaurer une tâche échouée
Lorsqu’une source de log a une tâche de stockage avec un statut failed, AppSignal cessera de mettre en file d’attente de nouvelles tâches. Cliquer sur le statut failed affichera l’erreur qu’AppSignal a rencontrée en tentant d’exécuter la tâche de stockage.
Vous devrez vérifier manuellement les paramètres de la source de log pour réessayer la tâche, ce qui peut être fait via la page « Manage source ».
Une fois vérifié, AppSignal réessaiera la tâche. Si elle réussit, AppSignal reprendra les tâches de stockage horaires et le stockage à long terme de votre source aura le statut « Running ».
Vous avez jusqu’à 48 heures avant la limite de rétention de vos logs AppSignal pour stocker les logs avec votre stockage S3.Par exemple, avec 30 jours de rétention, vous auriez jusqu’au 29/01/2024 à 10:00 pour stocker les logs du 01/01/2024 entre 09:00 et 09:59:59.
Suppression du stockage
Pour supprimer le stockage à long terme d’une source, accédez à la page « Manage source » de la source et cliquez sur « Remove storage ».
Une fois confirmé, AppSignal supprimera le stockage de la source et supprimera l’historique des tâches de stockage de la source. Les données de log déjà stockées dans votre stockage ne seront pas supprimées. 