Met Langetermijnopslag van logs kunt u uw AppSignal-logs exporteren en opslaan in S3-compatibele opslag. U heeft een betaalde Business Add-On nodig om deze functie te gebruiken. AppSignal blijft uw logs 30 dagen opslaan.
Volg de onderstaande stappen om Langetermijnopslag van logs te configureren:
- Zorg dat u aan alle vereisten voldoet
- Configureer S3-opslag
- Voeg opslag toe aan een logbron
Vereisten
Om Langetermijnopslag van logs in te stellen, heeft u nodig:
U heeft S3-compatibele opslag nodig om Langetermijnopslag van logs te gebruiken. We hebben de stappen gedocumenteerd voor:
Als u een andere dienst gebruikt, lees dan het hoofdstuk Andere S3-compatibele opslagdiensten configureren.
Als u van plan bent dezelfde bucket en inloggegevens te gebruiken om meerdere
logbronnen te exporteren, zorg er dan voor dat u voor elke logbron een uniek pad
opneemt. Hiermee voorkomt u dat logs van verschillende bronnen elkaar
overschrijven.
- Maak een nieuwe S3-bucket aan en haal de URL ervan op. U moet AppSignal de URL van de bucket geven. U kunt deze URL genereren met het volgende patroon:
https://s3.[region-code].amazonaws.com/[bucket-name], waarbij u [region] en [bucket-name] vervangt.
- Maak een nieuwe gebruiker aan met Programmatic access en
read/write-toegang tot de bucket waarin u logs wilt opslaan. U moet AppSignal de access key ID en access secret key van de gebruiker geven. Een voorbeeld van een IAM-policy is:
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::<bucket_name>",
"arn:aws:s3:::<bucket_name>/*"
]
}
]
- Voeg opslag toe aan een logbron.
Volg de onderstaande stappen om DigitalOcean Spaces te configureren voor Langetermijnopslag van logs:
- Maak een nieuwe space aan met
Restrict File Listing en haal de URL ervan op. U moet AppSignal de URL van de space geven. U kunt deze URL genereren met het volgende patroon: [region].digitaloceanspaces.com/[spacename], waarbij u [region] en [spacename] vervangt.
- Genereer een nieuwe DigitalOcean API-tokensleutel. U moet AppSignal de
access key en secret key van de sleutel geven.
- Voeg opslag toe aan een logbron.
Volg de onderstaande stappen om S3-compatibele opslagdiensten te configureren voor Langetermijnopslag van logs:
- Maak een nieuwe bucket aan en haal de URL ervan op. U moet AppSignal de URL van de bucket geven; raadpleeg de documentatie van uw S3-opslagdienst voor details over waar u deze kunt vinden.
- Maak een nieuwe access key aan. U moet AppSignal de
access key en secret key van de sleutel geven; raadpleeg de documentatie van uw S3-opslagdienst voor details over hoe u deze genereert.
- Voeg opslag toe aan een logbron.
Opslag toevoegen aan een logbron
Voordat u opslag aan een logbron toevoegt, controleert u of u de stappen voor het instellen van de opslag heeft gevolgd en of u over de volgende gegevens beschikt:
- Bucket-URL
access key en secret key
Wanneer u deze gegevens bij de hand heeft, volgt u de onderstaande stappen om uw S3-opslag toe te voegen aan de gewenste logbron.
- Navigeer naar Log Sources en klik op “Add storage” bij de gewenste logbron:
- Geef AppSignal uw
bucket-URL, access key en secret key en voltooi de installatie door op Send long-term storage request te klikken.
Zodra de installatie is voltooid, plaatst AppSignal een opslagtaak in de wachtrij om te beginnen met het schrijven van loggegevens naar uw S3-bucket.
Elke taak maakt een bestand aan in uw S3-bucket met de volgende bestandsnaam en het volgende formaat:
/yyyy-mm/yyyy-mm-ddThhmmss-yyyy-mm-ddThhmmss.json.gz
Bijvoorbeeld:
https://s3.com/2015-01/2015-01-01T100000-2015-01-02T110000.json.gz
U kunt meer lezen over opslagtaken in het hoofdstuk Opslagtaken en uitzonderingen.
Opslagtaken en uitzonderingen
In dit hoofdstuk leert u meer over het schrijven van logs naar S3-opslag via opslagtaken en hoe AppSignal taakuitzonderingen afhandelt.
Opslagtaken
Opslagtaken worden elk uur uitgevoerd. Elke taak schrijft één uur aan loggegevens van 25 uur geleden.
Een taak die bijvoorbeeld op 12-01-2024 om 10:00 wordt uitgevoerd, schrijft een bestand met logs van 11-01-2024 die tussen 09:00 en 09:59:59 zijn aangemaakt naar uw S3-opslag.
Dit zorgt ervoor dat eventuele logregels die mogelijk zijn vertraagd, worden meegenomen in de opslagtaak.
Als een taak succesvol is, wordt een taak voor het volgende uur aan gegevens in de wachtrij geplaatst en heeft de langetermijnopslag van uw bron de status “Running”.
U kunt opslagtaken bekijken en beheren via de pagina “Manage source”.
Uitzonderingen
Als een opslagtaak mislukt, probeert AppSignal de opslagtaak elk uur opnieuw uit te voeren, gedurende 24 uur (dus 24 pogingen).
Als AppSignal de opslagtaak na 24 pogingen niet kan voltooien, melden we u een failed-taak.
Een mislukte taak herstellen
Wanneer een logbron een opslagtaak met de status failed heeft, stopt AppSignal met het in de wachtrij plaatsen van nieuwe taken. Door op de status failed te klikken, ziet u de fout die AppSignal tegenkwam bij de poging de opslagtaak uit te voeren.
U moet de instellingen van de logbron handmatig verifiëren om de taak opnieuw te proberen; dit kan via de pagina “Manage source”.
Zodra geverifieerd, probeert AppSignal de taak opnieuw. Als dit slaagt, hervat AppSignal de uurlijkse opslagtaken en heeft de langetermijnopslag van uw bron de status “Running”.
U heeft tot 48 uur voor het einde van uw AppSignal-logretentie de tijd om logs op te slaan in uw S3-opslag.Met bijvoorbeeld 30 dagen retentie, zou u tot 10:00 op 29-01-2024 de tijd hebben om logs van 09:00-09:59:59 op 01-01-2024 op te slaan.
Opslag verwijderen
Om langetermijnopslag van een bron te verwijderen navigeert u naar de pagina “Manage source” van de bron en klikt u op “Remove storage”.
Na bevestiging verwijdert AppSignal de opslag van de bron en wist de geschiedenis van opslagtaken van de bron. Loggegevens die al in uw opslag zijn opgeslagen, worden niet verwijderd. 