Claude
edac97e931
--storage.path=/var/lib/alloy/data war gesetzt, aber ohne Volume: die
Positions-Datei lag im Container-Layer und war bei jedem Recreate weg.
Alloy las danach alle Docker-Logdateien von vorn, worauf Loki alle
Eintraege aelter als 7 Tage mit HTTP 400 abwies
("timestamp too old", reject_old_samples). Sichtbar als Fehler-Burst bei
jedem Deploy; betroffen waren nur Alt-Logzeilen bis zurueck zu 2025,
keine aktuellen Daten.
Verifiziert: Positions-Datei liegt jetzt in monitoring_alloy_data und
ueberlebt --force-recreate (28 -> 31 Zeilen), zweiter Recreate erzeugt
0 Fehler. 7 Container liefern weiterhin Logs.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Monitoring-Stack (Operating-Host)
Prometheus + Loki + Grafana + Alloy + node-exporter fuer den Operating-Server
(CFGMON). Vollstaendig provisioniert: Datasources und Dashboards liegen als
Code in diesem Repo, ein docker compose up -d auf einem frischen Host stellt
den kompletten Stack wieder her.
Deployment
cp .env.example .env # Werte setzen (nur beim allerersten Start relevant)
docker network create traefik # falls noch nicht vorhanden
docker compose up -d
Struktur
| Pfad | Inhalt |
|---|---|
docker-compose.yml |
Stack-Definition, Images auf feste Versionen gepinnt |
prometheus/prometheus.yml |
Scrape-Konfiguration |
loki/loki-config.yaml |
Loki Single-Binary-Konfiguration, 90 Tage Retention |
alloy/config.alloy |
Docker-Log-Collection -> Loki, node-exporter -> Prometheus |
grafana/provisioning/ |
Datasources (feste UIDs!) und Dashboard-Provider |
grafana/dashboards/<ordner>/*.json |
Dashboards, je Unterordner ein Grafana-Ordner |
Externe Abhaengigkeiten
- Remote-Write eingehend auf
:9090: k3s-Cluster und Matrix-Server pushen Metriken (flux,kube_state_metrics,synapse). - Log-Push eingehend auf
:3100(Loki) von externen Alloys. - Scrape ausgehend: k3s-Host (
10.0.0.2:9100), Pterodactyl-Host (157.90.155.206:9100+:8080). cadvisorundtraefikwerden gescraped, laufen aber in anderen Stacks (cadvisor: Portainer-Stackthread-net-git; beide haengen im externentraefik-Netz).
Dashboards aendern
Provisionierte Dashboards sind in der UI editierbar (allowUiUpdates: true),
aber die JSON-Datei im Repo ist die Quelle der Wahrheit: UI-Aenderungen
muessen exportiert und committet werden, sonst gehen sie beim naechsten
Datei-Update verloren.
Offene Punkte / Sicherheit
9090,3100,9100sind auf der oeffentlichen IP ohne Auth erreichbar (Docker umgeht ufw). Per Hetzner Cloud Firewall auf die IPs der bekannten Absender einschraenken.- Pterodactyl-Host
157.90.155.206: node-exporter und cadvisor antworten aktuell nicht (Targets down). - Loki
table_managerist deprecated; Retention-Enforcement laeuft aktuell nicht ueber den Compactor -- bei Gelegenheit auf Compactor-Retention umstellen.