Flytte metrics til noe mer production grade #52

New Issue

oysteikt · 2022-12-14T18:03:27+01:00

dali99 commented

2022-12-14 18:03:27 +01:00

(Migrated from github.com)

Dette inkluderer grafana/prometheus, men også eventuelt promtail og prometheus og slikt

Det var snakk om å sette det opp på en nixos maskin da @felixalbrigtsen allerede har noe nix config satt opp for det

SSL Certs / VPN løsning også up for discussion her

Dette inkluderer grafana/prometheus, men også eventuelt promtail og prometheus og slikt Det var snakk om å sette det opp på en nixos maskin da @felixalbrigtsen allerede har noe nix config satt opp for det SSL Certs / VPN løsning også up for discussion her

felixalbrigtsen commented

2022-12-14 18:07:07 +01:00

(Migrated from github.com)

Forslag til sikkerhet mellom noder og aggregator?

Jeg foreslår:

IPTables / UFW / lignende, som bare tillater trafikk på de gjeldene portene fra den aktuelle nye masteren
Self signed SSL, med sertifikat laget og signert på masteren.

Noen exportere har litt dårlig støtte for passordbeskyttelse og noen ganger også TLS. Vi kan eventuelt faktisk konfigurere et internt VPN med feks WireGuard(headscale?)

Forslag til sikkerhet mellom noder og aggregator? Jeg foreslår: 1. IPTables / UFW / lignende, som bare tillater trafikk på de gjeldene portene fra den aktuelle nye masteren 2. Self signed SSL, med sertifikat laget og signert på masteren. Noen exportere har litt dårlig støtte for passordbeskyttelse og noen ganger også TLS. Vi kan eventuelt **faktisk** konfigurere et internt VPN med feks WireGuard(headscale?)

dali99 commented

2022-12-14 18:43:13 +01:00

(Migrated from github.com)

headscale er fett, men point to point wireguard er faktisk ikke så ille å manage i nixos eller networkd på debian. Så uansett så tror jeg vi går for noe form for wg.

Med headscale får vi tailscale ACLs som er helt utrolig fleksible for å begrense tilganger, og med magic dns får vi et autha human name for å skrive i config filer og sånne ting (annet enn hijackable DNS). Det viritualiserer også nettet vårt som gjør oss mindre avhengig av det fysiske nettverksopsettet vårt, som er positivt i disse dager. Og lar oss om vi vil låse ned det meste av ekstern tilgang uten å gjøre det veldig mye vanskeligere for oss selv.

headscale er fett, men point to point wireguard er faktisk ikke så ille å manage i nixos eller networkd på debian. Så uansett så tror jeg vi går for noe form for wg. Med headscale får vi tailscale ACLs som er helt utrolig fleksible for å begrense tilganger, og med magic dns får vi et _autha_ human name for å skrive i config filer og sånne ting (annet enn hijackable DNS). Det viritualiserer også nettet vårt som gjør oss mindre avhengig av det fysiske nettverksopsettet vårt, som er positivt i disse dager. Og lar oss om vi vil låse ned det meste av ekstern tilgang uten å gjøre det veldig mye vanskeligere for oss selv.

dali99 commented

2022-12-14 18:46:49 +01:00

(Migrated from github.com)

headscale er ikke like nice som tailscale ootb da så et PVV-wide bra headscale opsett krever en del setup, med egne namespaces per bruker og sånt

felixalbrigtsen commented

2023-07-28 21:34:23 +02:00

(Migrated from github.com)

Dette oppsettet har kjørt på ildkule i lang tid, og virker stabilt. Vi har ikke så mange alerts konfigurert, men systemene er i orden så vidt jeg kan se.

I forbindelse med å sikre metrics-endepunkter så bare ildkule har tilgang:
Vi har stengt ned connections i systemd-tjenesten, og det ser ut til å virke fint.

TODO: Gjør det samme i saltoppsettet så vi får noe lignende på andre maskiner, så kan issuet lukkes.

Dette oppsettet har [kjørt på ildkule](https://ildkule.pvv.ntnu.no/login) i lang tid, og virker stabilt. Vi har ikke så mange alerts konfigurert, men systemene er i orden så vidt jeg kan se. I forbindelse med å sikre metrics-endepunkter så bare ildkule har tilgang: [Vi har stengt ned connections i systemd-tjenesten](https://git.pvv.ntnu.no/Drift/pvv-nixos-config/src/main/misc/metrics-exporters.nix#L10), og det ser ut til å virke fint. TODO: Gjør det samme i saltoppsettet så vi får noe lignende på andre maskiner, så kan issuet lukkes.

h7x4 commented

2023-09-02 20:01:51 +02:00

(Migrated from github.com)

Lukker issuet, dette er blitt noe annet enn det det originalt var.

oysteikt added this to the Kanban project 2024-08-03 22:51:02 +02:00

oysteikt added the

nixos

servers n' hardware

logging

labels 2024-08-06 18:32:53 +02:00

danio referenced this issue

2024-10-31 15:39:42 +01:00