[Freifunk-Bonn] Bonn7 zickt rum / rate-limit für nginx
Freifunk-Peter
freifunk at cptechnik.de
Mo Dez 19 18:27:24 CET 2022
Ich habe
https://www.techgrube.de/news-und-infos/nginx-rate-limiting-einstellungen-und-funktion
> limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
>
> server {
> location /login/ {
> limit_req zone=mylimit;
> [...]
> }
> }
gefunden...
für /etc/nginx/nginx.conf
...
...richtig?
Nicht dass ich erwarte dass die Umland-Server vor Überlast einbrechen
könnten, ...
Aber ich möchte dass dann zumindest auskommentiert reinsetzen,
für den Fall daß...
Am 19.12.22 um 17:08 schrieb Peter:
> Das ist auf jeden Fall besser als in PHP eine Art fifo , Schieberegister
> zu basteln...
>
> Kannst du mir schreiben wo du das in nginx geändert hast, (ohne dass ich
> recherchieren muss)...
> ... ich möchte mir das in den Umland Supernodes mal ansehen...
>
> Am 19. Dezember 2022 12:31:04 MEZ schrieb Julian Zielke
> <freifunk at databunker.eu>:
>
> OK ich habe eine Lösung ad-hoc gefunden und auf Bonn 1 getestet. Der
> nginx hat eine Art rate-limit funktion. Damit kann man die Anfragen
> an wireguard.php puffern und pro Sekunde einen Request durchlassen.
> Das klappt wunderbar.
>
> Gruß,
>
> Julian
>
> *Von: *Freifunk-Bonn <freifunk-bonn-bounces at lists.kbu.freifunk.net>
> im Auftrag von Julian Zielke <freifunk at databunker.eu>
> *Antworten an: *<freifunk-bonn at lists.kbu.freifunk.net>
> *Datum: *Montag, 19. Dezember 2022 um 10:42
> *An: *<freifunk-bonn at lists.kbu.freifunk.net>
> *Betreff: *Re: [Freifunk-Bonn] Bonn7 zickt rum
>
> Noch eine Ergänzung:
>
> Bei extrem vielen, gleichzeitigen Anfragen, vergibt das PHP-Script
> die gleiche, interne Peering-IP doppelt, weil in dieser Zeit nicht
> pro Anfrage schnell genug die IP von Client X auf der
> Zuweisungsliste von Wireguard landet.
>
> Dies führ dazu das zwei Clients die gleiche IP bekommen. Wireguard
> selbst interessiert sich nicht dafür, da dort nur die Peering-Keys
> relevant sind. Jetzt ist die Frage ob, wenn ein Client mit dem
> Verbindungscheck-Script versucht eine doppelte IP zu pingen, was
> dann passiert. Eventuell liegt dort der Hund begraben. Ich konnte
> dem entgegenwirken, indem ich einen Random-Wait zwischen 5 und 25
> Sekunden überall bei der IP-Vergabe gesetzt habe. Das schafft ein
> wenig Entropie. Ich habe keine Ahnung von PHP. Wer da eine Art
> Lock-Mechanismus reinbauen kann, darf sich dem gerne widmen. Mir
> fehlt dafür die Zeit…
>
> Gruß,
>
> Julian
>
> *Von: *Freifunk-Bonn <freifunk-bonn-bounces at lists.kbu.freifunk.net>
> im Auftrag von Julian Zielke <freifunk at databunker.eu>
> *Antworten an: *<freifunk-bonn at lists.kbu.freifunk.net>
> *Datum: *Montag, 19. Dezember 2022 um 10:16
> *An: *<freifunk-bonn at lists.kbu.freifunk.net>
> *Betreff: *Re: [Freifunk-Bonn] Bonn7 zickt rum
>
> Moin,
>
> so, hier eine kurze Zusammenfassung was den bisherigen Stand meiner
> Problemanalyse betrifft:
>
> * Bei einem Neustart der Supernodes wird der PHP-Interpreter mit
> Anfragen an die Wireguard IP-Zuweisung geflutet
> * Der Interpreter läuft überall auf Version 7.4, nutzt aber auf
> älteren Systemen die 7.3 Config (ist wohl aus einem apt-Update
> heraus entstanden)
> * Wir haben die Ressourcenallokation in allen Interpretern
> angehoben, damit die IP-Zuweisung nicht klemmt bzw. in einen
> Timeout läuft
> * Der ntp-Daemon auf Bonn 7 hat die gre-Interfaces gelöscht, weil
> er sich nicht daran binden konnte. Ich habe daher überall die
> Konfig angepasst, dass er die Finger davon lässt.
>
> Damit ist das Problem, welches bei einem Massenneustart des
> FFKBU-Netztes entsteht, weitestgehend gebannt. Was nach wie vor
> offen ist, ist das einzelne Nodes sich trotzdem erst durch einen
> Routerneustart verbinden. Der Verbindungscheck ist also noch nicht
> „kugelsichert“. Ich kann hier keine weiteren Analysen durchführen,
> da ich keinen Zugriff auf einen Router mit diesem Phänomen habe.
>
> Die Wielandstraße ist nach einem Routerneustart wieder online. Bei
> der LWK warte ich noch auf den Hausmeister.
>
> Gruß,
>
> Julian
>
> *Von: *Freifunk-Bonn <freifunk-bonn-bounces at lists.kbu.freifunk.net>
> im Auftrag von Julian Zielke <freifunk at databunker.eu>
> *Antworten an: *<freifunk-bonn at lists.kbu.freifunk.net>
> *Datum: *Montag, 19. Dezember 2022 um 08:46
> *An: *<freifunk-bonn at lists.kbu.freifunk.net>
> *Betreff: *Re: [Freifunk-Bonn] Bonn7 zickt rum
>
> Ich schreibe nachher mal eine Zusammenfassung. Es gab wohl nen
> fiesen Cornercase, welcher bei den supernodes an verschiedenen
> Stellen für Probleme gesorgt hat.
>
> Julian
>
> ------------------------------------------------------------------------
>
> *Von:* Freifunk-Bonn <freifunk-bonn-bounces at lists.kbu.freifunk.net>
> im Auftrag von edgar.soldin at web.de <edgar.soldin at web.de>
> *Gesendet:* Sonntag, Dezember 18, 2022 1:57 PM
> *An:* freifunk-bonn at lists.kbu.freifunk.net
> <freifunk-bonn at lists.kbu.freifunk.net>
> *Betreff:* Re: [Freifunk-Bonn] Bonn7 zickt rum
>
> hmm,
>
> meiner Beobachtung nach sind die Knoten wohl noch dööfer als nur
> "strunzdoof". will sagen, das mein Knoten einfach offline ging und
> blieb und nur durch "An/Aus" wieder aktiviert werden konnte. hängt
> leider im Gastnetz der Fritzbox, deshalb konnte ich nicht draufschaun.
> Netzwerk trennen, Ethernet rein/raus, hat jedenfalls auch nichts
> geholfen, da schien irgendwas zu hängen.
>
> ..schösono ede
>
> On 17.12.2022 07:26, johnny.bee at gmx.de wrote:
> > Die Router sind strunzdoof und probieren den Reconnect (inkl.
> Speedtest
> > etc...) solange, bis eine Verbindung steht, jede Minute.
> >
> >
> > Am 16.12.22 um 21:23 schrieb Julian Zielke:
> >> Was ich mich frage ist: Berappeln sich die Knoten alle von
> selbst oder geben die irgendwann nach mehreren, gescheiterten
> Wireguard-Versuchen auf?
> >>
> >> - Julian
> >>
> >> Am 16.12.22, 20:51 schrieb "Freifunk-Bonn im Auftrag von Julian
> Zielke" <freifunk-bonn-bounces at lists.kbu.freifunk.net
> <mailto:freifunk-bonn-bounces at lists.kbu.freifunk.net> im Auftrag von
> freifunk at databunker.eu <mailto:freifunk at databunker.eu>>:
> >>
> >>
> >> Hi,
> >>
> >>
> >> danke für deine umfangreicher Analyse. Wir konnten vor ca. einer
> Stunde ein Problem beheben, nämlich die Zuteilung von IPs für
> Wireguard via Script. Da lief auf den Supernodes der PHP-Interpreter
> Amok.
> >> Mal abwarten wie es jetzt läuft...
> >>
> >>
> >> Gruß,
> >> Julian
> >>
> >>
> >> Am 16.12.22, 20:02 schrieb "Freifunk-Bonn im Auftrag von
> Nunatak" <freifunk-bonn-bounces at lists.kbu.freifunk.net
> <mailto:freifunk-bonn-bounces at lists.kbu.freifunk.net>
> <mailto:freifunk-bonn-bounces at lists.kbu.freifunknet
> <mailto:freifunk-bonn-bounces at lists.kbu.freifunk.net>> im Auftrag
> von nunatak at mailbox.org <mailto:nunatak at mailbox.org>
> <mailto:nunatak at mailbox.org <mailto:nunatak at mailbox.org>>>:
> >>
> >>
> >>
> >>
> >> Hi,
> >>
> >>
> >>
> >>
> >> die Freifunk-Gateways suchen sich via
> >>
> >>
> >>
> >>
> >> /lib/gluon/gluon-mesh-wireguard/checkuplink
> >>
> >>
> >>
> >>
> >> den Supernode mit bestem Leistungsverhältnis (Anzahl
> >> wiregard-Verbindungen relativ zur Serverleistung, die in einer Datei
> >> speed.txt festgehalten ist) als Zielsystem aus. Das hatte mein
> Router
> >> ebenfalls gemacht, mit dem Ergebnis: Offline.
> >>
> >>
> >>
> >>
> >> Also nicht nur SSID _offline, sondern wirklich nur lokales Netz
> >> (fe80::..) ohne weitere IPs (was ich via Network-Manager auf
> IPv6 -->
> >> Link-Local eingestelt hatte, damit das Meckern wegen fehlender
> IP beim
> >> DHCP-Versuch aufhörte).
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> An meinem Freifunk-Uplink konnte ich (da lokales WLAN geht) unter
> >> /etc/config/wireguard
> >> den bonn7 auskommentieren, dann klappte es wieder (via bonn6).
> >>
> >>
> >>
> >>
> >> Da die Flüchtlingsheime Chlodwigplatz und Siegburgestr. sich beide
> >> bonn7 ausgewählt hatten und dort seit Stunden verbleiben, haben
> ich eben
> >> die Datei speed.txt von ursprünglich
> >>
> >>
> >>
> >>
> >> root at Bonn7:/var/www/html# cat speed.txt
> >> 500
> >>
> >>
> >>
> >>
> >> eben angepasst:
> >> root at Bonn7:/var/www/html# cat speedtxt
> >> 10
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> Weniger geht auch noch D.h. bonn7 gewinnt bei der nächsten
> Auwahlrunde
> >> nicht mehr.
> >>
> >>
> >>
> >>
> >> Zum Testen können wir einzelne Gateways explizit auf bonn7 leiten.
> >>
> >>
> >>
> >>
> >> Gruß,
> >> Nunatak
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
>
> -- _______________________________________________ Freifunk-Bonn
> mailing list Freifunk-Bonn at lists.kbu.freifunk.net
> https://lists.kbu.freifunk.net/cgi-bin/mailman/listinfo/freifunk-bonn
>
> -- _______________________________________________ Freifunk-Bonn
> mailing list Freifunk-Bonn at lists.kbu.freifunk.net
> https://lists.kbu.freifunk.net/cgi-bin/mailman/listinfo/freifunk-bonn
>
> -- _______________________________________________ Freifunk-Bonn
> mailing list Freifunk-Bonn at lists.kbu.freifunk.net
> https://lists.kbu.freifunk.net/cgi-bin/mailman/listinfo/freifunk-bonn
>
>
> Gruß Peter
>
--
Gruß Peter
kbu.freifunk.net
Mehr Informationen über die Mailingliste Freifunk-Bonn