Telecamere POE vanno offline

MMinistry · 6 feb

AlphaTango
Facendo un po' di debugging ho scoperto che le telecamere in realtà non vanno offline.
Infatti facendo un traceroute dal server di Frigate verso uno dei device ottengo risposta, ma con tempi molto lunghi!

matteo@Mars:~/projects/frigate/config$ traceroute 192.168.0.213
traceroute to 192.168.0.213 (192.168.0.213), 30 hops max, 60 byte packets
1 Mars (192.168.0.25) 3065.488 ms !H 3065.395 ms !H 3065.364 ms !H

Le risposte invece sono immediate quando faccio traceroute verso altri device, sia wifi che cablati non-poe.
Quindi probabilmente sia Frigate che le app vanno in timeout prima di aprire il flusso. Resta da capire perché succede questo

Filippo94 · 6 feb

Ministry prova un mtr, dovresti vedere perdite di pacchetti e secondo me il problema è lo switch; solo che con l'mtr il tuo switch risulta invisibile quindi in realtà non ti aiuta a fare diagnosi.

MMinistry · 7 feb

Filippo94
Quello che mi fa andare fuori di testa è che questi due ultimi episodi si sono verificati in orari particolari, esattamente alle 14.00:00 e 12.00:00... un po' troppo precisi per essere casuali.
Comunque, aggiungo un dettaglio che credo renda ancor più caotica la situazione: ieri sera rincasando ho provato a scollegare e ricollegare solo una delle videocamere (quindi riavviandola) e risultava ancora irraggiungibile.
Riavvio il router e nisba, situazione identica.
Riavvio lo switch "normale", ovvero quello a cui sono collegati tutti gli apparati incluso il server di Frigate, e le telecamere tornano on. Il tutto senza aver toccato lo switch POE. Boh.

L'unica cosa che ho ricordato di aver modificato un paio di giorni prima è stato il file resolv.conf del server Debian su cui gira Frigate col risultato che non riusciva più a risolvere gli url pubblici; me ne sono accorto ieri e ho sistemato, ma non so se questa possa essere una causa dell'anomalia.

Comunque, per ora tengo spento Frigate e monitoro le camere dalla loro app per vedere se restano online.

Sarebbe interessante collegare un altro device allo switch POE e vedere se risente dello stesso problema.

Edit: e niente, alle 12 le telecamere sono andate ancora off. Ho configurato uno script per eseguire un traceroute verso una delle camere ogni 5 minuti e fino 11.55 i tempi di risposta erano normali

traceroute to 192.168.0.214 (192.168.0.214), 30 hops max, 60 byte packets
 1 192.168.0.214   (192.168.0.214)  0.865 ms  0.878 ms  0.970 ms

mentre all'iterazione successiva sono schizzati

traceroute to 192.168.0.214 (192.168.0.214), 30 hops max, 60 byte packets
 1  Iupiter (192.168.0.1)  3070.728 ms !H  3070.691 ms !H  3070.677 ms !H

Quindi il problema non è nemmeno Frigate, e nemmeno quella configurazione errata dei dns

AAlphaTango · 7 feb

Ministry Allora visto che l'indiziato numero uno è lo switch poe che magari per qualsisasi motivo si "intasa", puoi provare a cambiarlo con un altro, anche 5 porte che basta e avanza per 3 telecamere + uplink oppure bypassare lo switch collegandoti direttamente tramite poe injector, almeno temporaneamente.

MMinistry · 7 feb

AlphaTango

Filippo94

Aggiungo un dettaglio che ho appena scoperto: se collego un notebook allo switch poe le telecamere tornano subito online, come se fossero state in modalità sospensione

MMelandir · 7 feb

Ministry Magari è lo switch che sta tirando gli ultimi, anche il mio ha fatto cose simili prima di morire, ogni tanto alcune porte non andavano, poi magari ripartivano alcune ore dopo etc..
Ho cambiato switch e tutti i problemi si sono risolti, adesso funziona tutto perfettamente.
Il mio vecchio switch era un Linksys 16 porte di cui 8 POE unmanaged.

MMinistry · 7 feb

Melandir
Lo switch è un Intellinet acquistato pochi mesi fa; certo non posso escludere a priori un guasto ma visto che il problema si verifica tutti i giorni alla stessa ora propendo per qualcosa lato software

Fraternal3954 · 7 feb

Domanda stupida: hai provato a sostituire l’alimentatore?

MMelandir · 7 feb

Ministry ipotesi valida, il mio non aveva un orario preciso e le porte erano random, sia poe che non.

niceguy12 · 8 feb

Ma le telecamere sono in dhcp o statico? Per me devono esere con ip statico escluso dal range del dhcp dell router....

MMinistry · 8 feb

Melandir

niceguy12
Anzitutto grazie per la disponibilità.
Faccio un sunto per ricapitolare la situazione anche alla luce delle ultime indagini.
Questa la mia configurazione di rete:

Switch A (Tenda) e switch B (Intellinet) sono entrambi nuovi, acquistati alcuni mesi fa dopo aver ristrutturato la casa e l'impianto; sono entrambi unmanaged e collegati direttamente al router.
Tutti i device di rete appartengono alla stessa classe 192.168.0.*; le camere hanno ip statico.

Il tutto ha funzionato perfettamente per mesi (salvo qualche sporadico problema) fino a qualche giorno fa: da allora le camere poe vanno offline esattamente alle 12.00. Per offline intendo che rimangono accese (sono sicuro perché una ha un flash che si accende quando c'è movimento) ma non trasmettono dati e non sono pingabili dalla rete ne accessibili dalla loro app. Tutti gli altri device rimangono attivi.

Per risolvere, devo spegnere/riaccendere lo switch A oppure, come si è visto, collegare un notebook allo switch B: questo "risveglia" immediatamente le telecamere.

Vista la subitaneità e regolarità dell'evento, tenderei a escludere guasti hw ma punterei a qualche evento di rete che "addormenta" le telecamere (passatemi il termine) ma non ho consapevolezza di aver toccato nulla nella mia rete... quindi sto brancolando nel buio!

AAlphaTango · 8 feb

Ministry Anche se lo escluderei visto che sono 3 telecamere diverse, nel frattempo c'è stato qualche aggiornamento software delle telecamere?
Come suggerisce niceguy, gli IP fissi delle telecamere sono all'esterno della pool DHCP?

Ministry Per risolvere, devo spegnere/riaccendere lo switch A

È un errore di battitura? Intendi lo switch B? Altrimenti il problema non è legato solo allo switch poe.

MMinistry · 8 feb

AlphaTango

AlphaTango Ministry Per risolvere, devo spegnere/riaccendere lo switch A

È un errore di battitura? Intendi lo switch B? Altrimenti il problema non è legato solo allo switch poe.

No no, intendo proprio lo switch A. E' come se spegnerlo/riaccenderlo "triggerasse" il refresh della rete (passatemi la terminologia, ma non saprei proprio come descrivere la situazione); forse basterebbe disconnetterlo e riconnetterlo al router.

Ad ogni modo, oggi lascio il notebook acceso e connesso allo switch B. Da un pc connesso allo switch A lancio un tcpdump per monitorare il traffico in rete e vediamo se le camere alle 12 vanno giù ancora (ma, se il problema è qualche task in rete, è possibile che giri solo dal lunedì al venerdì)

Confermo anche che gli ip delle telecamere sono fuori dal range dhcp.

Edit: oggi le telecamere sono rimaste online! C'è da capire se sia dovuto alla presenza del notebook o qualche altro fattore.
Provando a sconnettere le telecamere ho notato che una di queste rimane connessa tramite wifi... probabilmente un "residuato" del setup iniziale. Quindi vuol dire che c'erano due connessioni attive? Non saprei comunque che indirizzo ha visto che non la trovo elencata nei dispositivi del router