Telecamere POE vanno offline

MMinistry · 6 feb

Ciao
Quest'autunno ho fatto installare alcune telecamere POE gestite da apposito switch. Tutto bene, non fosse per il fatto che saltuariamente, e in maniera non riproducibile, le telecamere vanno offline contemporaneamente.
Lo switch è un Intellinet unmanaged 8 porte connesso al router via uplink.

Finora la cosa è successa tre volte, purtroppo sempre quando ero fuori casa quindi non saprei quale sia l'evento scatenante; comunque le spie lampeggiano indicando che c'è traffico, ma le telecamere non sono pingabili ne risultano connesse dalla loro app proprietaria. Tutti gli altri apparati non poe (wifi o connessi ad altro switch) invece continuano a funzionare.
Spegnendo e riaccendendo lo switch tutto torna a funzionare.

Come detto non saprei riprodurre l'evento, ma visto che le telecamere servono per sorvegliare casa durante i periodi di assenza prolungata per cui non vorrei che si ripresentasse proprio in questi frangenti...
Cosa posso fare per debuggare il problema?

Ddenny86 · 6 feb

una prima cosa da verificare se se entro i limiti del budget POE dello switch. Serve che anzi tutto verifichi questo parametro

Ffsck · 6 feb

dovrebbe essere qualcosa a livello dei profili poe e di assorbimento
Almeno a me è sucesso così
Il primo switch che ho io è uno zyxel purtroppo ha i suoi anni e la sua interfaccia si vede male se non si usa internet explorer per cui uso il barbatrucco di selezionare col mouse e riesco a vedere
Se riparte perchè gli manca tensione ritorna in una impostazione del poe per classificazione o roba simile e così non alimenta tutte le porte
Se lo metto inpostato per consumo allora si perchè ovviamente il consumo è nei limiti di quello che può erogare

MMinistry · 6 feb

denny86

Grazie. In effetti ci avevo pensato e devo recuperare la scheda tecnica.
Ma se la causa fosse quella, il problema dovrebbe verificarsi in maniera più frequente, no? Invece funziona tutto a meraviglia anche per due mesi consecutivi e poi si presenta all'improvviso

fsck il mio switch è unmanaged

Ddenny86 · 6 feb

Ministry
il budget POE potrebbe essere al limite e tollerarlo fino a quando non c'è una maggiore richiesta andando poi in blocco e questo può essere sensato in quanto poi dici:

Ministry Tutti gli altri apparati non poe (wifi o connessi ad altro switch) invece continuano a funzionare.

o essere comunque un deficit dello switch.

Ministry devo recuperare la scheda tecnica.

anche delle telecamere.

MMinistry · 6 feb

denny86

Allora, il power budget totale è di 140watt, di cui massimo 30w per porta.
In totale ho 3 telecamere il cui assorbimento varia dai 7 ai 12 watt (sono tre modelli diversi), quindi direi che siamo ampiamente sotto il limite.
Quello che però non ho specificato è che una di queste non è nativa POE ma viene alimentata tramite un poe splitter.
Potrebbe anche essere un problema elettrico sull'impianto domestico, tipo uno sbalzo di tensione che viene tollerato dagli altri apparati? Al momento lo swith non è sotto UPS.

Ddenny86 · 6 feb

quindi tutte le telecamere sono 802.3af
Può darsi che il POE splitter dai delle noie, dovresti provare a toglierlo e alimentare la telecamera col suo alimentatore, dovresti fare delle prove.

Ministry Potrebbe anche essere un problema elettrico sull'impianto domestico, tipo uno sbalzo di tensione che viene tollerato dagli altri apparati? Al momento lo swith non è sotto UPS

Potrebbe riavviarsi e non alimentare le porte col POE e far funzionare tutte le altre, ma non te ne accorgi se lo switch è unmanaged. Hai altri oggetti collegati che potrebbero farti capire se c'è stata un piccola interruzione di corrente?

MMinistry · 6 feb

denny86

Scusa, mentre rispondevi avevo modificato il post aggiungendo questo particolare:

L'ultimo episodio si è verificato ieri pomeriggio, e guardando le registrazioni delle telecamere queste si interrompono esattamente alle 14.00.00; forse è un caso ma potrebbe esserci una causa "logica", tipo un task di sistema? Sto sparando a caso ma l'orario è così preciso da essere sospetto.

Ddenny86 · 6 feb

Ministry
dallo switch sicuramente no, in quanto sono oggetti molto semplici senza configurazione di sorta.

Ministry L'ultimo episodio si è verificato ieri pomeriggio, e guardando le registrazioni delle telecamere queste si interrompono esattamente alle 14.00.00; forse è un caso ma potrebbe esserci una causa "logica", tipo un task di sistema? Sto sparando a caso ma l'orario è così preciso da essere sospetto.

gli altri episodi? Sempre 14:00:00? Hai un DVR che controlla le telecamere?

MMinistry · 6 feb

denny86

Come NVR utilizzo Frigate, e le registrazioni si interrompono esattamente alle 14.00 per tutte e tre le telecamere poe, mentre quelle wifi continuano a funzionare. Non ho conservato le registrazioni precedenti ma a memoria il problema si è sempre verificato in orario pomeridiano.

Tenderei a escludere interruzioni di corrente perché ho anche un rasperry su cui gira Hassio e quello è rimasto in piedi; inoltre ho uno Shelly che monitora i consumi e per quanto ne capisco non vedo anomalie

Ffsck · 6 feb

Ministry il mio switch è unmanaged

Già vero
Comunque forse col mio intervento di prima ho portato fuori strada nel senso che rielggendo il tutto non credo che sia il POE il problema se quando ritorni e le ritrovi accese e sullo switch c'è l'apposito led significa che le alimenta
Nella tua rete chi dà gli IP? immagino il router
Almeno a me quando ci sono problemi col badget POE resta spento qualcosa ma se invece nel tuo caso sono accese ma non online la questione è altra
Magari capita che lo switch sia andato giù per un mini black out e il router non rinnova gli IP
Questo tipo di apparati è bene che siano sotto UPS e magar iassegnare IP FISSI nella LAN

MMinistry · 6 feb

denny86

fsck

Ecco! E' successo di nuovo oggi alle 12.00.00 esatte! Ed io ovviamente non sono a casa!
Ma perché stavolta per due giorni consecutivi?

AAlphaTango · 6 feb

Ministry Come NVR utilizzo Frigate

I log di Frigate cosa dicono? E magari i log delle telecamere (se disponibili) cosa dicono?

MMinistry · 6 feb

AlphaTango
I log di frigate non dicono granché; riportano messaggi come quello sotto, che indicano che non si riesce ad aprire l'indirizzo della stream.
Però attenzione, ho fatto delle prove e il risultato è interessante: sono entrato in vpn nella macchina che ospita Frigate e ho provato a pingare le telecamere; ovviamente nessuna rispondeva. Ho chiuso il container docker e una delle telecamere è tornata online dalla sua app e risultava pingabile!
Ho riavviato il container e la telecamera resta online dalla sua app ma non è comunque raggiungibile da Frigate.
Le altre due camere sono proprio "morte". Francamente il tutto mi suona assurdo e non so cosa pensare.

2025-02-06 13:46:48.198164308  [2025-02-06 13:46:48] watchdog.terrace-camera        ERROR   : Ffmpeg process crashed unexpectedly for terrace-camera.
2025-02-06 13:46:48.198378363  [2025-02-06 13:46:48] watchdog.terrace-camera        ERROR   : The following ffmpeg logs include the last 100 lines prior to exit.
2025-02-06 13:46:48.199098455  [2025-02-06 13:46:48] ffmpeg.terrace-camera.detect   ERROR   : [rtsp @ 0x55fd1cc1c100] method DESCRIBE failed: 404 Not Found
2025-02-06 13:46:48.199108803  [2025-02-06 13:46:48] ffmpeg.terrace-camera.detect   ERROR   : rtsp://127.0.0.1:8554/terrace-camera: Server returned 404 Not Found
2025-02-06 13:46:48.257197635  [2025-02-06 13:46:48] frigate.video                  ERROR   : terrace-camera: Unable to read frames from ffmpeg process.
2025-02-06 13:46:48.257318187  [2025-02-06 13:46:48] frigate.video                  ERROR   : terrace-camera: ffmpeg process is not running. exiting capture thread...
2025-02-06 13:46:48.277643781  [2025-02-06 13:46:48] watchdog.field-camera          ERROR   : Ffmpeg process crashed unexpectedly for field-camera.
2025-02-06 13:46:48.278169964  [2025-02-06 13:46:48] watchdog.field-camera          ERROR   : The following ffmpeg logs include the last 100 lines prior to exit.
2025-02-06 13:46:48.279097755  [2025-02-06 13:46:48] ffmpeg.field-camera.detect     ERROR   : [rtsp @ 0x5650e941a100] method DESCRIBE failed: 404 Not Found

AAlphaTango · 6 feb

Ministry Ho riavviato il container e la telecamera resta online dalla sua app ma non è comunque raggiungibile da Frigate.

Quindi qualche problema lato Frigate può esserci.
Marca e modello delle telecamere? Config di Frigate?

MMinistry · 6 feb

AlphaTango
Facendo un po' di debugging ho scoperto che le telecamere in realtà non vanno offline.
Infatti facendo un traceroute dal server di Frigate verso uno dei device ottengo risposta, ma con tempi molto lunghi!

matteo@Mars:~/projects/frigate/config$ traceroute 192.168.0.213
traceroute to 192.168.0.213 (192.168.0.213), 30 hops max, 60 byte packets
1 Mars (192.168.0.25) 3065.488 ms !H 3065.395 ms !H 3065.364 ms !H

Le risposte invece sono immediate quando faccio traceroute verso altri device, sia wifi che cablati non-poe.
Quindi probabilmente sia Frigate che le app vanno in timeout prima di aprire il flusso. Resta da capire perché succede questo

Filippo94 · 6 feb

Ministry prova un mtr, dovresti vedere perdite di pacchetti e secondo me il problema è lo switch; solo che con l'mtr il tuo switch risulta invisibile quindi in realtà non ti aiuta a fare diagnosi.

MMinistry · 7 feb

Filippo94
Quello che mi fa andare fuori di testa è che questi due ultimi episodi si sono verificati in orari particolari, esattamente alle 14.00:00 e 12.00:00... un po' troppo precisi per essere casuali.
Comunque, aggiungo un dettaglio che credo renda ancor più caotica la situazione: ieri sera rincasando ho provato a scollegare e ricollegare solo una delle videocamere (quindi riavviandola) e risultava ancora irraggiungibile.
Riavvio il router e nisba, situazione identica.
Riavvio lo switch "normale", ovvero quello a cui sono collegati tutti gli apparati incluso il server di Frigate, e le telecamere tornano on. Il tutto senza aver toccato lo switch POE. Boh.

L'unica cosa che ho ricordato di aver modificato un paio di giorni prima è stato il file resolv.conf del server Debian su cui gira Frigate col risultato che non riusciva più a risolvere gli url pubblici; me ne sono accorto ieri e ho sistemato, ma non so se questa possa essere una causa dell'anomalia.

Comunque, per ora tengo spento Frigate e monitoro le camere dalla loro app per vedere se restano online.

Sarebbe interessante collegare un altro device allo switch POE e vedere se risente dello stesso problema.

Edit: e niente, alle 12 le telecamere sono andate ancora off. Ho configurato uno script per eseguire un traceroute verso una delle camere ogni 5 minuti e fino 11.55 i tempi di risposta erano normali

traceroute to 192.168.0.214 (192.168.0.214), 30 hops max, 60 byte packets
 1 192.168.0.214   (192.168.0.214)  0.865 ms  0.878 ms  0.970 ms

mentre all'iterazione successiva sono schizzati

traceroute to 192.168.0.214 (192.168.0.214), 30 hops max, 60 byte packets
 1  Iupiter (192.168.0.1)  3070.728 ms !H  3070.691 ms !H  3070.677 ms !H

Quindi il problema non è nemmeno Frigate, e nemmeno quella configurazione errata dei dns

AAlphaTango · 7 feb

Ministry Allora visto che l'indiziato numero uno è lo switch poe che magari per qualsisasi motivo si "intasa", puoi provare a cambiarlo con un altro, anche 5 porte che basta e avanza per 3 telecamere + uplink oppure bypassare lo switch collegandoti direttamente tramite poe injector, almeno temporaneamente.

MMinistry · 7 feb

AlphaTango

Filippo94

Aggiungo un dettaglio che ho appena scoperto: se collego un notebook allo switch poe le telecamere tornano subito online, come se fossero state in modalità sospensione