[RISOLTO] Problema al Mix - 11/05/2025

Matwolf · 2025-05-11T22:16:55+00:00

Qualcuno sa cosa è successo al Mix? alle 23.52 circa ho visto diverse destinazioni raggiungibili tramite Mix andare offline.... Ed effettivamente anche dallo...

danny20091989

Buongiorno, questa è la comunicazione del 15/04
Il guasto di sta notte è identico a quello del 15/04, di seguito un riassunto di quello che è successo:

Dear Peers,
following RFO for this incident.

Around 01:00AM UTC+2 on Apr 15th we started recording some high CPU usage on vteps, this was due to traffic flooded from member port to the infrastructure which was causing control plane disruption.

Around 02:30AM UTC+2 thanks to friendly peers who we were communicating with us during the incident we discovered they were experiencing spotty connections, the prolonged high CPU usage caused mac table sync problems, after some brief investigation we decided to start forcing resync on all vteps which was completed around 03:20AM UTC+2.

At that time functionality was restored correctly but we were noticing vteps flooding a large amount of traffic to all interfaces.

After some extensive investigation we isolated a pair of multihoming devices causing the flood, restarted FRR and around 06:20AM UTC+2 the network was back to its fully operational state.

We developed a config change which will avoid the issue in the future. We're currently ending testing on the new features involved and will apply on infrastructure ASAP.

with my Best Regards,

Anche noi per ora abbiamo disattivato tutte le sessioni BGP sulla LAN di MIX

Robertos

hmorandell ok hanno disattivato MIX da Retelit. In questo caso, bgp riceve e perde frequentemente le rotte da MIX

hmorandell

Robertos

infatti è quello che pensavo che avessero fatto.
ora da 20 minuti ho di nuovo flapping, mi chiedo se hanno spento il BGP al MIX perché succede? hanno problemi o sovraccarichi con gli altri peer?

qualcuno ha altre informazioni cosa sta succedendo e una MTTR?

r00t

Robertos coincidenza alle 10:21:09 un servizio monitorato che è su rete Irideos/Retelit è risultato non raggiungibile per alcuni minuti 🤔

SuperKali

hmorandell ora da 20 minuti ho di nuovo flapping

Potresti mostrare questi flapping che hai almeno per capire? e verso che rotte e se ci vuoi anche aggiungere un bel MTR 🙂

danny20091989

hmorandell

Come scritto sopra hanno problemi sulle VTEPS che causano saturazione sulle CPU

Al momento quasi tutti gli afferenti hanno disattivato le sessioni BGP, ecco perchè non sta più passando niente da MIX

Giann

Quando torno a casa mi devo scusare con il firewall e tutta la rete di casa a cui stamattina ho tirato i peggio santi e Madonne pensando fosse colpa loro😅

SuperKali

Giann Quando torno a casa mi devo scusare con il firewall e tutta la rete di casa a cui stamattina ho tirato i peggio santi e Madonne pensando fosse colpa loro😅

Io ieri sera le ho tirate al server off site da mio padre che ha iliad, essendo che è crollato il tunnel e le rotte statiche annunciate sul mio router, ero tranquillo a guardare netflix finche vedo che arrivavano alert dal sistema di monitoraggio, na serata passata a capire che stava succedendo hahahah per poi scoprire questo 🤣

hmorandell

danny20091989

quindi se non capisco male, la questione è un problema di configurazione e nemmeno un hardware failure?
Non hanno ancora pubblicato alcun tempo di ripristino?

Per il momento siamo fortunati che ora ho i collegamenti funzionanti stabili, ma non vorrei che una volta che riattivano il BGP pensando i problemi fossero risolti i casini iniziano da capo

danny20091989

hmorandell

Più che un problema di configurazione credo sia un comportamento anomalo dovuto a qualche evento particolare. Potrebbe benissimo essere un BUG a livello SW o come precedentemente detto una condizione che ha scatenato l'evento. Ad ogni caso questo è l'update di qualche minuto fa:

Dear Peers,

Just a brief update about the issue we are experiencing on MIX peering Fabric since last night.

MIX switches are affected at the moment by control plane instabilities, affecting the entire peering platform. We are in close, continuous contact with the vendor and the ticket severity has been raised to the highest level since the early hours of today. We are sparing no effort in order to get it solved in the least amount of time and fully restore the service.
We regret any disruption this may have caused, your patience during this inconvenient is greatly appreciated.
We will update the situation periodically, and whenever there will be a significant advancement in the troubleshooting and fixing phases.

AleAttila
Questo era dovuto ai FLAP BGP. Le sessioni verso la LAN di MIX e verso gli afferenti continuavano a flappare di conseguenza le rotte sulla FIT continuavano a saltare. Appena ce ne siamo accorti abbiamo disattivato manualmente le sessioni BGP facendo quindi re-routing su altri IXP (MINAP) o tramite i transiti. Questo ovviamente lo hanno fatto anche gli altri peers (tranne alcuni che sono ancora UP sugli RS di MIX)

AleAttila

Adesso capisco perché la rete sul lavoro faceva dannare , anche noi con retelit , si alternavano momenti di funzionamento normale e altri dove per caricare una semplice pagina ci voleva un eternità

Matwolf

hmorandell Le statistiche globali sembrano essere ferme alle 7.25.
Quelle su IPv6 invece sembra siano ancora aggiornate...
Non che ci sia molto di diverso da vedere....

morris2003

MIX ritornato operativo?
Dai grafici vedo aumento del traffico al MIX

cravatta

morris2003 un picco e poi tutto caduto giù... staranno facendo prove... ma tanto a te ti hanno spostato su altri transiti può essere che vai meglio cosi XD

hmorandell

io al momento vedo pure giù il loro sito :-D

SuperKali

hmorandell anche io lo vedo KO 🥹

danny20091989

Aggiornamento appena arrivato:

Dear Peers

We are just bringing back the MIX peering fabric to fully operational mode. If you have shut down sessions or physical ports you can restart them now and bring traffic back onto the Exchange.

Thank you for your patience, please accept our sincere apologies for the interruption and for any inconvenience caused.

Should you experience any issue while restoring the service on your side just drop us a note at noc@mix-it.net and we will take care of it.

Matwolf

danny20091989 Dear Peers

Avevo letto "Dead Peers", che tutto sommato, ci poteva anche stare... 🤣🤣

Comunque mi sembra che non sia stato ancora riportato il traffico verso il Mix... ci sono ancora problemi o sono semplicemente i vari Peer che, giustamente, sono restii a ritirare su le sessioni BGP?

_SCtefanOM4_

A me puzza di DDoS su qualche interfaccia/layer o qualcosa che è andato storto dopo un aggiornamento delle configurazioni sulla PP

Scorpio

Statistiche off, confermo. 📈📉

« Pagina precedente Pagina successiva »

Informativa privacy - Informativa cookie - Termini e condizioni - Regolamento - Disclaimer - 🏳️‍🌈 🇵🇸
P.I. IT16712091004 - info@fibraclick.it

♻️ Il server di questo sito è alimentato al 100% con energia rinnovabile