[Dimensione] Velocita' limitata a 1100 Mbps con ONT ZTE F6005

Ddarkbasic · 16 giu 2023

Il mio setup prevede l'utilizzo di un MikroTik CRS305 con due porte in bridge, di cui la prima connessa all'ONT ZTE F6005 tramite MikroTik S+RJ10:

Come potete vedere l'S+RJ10 negozia a 2.5G con l'ONT.

L'altra porta in bridge e' collegata ad un DAC 10G FS.com, di cui l'altro capo e' connesso ad un pc Linux con una scheda di rete bnx2x (una Broadcom BCM957810A1006G) con DKMS patchato per supportare i 2.5G: https://github.com/darkbasic/bnx2x-2_5g-dkms/tree/6.1.y

Lato PC:

Purtroppo le performance lasciano parecchio a desiderare:

Non riesco a capire quale possa essere il problema dal momento che l'intera catena e' a 2.5Gbps (inizialmente avevo collegato il DAC a 10Gbps e davo la colpa al rate limiting vero l'interfaccia a 2.5G).

Questo e' il config ppp:

ImFound · 16 giu 2023

A quanto arriva di CPU il router sotto stress? (es. Speedtest)

walt · 16 giu 2023

https://mikrotik.com/product/crs305_1g_4s_in#fndtn-testresults

ImFound · 16 giu 2023

walt quell'apparato è fatto principalmente per essere uno switch, non un router, infatti

giusgius · 16 giu 2023

darkbasic su uno switch dovresti già gridare al miracolo per 1100Mbps
Devi usare un router

gandalf2016 · 16 giu 2023

darkbasic Questo e' il config ppp:

Non hai modo di provare con una scheda di rete 2.5 Gigabit sulla macchina Linux e collegamento diretto ONT-> PC ?

giusgius

È su Linux la PPPoE

giusgius · 16 giu 2023

gandalf2016
Mi sono completamente perso quella parte

di cui l'altro capo e' connesso ad un pc Linux con una scheda di rete bnx2x (una Broadcom BCM957810A1006G) con DKMS patchato per supportare i 2.5G: https://github.com/darkbasic/bnx2x-2_5g-dkms/tree/6.1.y

Quindi darkbasic verifica che sia tutto in hardware offloading sullo switch, e se puoi prova un altro dispositivo al posto del PC Linux come router PPPoE

Ddarkbasic · 17 giu 2023

giusgius su uno switch dovresti già gridare al miracolo per 1100Mbps

Se le sogna quelle velocita' il CRS305, la ppp ovviamente la tiro su da un pc Linux.
Avro' bisogno di tirare su una pppoe secondaria ANCHE dallo switch per dare connettivita' al KVM IP del router e dubito che fara' piu' di 300 Mbps, ma sono piu' che sufficienti per quello scopo.

giusgius verifica che sia tutto in hardware offloading sullo switch

Che cosa dovrei controllare che sia in hw offloading? Lo switch lavora praticamente solo in layer 2...

giusgius e se puoi prova un altro dispositivo al posto del PC Linux come router PPPoE

Purtroppo non ho un altro router a 2.5Gbps, ho solo quello vostro in comodato d'uso ma non ha porte a 2.5G e in Wifi stentava a fare i 100 Mbps. A meno che non si possa fare il bonding di piu' porte non sarebbe un test attendibile.

gandalf2016 Non hai modo di provare con una scheda di rete 2.5 Gigabit sulla macchina Linux e collegamento diretto ONT-> PC ?

Eh magari... Mi sarebbe piaciuto provare ma la Broadcom e' schizzinosa e non va con l'S+RJ10. Ho anche un TP-LINK 10GBASE-T che con la Broadcom funzionicchia ma non ne vuole sapere di andare a velocita' diverse da 10G e pertanto non posso collegarci l'ONT.

ImFound A quanto arriva di CPU il router sotto stress? (es. Speedtest)

Il PC e' un Ryzen, non dovrebbe avere difficolta' a macinare decine di Gbps.

ImFound · 17 giu 2023

darkbasic Il PC e' un Ryzen, non dovrebbe avere difficolta' a macinare decine di Gbps.

Fidati, dacci un'occhio.

walt · 17 giu 2023

darkbasic la ppp ovviamente la tiro su da un pc Linux

Anche io avevo ingenuamente puntato il dito contro lo switch senza tenere in considerazione lo scenario d'uso......e senza tenere in considerazione che il contenuto dei tuoi pregressi interventi dimostra nitida competenza in ambito networking.

darkbasic la Broadcom e' schizzinosa e non va con l'S+RJ10

Quindi questa intenzione

darkbasic domani provo con la bnx2x

è andata in fumo, peccato

Comunque faccio un passo indietro e resto silenzioso in platea ad osservare, mi interessa l'evoluzione della questione.

Ddarkbasic · 17 giu 2023

ImFound Fidati, dacci un'occhio.

Ho provato a downcloccare la CPU a 1 GHz e continua ad andare a 1100 Mbps. Dal momento che riducendo la potenza del 75% la velocita' non e' calata di una virgola sono abbastanza sicuro che non si tratta di mancanza di potenza elaborativa.

sursumcorda · 17 giu 2023

darkbasic Io proverei una cosa al volo con pfsense, giusto per fare la prova del nove che non ci sia qualcosa di strano a livello di moduli (il demone pppd credo sia proprio lo stesso). Quello che stai usando ora è openwrt o linux vanilla?

EDIT: tempo fa leggevo anche di versioni multithreaded del client pppoe, ma non ho idea se sia diventato default.

Ddarkbasic · 19 giu 2023

sursumcorda Quello che stai usando ora è openwrt o linux vanilla?

Arch Linux.

Nel fine settimana ho fatto innumerevoli prove e questa mattina ho rivalidato tutti i risultati.
Non sono riuscito a far funzionare i miei moduli 10GBASE-T a 2.5 Ghz sulla Broadcom, ma ci ho collegato il mini ONT sfp Huawei MA5671A. Ho subito rilevato un (piccolo) aumento di velocita' che mi ha spinto ha ricontrollare il config del MikroTik CRS305: avevo creato due bridge e a quanto pare il secondo viene gestito in software per cui a piu' di 1.1 Gbps non riusciva ad andare. Ho eliminato il secondo bridge sul MikroTik CRS305 e aggiornato alla 7.10 stabile sia da System -> Packages che da System -> Routerboard. A questo punto se collego la Huawei MA5671A direttamente alla Broadcom o ad una delle porte in bridge sul Mikrotik CRS-305 ottengo la stessa identica velocita', pertanto so che lo switch non fa da collo di bottiglia. A differenza di quello che temevo ho anche notato che impostare il DAC che collega switch-pc a 2.5 o 10 Gbps non fa alcuna differenza. La grossa differenza la fa in upload impostare il link a 1Gbps, perlomeno con lo ZTE F6005: la mia teoria e' che quando gli arriva un flusso in uplink ad un rate piu' elevato di quello che la linea puo' gestire (1Gbps) incominci a droppare i pacchetti e la banda in up scende a 300 Mpbs. Se si forza il link a 1Gbps o si attiva un traffic shaper sulla ppp l'upload torna a 900 Mbps. Il Huawei MA5671A non soffre cosi' tanto di questo problema.
Purtroppo la velocita' e' ancora bassina, ma ho notato che quando fa il test in down uno dei core sta sempre a manetta. Essendo in rosso su htop si tratta di irq o comunque di codice in kernel space:

Ha poco senso perche' cappata ad 1Ghz la cpu (Ryzen 5 2400G) e' in grado di raggiungere 1.1 Gbps negli speedtest, quindi non capisco perche' a ~ 4Ghz debba restare sotto i 2 Gbps.
Ho provato irq-balance ma non e' stato d'aiuto.
Con ethtool -S sembra che la Broadcom BCM957810A1006G lavori in single queue:

Premi per mostrare Premi per nascondere

[root@arch-desktop ~]# ethtool -S enp16s0f0
NIC statistics:
[0]: rx_bytes: 17163465652
[0]: rx_ucast_packets: 10346749
[0]: rx_mcast_packets: 456
[0]: rx_bcast_packets: 14
[0]: rx_discards: 1351347
[0]: rx_phy_ip_err_discards: 0
[0]: rx_skb_alloc_discard: 0
[0]: rx_csum_offload_errors: 0
[0]: tx_exhaustion_events: 0
[0]: tx_bytes: 2242212329
[0]: tx_ucast_packets: 2351165
[0]: tx_mcast_packets: 24
[0]: tx_bcast_packets: 0
[0]: tpa_aggregations: 0
[0]: tpa_aggregated_frames: 0
[0]: tpa_bytes: 0
[0]: driver_filtered_tx_pkt: 0
[1]: rx_bytes: 42208
[1]: rx_ucast_packets: 0
[1]: rx_mcast_packets: 0
[1]: rx_bcast_packets: 128
[1]: rx_discards: 0
[1]: rx_phy_ip_err_discards: 0
[1]: rx_skb_alloc_discard: 0
[1]: rx_csum_offload_errors: 0
[1]: tx_exhaustion_events: 0
[1]: tx_bytes: 1898513107
[1]: tx_ucast_packets: 2113824
[1]: tx_mcast_packets: 23
[1]: tx_bcast_packets: 1
[1]: tpa_aggregations: 0
[1]: tpa_aggregated_frames: 0
[1]: tpa_bytes: 0
[1]: driver_filtered_tx_pkt: 0
rx_bytes: 17163507860
rx_error_bytes: 0
rx_ucast_packets: 10346749
rx_mcast_packets: 456
rx_bcast_packets: 142
rx_crc_errors: 0
rx_align_errors: 0
rx_undersize_packets: 0
rx_oversize_packets: 0
rx_fragments: 0
rx_jabbers: 0
rx_discards: 1351347
rx_filtered_packets: 40
rx_mf_tag_discard: 0
pfc_frames_received: 0
pfc_frames_sent: 0
rx_brb_discard: 0
rx_brb_truncate: 0
rx_pause_frames: 0
rx_mac_ctrl_frames: 0
rx_constant_pause_events: 0
rx_phy_ip_err_discards: 0
rx_skb_alloc_discard: 0
rx_csum_offload_errors: 0
tx_exhaustion_events: 0
tx_bytes: 4140725436
tx_error_bytes: 0
tx_ucast_packets: 4464989
tx_mcast_packets: 47
tx_bcast_packets: 1
tx_mac_errors: 0
tx_carrier_errors: 0
tx_single_collisions: 0
tx_multi_collisions: 0
tx_deferred: 0
tx_excess_collisions: 0
tx_late_collisions: 0
tx_total_collisions: 0
tx_64_byte_packets: 69
tx_65_to_127_byte_packets: 1611457
tx_128_to_255_byte_packets: 261742
tx_256_to_511_byte_packets: 357
tx_512_to_1023_byte_packets: 232
tx_1024_to_1522_byte_packets: 2591180
tx_1523_to_9022_byte_packets: 0
tx_pause_frames: 0
tpa_aggregations: 0
tpa_aggregated_frames: 0
tpa_bytes: 0
recoverable_errors: 0
unrecoverable_errors: 0
driver_filtered_tx_pkt: 0
Tx LPI entry count: 0
ptp_skipped_tx_tstamp: 0

EDIT: ho notato solo ora che tx_ucast_packets e' splittato al 50% fra le due code quindi le sta usando entrambe ma il kernel poi le pinna effettivamente sullo stesso core.

Gli speedtest sono stati fatti alternando Eolo Milano e Vodafone Milano ogni 2 minuti per un totale di 4 risultati:

speedtest -s 11427 && sleep 120 && speedtest -s 4302 && sleep 120 && speedtest -s 11427 && sleep 120 && speedtest -s 4302

Test 1: Huawei MA5671A su Broadcom BCM957810A1006G a 2.5G
1771.6 / 865 Mpbs (average)

Premi per mostrare Premi per nascondere

[niko@arch-desktop ~]$ speedtest -s 11427 && sleep 120 && speedtest -s 4302 && sleep 120 && speedtest -s 11427 && sleep 120 && speedtest -s 4302