Περί QoS/AQM στα fritz ...

[dpap76]

fq_codel (μεταξύ και άλλων qdiscs) έχουν και τα fritz, στις xdsl υλοποιήσεις δουλεύει άψογα.

Έχεις καμιά αναφορά για αυτό σε έγγραφο, ή στο config των fritz?

Απ'όσο ήξερα το qos των fritz είναι blackbox,
και η υπόθεση ήταν ότι γενικά χρησιμοποιούν τα sdk/libs + τα blobs του odm
και το accel. μέρος του soc (με σχετική επιτυχία ομολογουμένως),
πράγμα που θα εξηγούσε πως αναιμικά lantiq-based cpes τρέχουν qos
με rate 100-300 Mbps και χωρίς να σπάνε το nat acceleration.

Η μόνη ημί-επίσημη αναφορά που είχα βρεί περί sqm
ήταν ένα παλαιότερο (2-3 χρόνια τώρα) post της avm στο X (τότε twitter) περί
sqm και αν θα ήθελαν οι χρήστες κάτι τέτοιο.
Άφηνε να εννοηθεί ότι το εξετάζουν για το μέλλον,
αλλά πέραν αυτού τίποτα και απο τότε δεν είδα να κάνουν κάποια νύξη.

Μου δίνεις ωραία πάσα για να μιλήσουμε για τα ενδότερα του QoS στο fritz και για κάποια ευρήματα απο προσωπική έρευνα.

Λίγο το thread που μιλάει για το ανεξήγητη πτώση του pppoe όταν υπάρχει bottleneck, λίγο το οτι το bufferbloat test της waveform θάβει τα fritz, άρχισα να ψάχνω και εγώ "πώς το κάνει" το QoS αλλά επίσημα δεν βρήκα κάτι σε KB/forums. Αποτελεί πράγματι blackbox.

Κατεβάζοντας όμως το support diagnostics αρχείο και ψάχνοντας για fq_codel πέφτουμε στο παρακάτω:

WAN QoS: yes
downstream scheduler: fq_codel
upstream scheduler: fq_codel

.. boring αλλά είναι μια πρώτη ένδειξη οτι χρησιμοποιεί fq_codel

Αυτό που είναι not-so-boring είναι το παρακάτω, το οποίο συναντάμε μερικές γραμμές πιο κάτω ...

tc scripte
qdisc add dev net_upstream0 handle 2:0 root stab linklayer ethernet overhead 4 tsize 100 mtu 1600 mpu 64 tbf latency 50ms burst 3200 mtu 1600 mpu 64 rate 1237500kbit
qdisc add dev net_upstream0 handle 10:0 parent 2:0 llq minq 1 maxq 255 default 6
class add dev net_upstream0 parent 10:0 classid 10:1 llq prio 0 weight 0
class add dev net_upstream0 parent 10:0 classid 10:2 llq prio 10 weight 0
class add dev net_upstream0 parent 10:0 classid 10:3 llq prio 20 weight 0
class add dev net_upstream0 parent 10:0 classid 10:4 llq prio 30 weight 0
qdisc add dev net_upstream0 handle 104:0 parent 10:4 fq_codel
class add dev net_upstream0 parent 10:0 classid 10:5 llq prio 100 weight 0
qdisc add dev net_upstream0 handle 105:0 parent 10:5 fq_codel
class add dev net_upstream0 parent 10:0 classid 10:6 llq prio 150 weight 0
qdisc add dev net_upstream0 handle 106:0 parent 10:6 fq_codel
class add dev net_upstream0 parent 10:0 classid 10:7 llq prio 200 weight 0
qdisc add dev net_upstream0 handle 107:0 parent 10:7 fq_codel

.. όλο το tc δέντρο για το interface net_upstream0 ! Ας το οπτικοποιήσουμε λίγο καλύτερα και ας το σχολιάσουμε ...

net_upstream0
`-- 2:0                 (1)
    `-- 10:0            (2)
        `-- 10:1        
        `-- 10:2        
        `-- 10:3        
        `-- 10:4 
        |   `-- 104:0
        `-- 10:5
        |   `-- 105:0   
        `-- 10:6        
        |   `-- 106:0   
        `-- 10:7        
            `-- 107:0

Τι κάνει ο ποιητής?


(1) δημιουργεί την root qdisc 2:0 και της κοτσάρει TBF (Token Bucket Filter) qdisc για να την "δέσει" στα 1.237.500.000 bit/s.

Θυμίζω στο GPON, το nominal link speed στο upload είναι στα 1.244.160.000 bit/s. Αφήνει "αέρα" δηλαδή και 6,66 Mbit/s πιθανόν για το underlying protocol overhead (headers, OMCI, GEM, κλπ)

Εδώ είναι και το πρόβλημα με το QoS στα fiber 55xx. Κανείς μας δεν έχει πακέτο που να του επιτρέπει 1,244Gbit/s στο upload. Καλά θα ήταν

100Mbit/s έχουμε στην καλύτερη (110Mbit/s με το δώρο των παρόχων για να είναι όμορφα τα speedtests) οπότε όλα τα μαθηματικά στο QoS των fritz fiber πάνε κατα διαόλου καθώς το φρένο του παρόχου έρχεται πολύ πιο γρήγορα απο του fritz. Το νούμερο αυτό το βλέπουν οι "απο κάτω" qdiscs και κλάσεις και το χρησιμοποιούν στους αλγόριθμους τους για να υπολογίσουν πότε ήρθε ή έρχεται οσονούπω η ώρα που πρέπει να βάλουν φρένα.

Στα xdsl η παραπάνω τιμή είναι περίπου όσο είναι το sync rate στο upload το οποίο το ανακαλύπτει όταν ολοκληρωθεί το sync.
Ή είναι η τιμή που βάζουμε στο κουτάκι που μας δίνει το UI όταν κάνουμε setup το internet account.

Στα fiber δεν το βγάζει αυτό το κουτάκι αν διαλέξεις το cosmote profile παρα μόνο αν δηλώσεις "Other" provider.

Και *πάλι* όμως θα δουμε να πάει να βάζει 1.237.500 kbit.

Τις δοκιμές αυτές και τα συμπεράσματα τα έκανα προ 6μηνου. Δεν ξέρω αν μέχρι τώρα το έχουν διορθώσει το bug αυτό, από τότε δεν το ξαναδοκίμασα.


(2) αμέσως μετά κοτσάρει LLQ qdisc και από κάτω δημιουργεί 7 κλάσεις. Default class για τα πακέτα για τα οποία δεν υπάρχει συγκεκριμένο tc filter rule που να το κατατάσσει σε άλλη κλάση, είναι η κλάση '6'.

Οι 7 κλάσεις αυτές έχουν το δικό τους prio που φαίνεται παραπάνω. Η κλάση 10:1 έχει την υπέρτατη προτεραιότητα. Τελευταία είναι η κλάση 10:7.

Ειδικά στις κλασεις 10:4 ώς 10:7 εφαρμόζει απο πάνω και την πολυπόθητη fq_codel qdisc: Fair Queuing (FQ) with Controlled Delay (CoDel)

Το support diagnostics περιέχει και το output της 'tc qdisc show' σε λεπτομέρεια. Προσοχή γιατί έχει δεκάδες virtual interface το fritz και είναι τεράστιο το output

Spoiler:

qdisc noqueue 0: dev lo root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev ins0 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev cpunet0 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 4072552 bytes 46280 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev VANI0 root 
 Sent 228250649 bytes 452281 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :8 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28367517 bytes 57916 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :7 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28490701 bytes 56600 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :6 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28679777 bytes 56933 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :5 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28376850 bytes 56090 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28508763 bytes 56389 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28607443 bytes 56800 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28821525 bytes 56046 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev VANI0 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 28398073 bytes 55507 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc prio 8000: dev VUNI0_0 root refcnt 9 bands 8 priomap  0 1 2 3 4 5 6 7 0 0 0 0 0 0 0 0
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc red 2006: dev VUNI0_0 parent 1006:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1005: dev VUNI0_0 parent 8000:6 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1003: dev VUNI0_0 parent 8000:4 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1007: dev VUNI0_0 parent 8000:8 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2001: dev VUNI0_0 parent 1001:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2005: dev VUNI0_0 parent 1005:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2003: dev VUNI0_0 parent 1003:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1002: dev VUNI0_0 parent 8000:3 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1000: dev VUNI0_0 parent 8000:1 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2007: dev VUNI0_0 parent 1007:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1004: dev VUNI0_0 parent 8000:5 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1006: dev VUNI0_0 parent 8000:7 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2002: dev VUNI0_0 parent 1002:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2000: dev VUNI0_0 parent 1000:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2004: dev VUNI0_0 parent 1004:1 limit 64000b min 57600b max 64000b 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1001: dev VUNI0_0 parent 8000:2 limit 125Kb min 115200b max 125Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc clsact ffff: dev VUNI0_0 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev VUNI0_1 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev VUNI0_2 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev adsl root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev ppptty root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev eth0 root 
 Sent 6666387506 bytes 24298266 pkt (dropped 0, overlimits 0 requeues 23) 
 backlog 0b 0p requeues 23 
qdisc pfifo_fast 0: dev eth0 parent :8 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 666792162 bytes 4699089 pkt (dropped 0, overlimits 0 requeues 8) 
 backlog 0b 0p requeues 8 
qdisc pfifo_fast 0: dev eth0 parent :7 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 629021855 bytes 1107901 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev eth0 parent :6 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 831137149 bytes 4952433 pkt (dropped 0, overlimits 0 requeues 10) 
 backlog 0b 0p requeues 10 
qdisc pfifo_fast 0: dev eth0 parent :5 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 753053795 bytes 7508193 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev eth0 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 1014210465 bytes 1586398 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
qdisc pfifo_fast 0: dev eth0 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 939117543 bytes 1410788 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
qdisc pfifo_fast 0: dev eth0 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 1285834221 bytes 2013788 pkt (dropped 0, overlimits 0 requeues 2) 
 backlog 0b 0p requeues 2 
qdisc pfifo_fast 0: dev eth0 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 547220316 bytes 1019676 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
qdisc mq 0: dev switch0 root 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :8 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :7 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :6 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :5 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev switch0 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev eth1 root 
 Sent 2483347914 bytes 19477614 pkt (dropped 0, overlimits 0 requeues 31) 
 backlog 0b 0p requeues 31 
qdisc pfifo_fast 0: dev eth1 parent :8 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 408428886 bytes 4454655 pkt (dropped 0, overlimits 0 requeues 5) 
 backlog 0b 0p requeues 5 
qdisc pfifo_fast 0: dev eth1 parent :7 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 268289809 bytes 1331721 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
qdisc pfifo_fast 0: dev eth1 parent :6 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 480082969 bytes 4948146 pkt (dropped 0, overlimits 0 requeues 19) 
 backlog 0b 0p requeues 19 
qdisc pfifo_fast 0: dev eth1 parent :5 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 429475012 bytes 3908730 pkt (dropped 0, overlimits 0 requeues 4) 
 backlog 0b 0p requeues 4 
qdisc pfifo_fast 0: dev eth1 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 251476568 bytes 1244955 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev eth1 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 161729846 bytes 564093 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
qdisc pfifo_fast 0: dev eth1 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 143288356 bytes 649501 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev eth1 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 340576468 bytes 2375813 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
qdisc mq 0: dev eth2 root 
 Sent 32361484416 bytes 101285427 pkt (dropped 0, overlimits 0 requeues 61) 
 backlog 0b 0p requeues 61 
qdisc pfifo_fast 0: dev eth2 parent :8 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 2587634481 bytes 12344354 pkt (dropped 0, overlimits 0 requeues 10) 
 backlog 0b 0p requeues 10 
qdisc pfifo_fast 0: dev eth2 parent :7 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 3910099438 bytes 10713091 pkt (dropped 0, overlimits 0 requeues 3) 
 backlog 0b 0p requeues 3 
qdisc pfifo_fast 0: dev eth2 parent :6 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 4262686584 bytes 14361999 pkt (dropped 0, overlimits 0 requeues 16) 
 backlog 0b 0p requeues 16 
qdisc pfifo_fast 0: dev eth2 parent :5 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 4443453848 bytes 17830813 pkt (dropped 0, overlimits 0 requeues 10) 
 backlog 0b 0p requeues 10 
qdisc pfifo_fast 0: dev eth2 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 3975800035 bytes 10945866 pkt (dropped 0, overlimits 0 requeues 4) 
 backlog 0b 0p requeues 4 
qdisc pfifo_fast 0: dev eth2 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 3882153271 bytes 10622582 pkt (dropped 0, overlimits 0 requeues 6) 
 backlog 0b 0p requeues 6 
qdisc pfifo_fast 0: dev eth2 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 3839214966 bytes 10794887 pkt (dropped 0, overlimits 0 requeues 6) 
 backlog 0b 0p requeues 6 
qdisc pfifo_fast 0: dev eth2 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 5460441793 bytes 13671835 pkt (dropped 0, overlimits 0 requeues 6) 
 backlog 0b 0p requeues 6 
qdisc mqprio 1: dev pon0 root  tc 0 map 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
             queues:
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:8 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:7 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:6 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:5 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pon0 parent 1:1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev pon0 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev ip0 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev lan root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev guest root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc tbf 2: dev net_upstream0 root refcnt 2 rate 1237Mbit burst 3093b lat 50.0ms 
 Sent 56181034464 bytes 246956742 pkt (dropped 0, overlimits 0 requeues 163) 
 backlog 0b 0p requeues 163 
qdisc fq_codel 106: dev net_upstream0 parent 10:6 limit 10240p flows 1024 quantum 1514 target 5.0ms interval 100.0ms memory_limit 32Mb ecn 
 Sent 31295188544 bytes 99322358 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  maxpacket 1536 drop_overlimit 0 new_flow_count 52511279 ecn_mark 0
  new_flows_len 1 old_flows_len 3
qdisc fq_codel 104: dev net_upstream0 parent 10:4 limit 10240p flows 1024 quantum 1514 target 5.0ms interval 100.0ms memory_limit 32Mb ecn 
 Sent 19881470112 bytes 98440637 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  maxpacket 1536 drop_overlimit 0 new_flow_count 35859701 ecn_mark 0
  new_flows_len 0 old_flows_len 1
qdisc llq 10: dev net_upstream0 parent 2: minq 1 maxq 255 default 6
 Sent 50939059084 bytes 246956742 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc fq_codel 105: dev net_upstream0 parent 10:5 limit 10240p flows 1024 quantum 1514 target 5.0ms interval 100.0ms memory_limit 32Mb ecn 
 Sent 3255302080 bytes 33902628 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  maxpacket 736 drop_overlimit 0 new_flow_count 21159412 ecn_mark 0
  new_flows_len 1 old_flows_len 3
qdisc fq_codel 107: dev net_upstream0 parent 10:7 limit 10240p flows 1024 quantum 1514 target 5.0ms interval 100.0ms memory_limit 32Mb ecn 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  maxpacket 0 drop_overlimit 0 new_flow_count 0 ecn_mark 0
  new_flows_len 0 old_flows_len 0
qdisc noqueue 0: dev dsl root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev xfrm root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev wlan2 root 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan2 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan2 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan2 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan2 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev wlan0 root 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan0 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan0 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan0 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev wlan0 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev vap0 root 
 Sent 2240983058 bytes 21670837 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap0 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 562281424 bytes 5225945 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap0 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 1161632037 bytes 13828679 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap0 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 284166398 bytes 1137533 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap0 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 232903199 bytes 1478680 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r0 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r1 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r2 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r3 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r4 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r5 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r6 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap0_r7 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev gem-omci root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 615894 bytes 8926 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem-omci parent ffff:fff1 
 Sent 437800 bytes 7960 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem2047 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev sw257 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc prio 8000: dev tcont32768 root refcnt 9 bands 8 priomap  0 1 2 3 4 5 6 7 0 0 0 0 0 0 0 0
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc red 200a: dev tcont32768 parent 100a:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2008: dev tcont32768 parent 1008:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 200c: dev tcont32768 parent 100c:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1009: dev tcont32768 parent 8000:2 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 200e: dev tcont32768 parent 100e:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 100b: dev tcont32768 parent 8000:4 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 100f: dev tcont32768 parent 8000:8 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 100d: dev tcont32768 parent 8000:6 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 2009: dev tcont32768 parent 1009:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 200b: dev tcont32768 parent 100b:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 100a: dev tcont32768 parent 8000:3 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 1008: dev tcont32768 parent 8000:1 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 200f: dev tcont32768 parent 100f:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 200d: dev tcont32768 parent 100d:1 limit 250Kb min 225Kb max 250Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 100c: dev tcont32768 parent 8000:5 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc red 100e: dev tcont32768 parent 8000:7 limit 500Kb min 450Kb max 500Kb 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
  marked 0 early 0 pdrop 0 other 0
qdisc clsact ffff: dev tcont32768 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev pmapper4354 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev pmapper4354 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev gem260 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem260 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev gem261 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem261 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev gem262 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem262 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev gem263 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem263 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev gem2046 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc clsact ffff: dev gem2046 parent ffff:fff1 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev guest_st1 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 614584 bytes 3372 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc mq 0: dev vap1 root 
 Sent 649896937 bytes 4536835 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap1 parent :4 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 145539844 bytes 1189002 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap1 parent :3 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 268857270 bytes 2653255 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap1 parent :2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 107682471 bytes 309462 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc pfifo_fast 0: dev vap1 parent :1 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 127817352 bytes 385116 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r0 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r1 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r2 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r3 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r4 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r5 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r6 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
qdisc noqueue 0: dev vap1_r7 root refcnt 2 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0

ενώ μεσα στο config βλέπουμε και τις ονομασίες των 7 κλάσεων αυτών που με τη σειρά ονομάζονται: ifacectl, hprio, hrealtime, realtime, important, default, low

Spoiler:

        queues {
                enabled = yes;
                with_sfq = no;
                type = qos_cfg_system;
                name = "ifacectl";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 0;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        } {
                enabled = yes;
                with_sfq = no;
                type = qos_cfg_system;
                name = "hprio";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 10;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        } {
                enabled = yes;
                with_sfq = no;
                type = qos_cfg_system;
                name = "hrealtime";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 20;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        } {
                enabled = yes;
                with_sfq = yes;
                type = qos_cfg_system;
                name = "realtime";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 30;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        } {
                enabled = yes;
                with_sfq = yes;
                type = qos_cfg_system;
                name = "important";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 100;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        } {
                enabled = yes;
                with_sfq = yes;
                type = qos_cfg_system;
                name = "default";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 150;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        } {
                enabled = yes;
                with_sfq = yes;
                type = qos_cfg_system;
                name = "low";
                iface = qos_wan;
                queue_type = queue_llq;
                precedence = 200;
                weight = 0;
                shapingrate = 0;
                shapingburst = 0;
                allow_more = yes;
                ceilrate = 0;
        }

Θα με ρωτήσετε και πως γίνεται το classification των πακέτων. Πού βλέπουμε ποια πακέτα και με ποια κριτήρια πηγαίνουν στα ανωτέρω classes? Δυστηχώς δεν μας δίνει πλήρες output της 'tc filter show'.

Αλλά και να έδινε δεν νομίζω να βγάζαμε άκρη με αυτά που ξέρουμε και είναι γνωστά στην open-source κοινότητα.

To QoS σε αυτές τις πλατφόρμες -σε αντίθεση με τα οικιακά Linux μας που όλη η δουλεία γίνεται απο τον kernel και την CPU μας- είναι δεμένο και με το SoC/το hardware silicon που υπάρχει απο κάτω.
Υπάρχει συνήθως ένας δαίμονας που αναλαμβάνει να δέσει το OS και το control plane της πλατφόρμας (το Web UI, το config, όπως θέλετε πέστε το) που βλέπει το config και προγραμματίζει κατάλληλα τα ολοκληρωμένα κυκλώματα απο κάτω. avmnexusd αν δεν κάνω λάθος λέγεται στην περίπτωση της AVM/των fritz/του fritzOS.

Το classification εκτιμώ οτι το αναλαμβάνει το υποσύστημα "nqos" του Fritz OS.
στο support diagnostics διαβάζουμε:

Spoiler:

##### BEGIN SECTION nqos nqos
appls:
   appls:
     0: sip (1) => 1
lanset:
   lan:
     0: ip.proto 17 udp.dport 43962,47806 => 7 (# 1)
     0: ip.proto 58 => 7 (# 810882)
     0: ip.proto 1 => 7 (# 33950)
     0: ip.proto 17 => 7 (# 27034250)
     1:    udp.dport 53 => 7 (# 22825978)
     1:    udp.dport 5060 (sip) => 8 (# 42)
     0: ip.proto 6 => 9 (# 138284100)
     1:    ip.len <= 64 => 9 (# 38408245)
     1:    tcp.dport 5060 (sip) => 8 (# 409)
results:
   results:
     0: queue 5
     1: queue 2
     2: queue 2 tos 184 vlan_prio 5
     3: queue 1 tos 184 vlan_prio 5
     4: queue 0
     5: queue 6
     6: queue 1 vlan_prio 5
     7: queue 1
     8: queue 2 appl sip
     9: queue 4
    10: queue 0 vlan_prio 7
fastrecv:
   net_upstream0 ethervcc_fastrcv [kdsldmod](71841b60) RX 55489133 pkts 9028175021 bytes bypass 0 pkts
   xfrm iprawvcc_fastrcv [kdsldmod](71841cac) RX 0 pkts 0 bytes bypass 0 pkts
localset:
   local:
     0: localmark sip => 2 (# 54821)
     0: localmark rtp => 2 (# 2)
     0: localmark sip_internet => 2 (# 24)
     0: localmark rtp_internet => 2 (# 0)
     0: localmark sipdns,ntpdns,tr069dns,tr069 => 3 (# 3553)
     0: localmark igmp => 4 (# 12)
     0: localmark webdav => 5 (# 0)
     0: localmark dns => 6 (# 6165)
     0: localmark lcp => 10 (# 493277)
earlyrecvhook:
   early_recvhook:
      enabled
ratelimitlanset:
   rllan-cfg:
     0: ip.version 6 ip.proto 17 udp.dport 547 (ratelimit) => 0 (# 30336, blocked # 0) pakets 10 interval 1 seconds {now 3700881 endtime 3700823 count 1}
     0: ip.version 6 icmp.type 133 (ratelimit) => 0 (# 2128, blocked # 0) pakets 10 interval 1 seconds {now 3700881 endtime 3699824 count 1}
     0: ip.version 6 icmp.type 135 (ratelimit) => 0 (# 166078, blocked # 34) pakets 10 interval 1 seconds {now 3700881 endtime 3700864 count 1}
     0: ip.version 6 icmp.type 136 (ratelimit) => 0 (# 487318, blocked # 0) pakets 500 interval 1 seconds {now 3700881 endtime 3700876 count 1}
     0: ip.version 6 icmp.type 1 (ratelimit) => 0 (# 56407, blocked # 1005) pakets 10 interval 1 seconds {now 3700881 endtime 3700823 count 1}
     0: ip.version 6 icmp.type 2 (ratelimit) => 0 (# 0, blocked # 0) pakets 10 interval 1 seconds {now 3700881 endtime 0 count 0}
     0: ip.version 6 icmp.type 3 (ratelimit) => 0 (# 4, blocked # 0) pakets 10 interval 1 seconds {now 3700881 endtime 2224205 count 1}
     0: ip.version 6 icmp.type 128 (ratelimit) => 0 (# 25399, blocked # 2) pakets 10 interval 1 seconds {now 3700881 endtime 3700632 count 2}
     0: ip.version 6 icmp.type 129 (ratelimit) => 0 (# 0, blocked # 0) pakets 10 interval 1 seconds {now 3700881 endtime 0 count 0}
     0: ip.version 4 ip.proto 17 udp.dport 67 (ratelimit) => 0 (# 1923, blocked # 0) pakets 20 interval 1 seconds {now 3700881 endtime 3691068 count 1}
ratelimitwanset:
   rlwan-cfg:
     0: ip.proto 6 tcp.flags 0x002/0xfff (ratelimit) => 0 (# 599648, blocked # 0) pakets 1000 interval 1 seconds {now 3700881 endtime 3700872 count 1}
ratelimitearlylanset:
   rlearlylan-cfg:
     0: ip.version 6 icmp.type 134 (ratelimit) => 0 (# 0, blocked # 0) pakets 10 interval 1 seconds {now 3700881 endtime 0 count 0}
##### END SECTION nqos nqos

προφανώς και δεν μπορώ να το αποκωδικοποιήσω σε λεπτομέρεια καθώς αυτά είναι AVM stuff αλλά στέκομαι στο section results οπού σε μένα τουλάχιστον γίνεται αντιληπτό οτι δημιουργεί 10 κατηγορίες τις οποίες αντιστοιχεί στις προαναφερθέντες 7 κλάσεις (queues τα ονομάζει εδώ). Παρατηρούμε οτι το voip για παράδειγμα το στέλνει στην κατηγορία #8 η οποία αντιστοιχεί στο queue 2, ένα απο τα υψηλότερης προτεραιότητας queue. Επίσης βλέπουμε κάποιες ρυθμίσεις για ratelimit στο icmpv6 και στο dhcp.

επαναλαμβάνω, δεν δουλεύω στην AVM για να ξέρω σε λεπτομέρεια ή με σιγουριά τα παραπάνω οπότε μην τα πάρετε και τοις μετρητοίς. Είναι εκτιμήσεις δικές μου μπακάλικες


To πλέον ενδιαφέρον όμως που μου τράβηξε την προσοχή είναι το llq qdisc. Τι'ν-τούτο? δεν το είχα ξαναδεί ποτέ σε Linux. H cisco έχει LLQ στα προιόντα της. LLQ = Low-latency queuing.

Δεν υπάρχει πουθενά όμως open source implementation του llq qdisc! οσο και να το έψαξα δεν βρήκα κάτι. Υπάρχει το white-paper που το περιγράφει αλλά το LLQ είναι proprietary τεχνολογία/πατέντα και προφανώς έρχεται από το SDK του κατασκευαστή του SoC! (Lantiq). Στα fritz το llq support έρχεται μέσω του module sch_llq.ko:

<4>[ 24.453390][1][module-mem] module 'sch_llq' reserved size 20480 is to great for demand size 12288 - waste 8192 (module_alloc_waste=286720)
<6>[ 24.453420][1][module-mem] give 0x3000 bytes at 9e8e3000 to module 'sch_llq' (0x43d000 bytes left)


Συμπέρασμα: το AQM/QoS στα fritz υπάρχει και μάλιστα είναι μελετημένο και δένει με το SoC. Hardware acceleration και στο QoS δηλαδή και μάλιστα με LLQ. Το fq_codel είναι το default qdisc για την κατάταξη των πακέτων στην LLQ ουρά. Στα fritz fiber υπάρχουν κάποια bug όχι επι της ουσίας αλλά από το UI και θέλει λίγη δουλίτσα ακόμα.

Αυτά

[gkas1973]

Ωραία ανάλυση!

[Iris07]

Επιβεβαιώνω και εγώ τα παραπάνω!
Μου είχε κάνει ένα private μάθημα/συζήτηση ο dpap πριν κάτι μήνες..
τότε που είχα μία κόντρα με κάποιους για το εάν έχουν τα Fritz κάποιο QoS ή όχι!

Όπως έλεγα τότε..
αν και ούτε εγώ έχω χρησιμοποιήσει στην πράξη τις ρυθμίσεις περί FRITZ!Box's prioritization
που έχει το Fritz ως QoS.. δεν βρήκα ούτε κάποιον άλλον να έχει δοκιμάσει αυτές τις ρυθμίσεις στην πράξη, για να μας πει συμπεράσματα.
https://en.avm.de/service/knowledge-...the-FRITZ-Box/

Επίσης μάλλον μπορούμε να συμπεράνουμε ότι κάποια Fritz!Box που έχουν ισχυρότερο SoC από άλλα,
μπορεί να έχουν καλύτερο έλεγχο σε αυτό το θέμα..
5590 vs 5530
και 4060..

Σωστές και οι παρατηρήσεις περί Data Throughput που είχα δοκιμάσει στο 4060 και είχα πάρει πολύ καλά αποτελέσματα στην VDSL.
Το έψαξε αυτό και ο dpap στο 5590..
https://www.adslgr.com/forum/threads...E%B5-VDSL-FTTH

Και είδα αντίστοιχες οδηγίες και στο Ιταλικό/Γερμανικό φόρουμ, που εκεί έχουν γραμμές FTTH ελεύθερες κοντά στα όρια του GPON και στο D/L και στο U/L.

- - - Updated - - -

* 4060 πάνω σε ONT..

You should set the real Download/Upload data of your line, as the FRITZ QOS is now set up does not work properly.

https://www.hwupgrade.it/forum/showt...7#post48437287

[TT_01]

Παντως το ingress shaping =0 (αυτοματο) ( Fritzbox support), κανει καποια δουλιτσα. (και δεν κοβει και πολυ ταχυτητα, το δουλευω αρκετο καιρο).
Κριμα που δεν εχει κατι αντιστοιχο στο upload.










Τωρα ειμαι σε αναζητηση router με OpenWRT & SQM για να εχω αποτελεσματα σαν το παρακατω: https://forum.openwrt.org/t/howto-op...ry-pi-4/117491

[K1m0n]

να μιλήσουμε για τα ενδότερα του QoS στο fritz και για κάποια ευρήματα απο προσωπική έρευνα....

Πολύ ενδιαφέρον και gratz για την ανάλυση,
και ευχαριστώ για τον κόπο που έκανες να συντάξεις απάντηση/ανάλυση.
Αυτού λεχθέντος, αν κρίνω απ'το export του δικού μου, δεν πρέπει να ισχύει σε όλα τα fritz.

Δεν έχω fritz πάνω στην γραμμή για να ασχοληθώ τώρα,
αλλά ένα παλαιότερο backup που κοίταξα απ'το δικό μου (7590 με την 7.57 labor plus):

Αυτά:

WAN QoS: yes
downstream scheduler: fq_codel
upstream scheduler: fq_codel

Δεν υπάρχουν καθόλου στο export.
Όπως δεν υπάρχει και το tc scripte.
---

Υπάρχουν οι classifiers,
αναφορά σε qdisc/tbf δεν υπάρχει,
οι ουρές υπάρχουν, αλλά επίσης "with_sfq = no;"
το nqos node υπάρχει,
δεν έχω το fritz εν λειτουργία να δώ τι βγάζει στο diagnostic export.

Αρχικά θα υπέθετα ότι χρησιμοποιεί codel σε κάποια cpe
(ίσως εκεί που έχει spare cpu, ή/και το επιτρέπει το sdk του odm?),
αλλά στο δικό μου (grx/lantiq-based) δεν βλέπω τέτοια εικόνα στο export.
Το ότι χρησιμοποιεί sqm όμως, έστω και αν είναι μόνο σε κάποια cpe, είναι πολύ θετικό.
Θα βάλω το fritz πάνω να κοιτάξω τι βγάζει στο diagnostic και θα επανέλθω.

[dpap76]

Δεν υπάρχουν καθόλου στο export.
Όπως δεν υπάρχει και το tc scripte.

στο config export ναι, δεν νομίζω και εγώ να τα έχει αυτά.

Κοίταξε αν θέλεις στο support diagnostics. δεν θυμάμαι αν θέλει τo advanced ή αν αρκεί και το απλό.

[Iris07]

Oh My... !!
Έκανε κανένα λεπτό για να σώσει το 7590 ΑΧ το Advanced! (@ /#support)
2,5 Mb txt !!

Επιβεβαιώνω εδώ την ύπαρξη του ..

WAN QoS: yes
downstream scheduler: fq_codel
upstream scheduler: fq_codel

- - - Updated - - -

Το 4060 έκανε πιο γρήγορα, (αλλά δεν δουλεύει σαν modem)
2,2 Mb

Υπάρχει και εδώ.

- - - Updated - - -

fq_codel (μεταξύ και άλλων qdiscs) έχουν και τα fritz, στις xdsl υλοποιήσεις δουλεύει άψογα.

Μάλλον μπορούμε να πούμε τώρα ότι και στο FTTH θα μπορεί να δουλεύει καλά, εφόσων η σύνδεση γίνεται από ONT πάνω στην WAN..
Γερμανοί και Ιταλοί σαφώς θα έχουν καλύτερη εμπειρία με αυτό..

[K1m0n]

Κοίταξε αν θέλεις στο support diagnostics.

Έστησα το 7590 και θα το κοιτάξω (κάποια στιγμή, τώρα με κοιτάει ο σκύλος στα μάτια...).
Πάντως στο loaded upload έχει +200 ms latency, δεν μου μοιάζει για fq_codel.

[Iris07]

Παίζει ρόλο και το Data Throughput στην WAN πάντως..

[K1m0n]

Παίζει ρόλο και το Data Throughput στην WAN πάντως..

Το έχω δηλωμένο 100/10 όπως είναι στην πραγματικότητα.

- - - Updated - - -

Από το support info (fritzbox 7590 + fritzos ver# 7.57-11387):

WAN QoS: yes
  downstream scheduler: fq_codel
  upstream scheduler: fq_codel

Όντως, codel.

dev ppptty handle 2:0 root stab linklayer ethernet overhead 4 tsize 100 mtu 1600 mpu 64 tbf latency 50ms burst 1908 mtu 1600 mpu 64 rate 990000kbit
qdisc add dev ppptty handle 10:0 parent 2:0 llq minq 1 maxq 255 default 6
class add dev ppptty parent 10:0 classid 10:1 llq prio 0 weight 0
class add dev ppptty parent 10:0 classid 10:2 llq prio 10 weight 0
class add dev ppptty parent 10:0 classid 10:3 llq prio 20 weight 0
class add dev ppptty parent 10:0 classid 10:4 llq prio 30 weight 0
qdisc add dev ppptty handle 104:0 parent 10:4 fq_codel
class add dev ppptty parent 10:0 classid 10:5 llq prio 100 weight 0
qdisc add dev ppptty handle 105:0 parent 10:5 fq_codel
class add dev ppptty parent 10:0 classid 10:6 llq prio 150 weight 0
qdisc add dev ppptty handle 106:0 parent 10:6 fq_codel
class add dev ppptty parent 10:0 classid 10:7 llq prio 200 weight 0
qdisc add dev ppptty handle 107:0 parent 10:7 fq_codel

Οι ουρές υπάρχουν, τo rate (που το έχω δηλωμένο 100/10) είναι στον κόσμο του...

Και το nqos ίδιο με το δικό σου παραπάνω.

Θέλει μελέτη το export για να βγάλει κανείς άκρη.
Πάντως, υποθέτωντας ότι τρέχει codel, και στο σωστό iface,
αν δεν είναι δηλωμένο σωστά το data rate, είτε το τρέχει, είτε όχι, το ίδιο κάνει.

[dpap76]

οι ουρές υπάρχουν, αλλά επίσης "with_sfq = no;"

no έχει μόνο στις πρώτες τρείς (1, 2, 3)

στις 4, 5, 6, 7 βάζει = yes.

το λεκτικό with_sfq μάλλον έχει μείνει από παλιά, η SFQ qdisc ήταν/είναι ο παππούς της fq_codel

προφανώς κάποια στιγμή αλλάξανε από SFQ (Stochastic Fairness Queueing) σε fq_codel αλλά το λεκτικό έμεινε.

οι fq_codel & sfq είναι classless qdiscs -> η δουλειά τους είναι κυρίως να κάνουν delay & drop με κάποιον αλγόριθμο/κριτήρια
η llq qdisc είναι classfull και είναι packet scheduler και μέσω των κλάσεων γίνεται το prioritization των πακέτων
τέλος, η tbf qdisc κάνει bandwidth control/ratelimit

- - - Updated - - -

αν δεν είναι δηλωμένο σωστά το data rate, είτε το τρέχει, είτε όχι, το ίδιο κάνει.

ακριβώς, εδώ είναι και το bug και σε σένα βλέπω έχει βάλει το rate του ethernet interface (1Gbit/s) μείον κάτιτις για άερα.

λογικό να βγάζει +200ms, δεν μπαίνει σε λειτουργία τo QoS γιατι νομίζει οτι έχει ακόμα χώρο.

μου φαίνεται μεγάλη χοντράδα να μην το έχουν δεί στις lab/beta.
μήπως απλά θέλει reboot? το μονο που δεν έκανα στις δοκιμές είναι reboot γιατί δεν είχα την πολυτέλεια να κάνω επανεκκινήσεις χωρίς γκρίνια απο τους χρήστες

[Iris07]

Οπότε πιθανόν για να δουλέψει κάπως καλά είναι να έχεις γραμμή 1 Gbps, και να ρίξεις την WAN από το Fritz πάνω σε ONT.. (?)

Πιθανόν το καλύτερο (μιας και η 1 Gbps εδώ Ελλάδα πάει ~1040 Mbps) να ρίξεις ένα Fritz με 2,5 WAN πάνω σε ΟΝΤ με 2,5 LAN..
όπως κάνουν κάποιοι στην Ιταλία..

- - - Updated - - -



btw στο #support (7590 ΑΧ) πρέπει να έχετε και αυτή την ρύθμιση αλλά ενώ μου ρυθμίζει σχετικά καλά το D/L το U/L όχι..
Default είναι off.
Η αλλαγή στην ρύθμιση εμφανίζεται και στη αρχική σελίδα του Fritz μετά..

Σε DSL ίσως να παίζει ρόλο και η καταχώρηση.. LAN QoS: no (Default)

[K1m0n]

μήπως απλά θέλει reboot?

Έκανα 3-4 reboot σήμερα που το έβαλα πάνω στο ont και πέρασα την τελευταία lab+
Θα δοκιμάσω κάποια στιγμή (μάλλον όταν βγεί η 7.80)
να του κάνω ένα reset και να το στήσω απ'την αρχή.
Αν υποθέσουμε ότι το έχουν διορθώσει στο default config
αλλά δεν κάνουν migrate το config στα updates, μπορεί και να παίζει.

[Iris07]

Προσπαθώ να βρω πως μπορεί να γίνει το LAN QoS: no.. yes..
Πήγα στο Prioritization και έφτιαξα κάποιους γενικούς κανόνες, αλλά δεν άλλαξε..
Δεν έκανα Reboot..

Πάντως το Support Information από 2,5 Mb πήγε στα 2,8!

[K1m0n]

Λοιπόν, δοκίμασα να ορίσω τις δικές μου ρυθμίσεις
(@ internet->acc. information->internet connection->internet service provider->other internet service provider)
Εδώ^, αν επιλέξεις "Connection to an external modem or router"
σε αφήνει να ορίσεις τις δικές σου ρυθμίσεις ppp/vlan/etc,
σε αφήνει να ορίσεις και downstream/upstream throughput (100/10 Mbps στην περίπτωση μου).
Θα περίμενε κάποιος ότι διορθώθηκε...
μπουρμπούτσαλα:

qdisc change dev ppptty handle 2:0 root stab linklayer ethernet overhead 4 tsize 100 mtu 1600 mpu 64 tbf latency 50ms burst 1908 mtu 1600 mpu 64 rate 990000kbit

Και δεν ξέρω αν έτσι παίζει το provisioning της cote...

Το επόμενο βήμα να δοκιμάσω την lab που υποτίθεται βγαίνει ακριβώς για να λύσει τα θέματα με το fiber.