Το πιο κοινό εργαλείο για την παρακολούθηση δικτύου και την αντιμετώπιση προβλημάτων σήμερα είναι το Switch Port Analyzer (SPAN), γνωστό και ως Port mirroring. Μας επιτρέπει να παρακολουθούμε την κυκλοφορία δικτύου σε λειτουργία παράκαμψης εκτός ζώνης χωρίς παρεμβολές σε υπηρεσίες στο ζωντανό δίκτυο και στέλνει ένα αντίγραφο της παρακολουθούμενης κίνησης σε τοπικές ή απομακρυσμένες συσκευές, συμπεριλαμβανομένων των Sniffer, IDS ή άλλων τύπων εργαλείων ανάλυσης δικτύου.
Μερικές τυπικές χρήσεις είναι:
• Αντιμετώπιση προβλημάτων δικτύου παρακολουθώντας πλαίσια ελέγχου/δεδομένων.
• Αναλύστε την καθυστέρηση και το jitter παρακολουθώντας πακέτα VoIP.
• Αναλύστε τον λανθάνοντα χρόνο παρακολουθώντας τις αλληλεπιδράσεις του δικτύου.
• Εντοπίστε ανωμαλίες παρακολουθώντας την κυκλοφορία του δικτύου.
Η επισκεψιμότητα SPAN μπορεί να αντικατοπτριστεί τοπικά σε άλλες θύρες της ίδιας συσκευής πηγής ή να αντικατοπτριστεί εξ αποστάσεως σε άλλες συσκευές δικτύου δίπλα στο Επίπεδο 2 της συσκευής πηγής (RSPAN).
Σήμερα θα μιλήσουμε για την τεχνολογία απομακρυσμένης παρακολούθησης της κίνησης στο Διαδίκτυο που ονομάζεται ERSPAN (Encapsulated Remote Switch Port Analyzer) που μπορεί να μεταδοθεί σε τρία επίπεδα IP. Αυτή είναι μια επέκταση του SPAN στο Encapsulated Remote.
Βασικές αρχές λειτουργίας του ERSPAN
Αρχικά, ας ρίξουμε μια ματιά στα χαρακτηριστικά του ERSPAN:
• Ένα αντίγραφο του πακέτου από τη θύρα προέλευσης αποστέλλεται στον διακομιστή προορισμού για ανάλυση μέσω του Generic Routing Encapsulation (GRE). Η φυσική τοποθεσία του διακομιστή δεν είναι περιορισμένη.
• Με τη βοήθεια της δυνατότητας Πεδίου Καθορισμένου από το Χρήστη (UDF) του τσιπ, πραγματοποιείται οποιαδήποτε μετατόπιση από 1 έως 126 byte με βάση τον τομέα Base μέσω της εκτεταμένης λίστας σε επίπεδο ειδικού και οι λέξεις-κλειδιά της περιόδου σύνδεσης αντιστοιχίζονται για να πραγματοποιηθεί η οπτικοποίηση της συνεδρίας, όπως η τριμερής χειραψία TCP και η συνεδρία RDMA.
• Υποστήριξη ρύθμισης ποσοστού δειγματοληψίας.
• Υποστηρίζει το μήκος υποκλοπής πακέτων (Packet Slicing), μειώνοντας την πίεση στον διακομιστή στόχο.
Με αυτές τις δυνατότητες, μπορείτε να δείτε γιατί το ERSPAN είναι ένα ουσιαστικό εργαλείο για την παρακολούθηση δικτύων εντός κέντρων δεδομένων σήμερα.
Οι κύριες λειτουργίες του ERSPAN μπορούν να συνοψιστούν σε δύο πτυχές:
• Ορατότητα περιόδου λειτουργίας: Χρησιμοποιήστε το ERSPAN για να συλλέξετε όλες τις δημιουργημένες νέες συνεδρίες TCP και απομακρυσμένης άμεσης πρόσβασης μνήμης (RDMA) στον διακομιστή υποστήριξης για εμφάνιση.
• Αντιμετώπιση προβλημάτων δικτύου: Καταγράφει την κυκλοφορία δικτύου για ανάλυση σφαλμάτων όταν παρουσιάζεται πρόβλημα δικτύου.
Για να γίνει αυτό, η συσκευή δικτύου προέλευσης πρέπει να φιλτράρει την κίνηση που ενδιαφέρει τον χρήστη από τη μαζική ροή δεδομένων, να δημιουργήσει ένα αντίγραφο και να ενσωματώσει κάθε πλαίσιο αντιγραφής σε ένα ειδικό "υπερπλαίσιο κοντέινερ" που μεταφέρει αρκετές πρόσθετες πληροφορίες ώστε να μπορεί να να δρομολογηθεί σωστά στη συσκευή λήψης. Επιπλέον, ενεργοποιήστε τη συσκευή λήψης να εξάγει και να ανακτά πλήρως την αρχική παρακολουθούμενη κυκλοφορία.
Η συσκευή λήψης μπορεί να είναι ένας άλλος διακομιστής που υποστηρίζει την αποκαψούλωση πακέτων ERSPAN.
Ανάλυση τύπου και μορφής πακέτου ERSPAN
Τα πακέτα ERSPAN ενθυλακώνονται με χρήση GRE και προωθούνται σε οποιονδήποτε προορισμό με δυνατότητα διεύθυνσης IP μέσω Ethernet. Το ERSPAN χρησιμοποιείται επί του παρόντος κυρίως σε δίκτυα IPv4 και η υποστήριξη IPv6 θα είναι απαίτηση στο μέλλον.
Για τη γενική δομή ενθυλάκωσης του ERSAPN, τα ακόλουθα είναι μια σύλληψη πακέτων κατοπτρισμού πακέτων ICMP:
Το πρωτόκολλο ERSPAN έχει αναπτυχθεί για μεγάλο χρονικό διάστημα και με την ενίσχυση των δυνατοτήτων του έχουν δημιουργηθεί διάφορες εκδόσεις, που ονομάζονται «Τύποι ERSPAN». Οι διαφορετικοί τύποι έχουν διαφορετικές μορφές κεφαλίδας πλαισίου.
Ορίζεται στο πρώτο πεδίο Έκδοση της κεφαλίδας ERSPAN:
Επιπλέον, το πεδίο Τύπος πρωτοκόλλου στην κεφαλίδα GRE υποδεικνύει επίσης τον εσωτερικό τύπο ERSPAN. Το πεδίο Τύπος πρωτοκόλλου 0x88BE υποδεικνύει ERSPAN Τύπος II και 0x22EB υποδεικνύει ERSPAN Τύπος III.
1. Τύπος Ι
Το πλαίσιο ERSPAN τύπου I ενσωματώνει IP και GRE απευθείας πάνω από την κεφαλίδα του αρχικού πλαισίου καθρέφτη. Αυτή η ενθυλάκωση προσθέτει 38 byte στο αρχικό πλαίσιο: 14(MAC) + 20 (IP) + 4 (GRE). Το πλεονέκτημα αυτής της μορφής είναι ότι έχει μικρό μέγεθος κεφαλίδας και μειώνει το κόστος μετάδοσης. Ωστόσο, επειδή ορίζει τα πεδία GRE Flag και Version σε 0, δεν φέρει εκτεταμένα πεδία και ο Τύπος I δεν χρησιμοποιείται ευρέως, επομένως δεν χρειάζεται να επεκταθεί περισσότερο.
Η μορφή κεφαλίδας GRE του Τύπου Ι είναι η εξής:
2. Τύπος II
Στον Τύπο II, τα πεδία C, R, K, S, S, Recur, Flags και Version στην κεφαλίδα GRE είναι όλα 0 εκτός από το πεδίο S. Επομένως, το πεδίο Αριθμός ακολουθίας εμφανίζεται στην κεφαλίδα GRE του Τύπου II. Δηλαδή, ο Τύπος II μπορεί να εξασφαλίσει τη σειρά λήψης πακέτων GRE, έτσι ώστε ένας μεγάλος αριθμός πακέτων GRE εκτός παραγγελίας να μην μπορεί να ταξινομηθεί λόγω σφάλματος δικτύου.
Η μορφή κεφαλίδας GRE του Τύπου II είναι η εξής:
Επιπλέον, η μορφή πλαισίου ERSPAN Type II προσθέτει μια κεφαλίδα ERSPAN 8 byte μεταξύ της κεφαλίδας GRE και του αρχικού πλαισίου κατοπτρισμού.
Η μορφή κεφαλίδας ERSPAN για τον Τύπο II είναι η εξής:
Τέλος, αμέσως μετά το αρχικό πλαίσιο εικόνας, βρίσκεται ο τυπικός κωδικός κυκλικού ελέγχου πλεονασμού Ethernet 4 byte (CRC).
Αξίζει να σημειωθεί ότι στην υλοποίηση, το πλαίσιο καθρέφτη δεν περιέχει το πεδίο FCS του αρχικού πλαισίου, αντίθετα υπολογίζεται εκ νέου μια νέα τιμή CRC με βάση ολόκληρο το ERSPAN. Αυτό σημαίνει ότι η συσκευή λήψης δεν μπορεί να επαληθεύσει την ορθότητα CRC του αρχικού πλαισίου και μπορούμε μόνο να υποθέσουμε ότι αντικατοπτρίζονται μόνο μη κατεστραμμένα πλαίσια.
3. Τύπος III
Ο τύπος III εισάγει μια μεγαλύτερη και πιο ευέλικτη σύνθετη κεφαλίδα για την αντιμετώπιση ολοένα και πιο περίπλοκων και διαφορετικών σεναρίων παρακολούθησης δικτύου, συμπεριλαμβανομένων, ενδεικτικά, της διαχείρισης δικτύου, της ανίχνευσης εισβολής, της ανάλυσης απόδοσης και καθυστέρησης και πολλά άλλα. Αυτές οι σκηνές πρέπει να γνωρίζουν όλες τις αρχικές παραμέτρους του πλαισίου καθρέφτη και να περιλαμβάνουν αυτές που δεν υπάρχουν στο ίδιο το αρχικό πλαίσιο.
Η σύνθετη κεφαλίδα ERSPAN Type III περιλαμβάνει μια υποχρεωτική κεφαλίδα 12 byte και μια προαιρετική υποκεφαλίδα 8 byte για συγκεκριμένη πλατφόρμα.
Η μορφή κεφαλίδας ERSPAN για τον Τύπο III είναι η εξής:
Και πάλι, μετά το αρχικό πλαίσιο καθρέφτη είναι ένα CRC 4 byte.
Όπως φαίνεται από τη μορφή κεφαλίδας του Τύπου III, εκτός από τη διατήρηση των πεδίων Ver, VLAN, COS, T και Session ID βάσει του Type II, προστίθενται πολλά ειδικά πεδία, όπως:
• BSO: χρησιμοποιείται για την ένδειξη της ακεραιότητας του φορτίου των πλαισίων δεδομένων που μεταφέρονται μέσω του ERSPAN. Το 00 είναι ένα καλό πλαίσιο, το 11 είναι ένα κακό πλαίσιο, το 01 είναι ένα κοντό πλαίσιο, το 11 είναι ένα μεγάλο πλαίσιο.
• Timestamp: εξάγεται από το ρολόι υλικού συγχρονισμένο με την ώρα του συστήματος. Αυτό το πεδίο 32-bit υποστηρίζει τουλάχιστον 100 μικροδευτερόλεπτα ευκρίνειας Timestamp.
• Τύπος πλαισίου (P) και τύπος πλαισίου (FT): το πρώτο χρησιμοποιείται για να καθορίσει εάν το ERSPAN φέρει πλαίσια πρωτοκόλλου Ethernet (πλαίσια PDU) και το δεύτερο χρησιμοποιείται για να καθορίσει εάν το ERSPAN φέρει πλαίσια Ethernet ή πακέτα IP.
• HW ID: μοναδικό αναγνωριστικό του κινητήρα ERSPAN εντός του συστήματος.
• Gra (Ευκρίνεια χρονικής σφραγίδας): Καθορίζει την ευκρίνεια της χρονικής σφραγίδας. Για παράδειγμα, το 00B αντιπροσωπεύει Κοκκοποίηση 100 μικροδευτερόλεπτων, Κοκκοποίηση 01B 100 νανοδευτερόλεπτο, Κοκκοποίηση 10B IEEE 1588 και το 11Β απαιτεί υποκεφαλίδες συγκεκριμένης πλατφόρμας για την επίτευξη υψηλότερης ευκρίνειας.
• Platf ID έναντι Ειδικών πληροφοριών πλατφόρμας: Τα πεδία Platf Specific Info έχουν διαφορετικές μορφές και περιεχόμενα ανάλογα με την τιμή Platf ID.
Θα πρέπει να σημειωθεί ότι τα διάφορα πεδία κεφαλίδας που υποστηρίζονται παραπάνω μπορούν να χρησιμοποιηθούν σε κανονικές εφαρμογές ERSPAN, ακόμη και αντικατοπτρίζοντας πλαίσια σφαλμάτων ή πλαίσια BPDU, διατηρώντας το αρχικό πακέτο Trunk και το αναγνωριστικό VLAN. Επιπλέον, οι βασικές πληροφορίες χρονικής σήμανσης και άλλα πεδία πληροφοριών μπορούν να προστεθούν σε κάθε πλαίσιο ERSPAN κατά τη διάρκεια του κατοπτρισμού.
Με τις κεφαλίδες δυνατοτήτων του ERSPAN, μπορούμε να επιτύχουμε μια πιο εκλεπτυσμένη ανάλυση της κίνησης δικτύου και, στη συνέχεια, απλώς να προσαρτήσουμε το αντίστοιχο ACL στη διαδικασία ERSPAN για να ταιριάζει με την κίνηση δικτύου που μας ενδιαφέρει.
Το ERSPAN υλοποιεί την ορατότητα συνεδρίας RDMA
Ας πάρουμε ένα παράδειγμα χρήσης της τεχνολογίας ERSPAN για την επίτευξη οπτικοποίησης περιόδου λειτουργίας RDMA σε ένα σενάριο RDMA:
RDMA: Η Remote Direct Memory Access επιτρέπει στον προσαρμογέα δικτύου του διακομιστή Α να διαβάζει και να γράφει τη Μνήμη του διακομιστή Β χρησιμοποιώντας έξυπνες κάρτες διασύνδεσης δικτύου (inics) και διακόπτες, επιτυγχάνοντας υψηλό εύρος ζώνης, χαμηλή καθυστέρηση και χαμηλή χρήση πόρων. Χρησιμοποιείται ευρέως σε σενάρια κατανεμημένης αποθήκευσης μεγάλων δεδομένων και υψηλής απόδοσης.
RoCEv2: RDMA μέσω Converged Ethernet Έκδοση 2. Τα δεδομένα RDMA ενσωματώνονται στην κεφαλίδα UDP. Ο αριθμός θύρας προορισμού είναι 4791.
Η καθημερινή λειτουργία και συντήρηση του RDMA απαιτεί τη συλλογή πολλών δεδομένων, τα οποία χρησιμοποιούνται για τη συλλογή καθημερινών γραμμών αναφοράς στάθμης νερού και μη φυσιολογικών συναγερμών, καθώς και τη βάση για τον εντοπισμό μη φυσιολογικών προβλημάτων. Σε συνδυασμό με το ERSPAN, ογκώδη δεδομένα μπορούν να συλληφθούν γρήγορα για να ληφθούν δεδομένα ποιότητας προώθησης μικροδευτερόλεπτων και η κατάσταση αλληλεπίδρασης πρωτοκόλλου του τσιπ μεταγωγής. Μέσω στατιστικών στοιχείων και ανάλυσης δεδομένων, μπορεί να επιτευχθεί αξιολόγηση και πρόβλεψη ποιότητας προώθησης από άκρο σε άκρο RDMA.
Για να επιτύχουμε οπτικοποίηση περιόδου σύνδεσης RDAM, χρειαζόμαστε το ERSPAN για να αντιστοιχίσει λέξεις-κλειδιά για περιόδους αλληλεπίδρασης RDMA κατά τον κατοπτρισμό της επισκεψιμότητας και πρέπει να χρησιμοποιήσουμε την εκτεταμένη λίστα ειδικών.
Ορισμός πεδίου αντιστοίχισης εκτεταμένης λίστας σε επίπεδο ειδικού:
Το UDF αποτελείται από πέντε πεδία: λέξη-κλειδί UDF, πεδίο βάσης, πεδίο μετατόπισης, πεδίο τιμής και πεδίο μάσκας. Περιορισμένοι από τη χωρητικότητα των καταχωρήσεων υλικού, μπορούν να χρησιμοποιηθούν συνολικά οκτώ UDF. Ένα UDF μπορεί να ταιριάξει το πολύ δύο byte.
• Λέξη-κλειδί UDF: UDF1... UDF8 Περιέχει οκτώ λέξεις-κλειδιά του τομέα αντιστοίχισης UDF
• Βασικό πεδίο: προσδιορίζει τη θέση έναρξης του πεδίου αντιστοίχισης UDF. Τα παρακάτω
L4_header (ισχύει για RG-S6520-64CQ)
L5_header (για RG-S6510-48VS8Cq)
• Offset: υποδεικνύει τη μετατόπιση με βάση το πεδίο βάσης. Η τιμή κυμαίνεται από 0 έως 126
• Πεδίο τιμής: αντίστοιχη τιμή. Μπορεί να χρησιμοποιηθεί μαζί με το πεδίο μάσκας για τη διαμόρφωση της συγκεκριμένης τιμής που θα αντιστοιχιστεί. Το έγκυρο bit είναι δύο byte
• Πεδίο μάσκας: μάσκα, το έγκυρο bit είναι δύο byte
(Προσθήκη: Εάν χρησιμοποιούνται πολλές καταχωρήσεις στο ίδιο πεδίο αντιστοίχισης UDF, τα πεδία βάσης και μετατόπισης πρέπει να είναι τα ίδια.)
Τα δύο βασικά πακέτα που σχετίζονται με την κατάσταση της περιόδου λειτουργίας RDMA είναι το Πακέτο ειδοποίησης συμφόρησης (CNP) και η αρνητική επιβεβαίωση (NAK):
Το πρώτο δημιουργείται από τον δέκτη RDMA μετά τη λήψη του μηνύματος ECN που αποστέλλεται από τον διακόπτη (όταν το buffer eout φτάσει στο κατώφλι), το οποίο περιέχει πληροφορίες σχετικά με τη ροή ή το QP που προκαλεί συμφόρηση. Το τελευταίο χρησιμοποιείται για να υποδείξει ότι η μετάδοση RDMA έχει μήνυμα απόκρισης απώλειας πακέτων.
Ας δούμε πώς να αντιστοιχίσετε αυτά τα δύο μηνύματα χρησιμοποιώντας την εκτεταμένη λίστα σε επίπεδο ειδικών:
λίστα πρόσβασης ειδικών εκτεταμένο rdma
άδεια udp any any any any any eq 4791udf 1 l4_header 8 0x8100 0xFF00(Αντιστοιχία RG-S6520-64CQ)
άδεια udp any any any any any eq 4791udf 1 l5_header 0 0x8100 0xFF00(Αντιστοιχία RG-S6510-48VS8CQ)
λίστα πρόσβασης ειδικών εκτεταμένο rdma
άδεια udp any any any any any eq 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(Αντιστοιχία RG-S6520-64CQ)
άδεια udp any any any any any eq 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(Αντιστοιχία RG-S6510-48VS8CQ)
Ως τελευταίο βήμα, μπορείτε να οπτικοποιήσετε τη συνεδρία RDMA προσαρτώντας τη λίστα επεκτάσεων ειδικών στην κατάλληλη διαδικασία ERSPAN.
Γράψε στο τελευταίο
Το ERSPAN είναι ένα από τα απαραίτητα εργαλεία στα σημερινά ολοένα και μεγαλύτερα δίκτυα κέντρων δεδομένων, της ολοένα και πιο περίπλοκης κίνησης δικτύου και των ολοένα και πιο εξελιγμένων απαιτήσεων λειτουργίας και συντήρησης δικτύου.
Με τον αυξανόμενο βαθμό αυτοματισμού O&M, τεχνολογίες όπως το Netconf, το RESTconf και το gRPC είναι δημοφιλείς μεταξύ των σπουδαστών O&M στο αυτόματο O&M δικτύου. Η χρήση του gRPC ως υποκείμενου πρωτοκόλλου για την αποστολή πίσω κατοπτρικής κυκλοφορίας έχει επίσης πολλά πλεονεκτήματα. Για παράδειγμα, με βάση το πρωτόκολλο HTTP/2, μπορεί να υποστηρίξει τον μηχανισμό ώθησης ροής κάτω από την ίδια σύνδεση. Με την κωδικοποίηση ProtoBuf, το μέγεθος των πληροφοριών μειώνεται στο μισό σε σύγκριση με τη μορφή JSON, καθιστώντας τη μετάδοση δεδομένων ταχύτερη και πιο αποτελεσματική. Απλά φανταστείτε, εάν χρησιμοποιήσετε το ERSPAN για να αντικατοπτρίσετε τις ενδιαφέρουσες ροές και στη συνέχεια να τις στείλετε στον διακομιστή ανάλυσης στο gRPC, θα βελτιώσει σημαντικά την ικανότητα και την αποτελεσματικότητα της αυτόματης λειτουργίας και συντήρησης του δικτύου;
Ώρα δημοσίευσης: Μάιος-10-2022
