Το πιο συνηθισμένο εργαλείο για την παρακολούθηση και την αντιμετώπιση προβλημάτων δικτύου σήμερα είναι το Switch Port Analyzer (SPAN), γνωστό και ως Port mirroring. Μας επιτρέπει να παρακολουθούμε την κίνηση δικτύου σε λειτουργία παράκαμψης εκτός ζώνης χωρίς να παρεμβαίνει σε υπηρεσίες στο ενεργό δίκτυο και στέλνει ένα αντίγραφο της παρακολουθούμενης κίνησης σε τοπικές ή απομακρυσμένες συσκευές, συμπεριλαμβανομένων των Sniffer, IDS ή άλλων τύπων εργαλείων ανάλυσης δικτύου.
Μερικές τυπικές χρήσεις είναι:
• Αντιμετώπιση προβλημάτων δικτύου παρακολουθώντας πλαίσια ελέγχου/δεδομένων.
• Ανάλυση καθυστέρησης και jitter παρακολουθώντας πακέτα VoIP.
• Ανάλυση καθυστέρησης παρακολουθώντας τις αλληλεπιδράσεις δικτύου.
• Εντοπισμός ανωμαλιών παρακολουθώντας την κίνηση δικτύου.
Η κίνηση SPAN μπορεί να κατοπτριστεί τοπικά σε άλλες θύρες στην ίδια συσκευή πηγής ή να κατοπτριστεί εξ αποστάσεως σε άλλες συσκευές δικτύου που βρίσκονται δίπλα στο Επίπεδο 2 της συσκευής πηγής (RSPAN).
Σήμερα θα μιλήσουμε για την τεχνολογία απομακρυσμένης παρακολούθησης της κίνησης στο Διαδίκτυο που ονομάζεται ERSPAN (Encapsulated Remote Switch Port Analyzer) και μπορεί να μεταδοθεί σε τρία επίπεδα IP. Αυτή είναι μια επέκταση του SPAN σε Encapsulated Remote.
Βασικές αρχές λειτουργίας του ERSPAN
Αρχικά, ας ρίξουμε μια ματιά στα χαρακτηριστικά του ERSPAN:
• Ένα αντίγραφο του πακέτου από τη θύρα προέλευσης αποστέλλεται στον διακομιστή προορισμού για ανάλυση μέσω Generic Routing Encapsulation (GRE). Η φυσική τοποθεσία του διακομιστή δεν υπόκειται σε περιορισμούς.
• Με τη βοήθεια της λειτουργίας Πεδίου Οριζόμενου από τον Χρήστη (UDF) του τσιπ, οποιαδήποτε μετατόπιση από 1 έως 126 byte πραγματοποιείται με βάση τον βασικό τομέα μέσω της εκτεταμένης λίστας σε επίπεδο εμπειρογνώμονα και οι λέξεις-κλειδιά της συνεδρίας αντιστοιχίζονται για να πραγματοποιηθεί η οπτικοποίηση της συνεδρίας, όπως η τριμερής χειραψία TCP και η συνεδρία RDMA.
• Υποστήριξη ρύθμισης ρυθμού δειγματοληψίας;
• Υποστηρίζει μήκος αναχαίτισης πακέτων (Packet Slicing), μειώνοντας την πίεση στον διακομιστή-στόχο.
Με αυτά τα χαρακτηριστικά, μπορείτε να καταλάβετε γιατί το ERSPAN είναι ένα απαραίτητο εργαλείο για την παρακολούθηση δικτύων εντός κέντρων δεδομένων σήμερα.
Οι κύριες λειτουργίες του ERSPAN μπορούν να συνοψιστούν σε δύο πτυχές:
• Ορατότητα περιόδου σύνδεσης: Χρησιμοποιήστε το ERSPAN για να συλλέξετε όλες τις νέες συνεδρίες TCP και Remote Direct Memory Access (RDMA) που δημιουργήθηκαν στον διακομιστή υποστήριξης για προβολή.
• Αντιμετώπιση προβλημάτων δικτύου: Καταγράφει την κίνηση δικτύου για ανάλυση σφαλμάτων όταν παρουσιάζεται κάποιο πρόβλημα δικτύου.
Για να γίνει αυτό, η συσκευή δικτύου προέλευσης πρέπει να φιλτράρει την κίνηση που ενδιαφέρει τον χρήστη από τη μαζική ροή δεδομένων, να δημιουργήσει ένα αντίγραφο και να ενθυλακώσει κάθε πλαίσιο αντιγραφής σε ένα ειδικό "superframe container" που μεταφέρει αρκετές πρόσθετες πληροφορίες, ώστε να μπορούν να δρομολογηθούν σωστά στη συσκευή λήψης. Επιπλέον, να επιτρέψει στη συσκευή λήψης να εξαγάγει και να ανακτήσει πλήρως την αρχική παρακολουθούμενη κίνηση.
Η συσκευή λήψης μπορεί να είναι ένας άλλος διακομιστής που υποστηρίζει την αποκαψυλίωση πακέτων ERSPAN.
Η ανάλυση τύπου και μορφής πακέτου ERSPAN
Τα πακέτα ERSPAN ενθυλακώνονται χρησιμοποιώντας GRE και προωθούνται σε οποιονδήποτε προορισμό με δυνατότητα διευθυνσιοδότησης IP μέσω Ethernet. Το ERSPAN χρησιμοποιείται επί του παρόντος κυρίως σε δίκτυα IPv4 και η υποστήριξη IPv6 θα είναι απαραίτητη στο μέλλον.
Για τη γενική δομή ενθυλάκωσης του ERSAPN, η ακόλουθη είναι μια κατοπτρική καταγραφή πακέτων των πακέτων ICMP:
Το πρωτόκολλο ERSPAN έχει αναπτυχθεί με την πάροδο του χρόνου και, με την ενίσχυση των δυνατοτήτων του, έχουν δημιουργηθεί αρκετές εκδόσεις, που ονομάζονται "Τύποι ERSPAN". Διαφορετικοί τύποι έχουν διαφορετικές μορφές κεφαλίδας πλαισίου.
Ορίζεται στο πρώτο πεδίο Έκδοσης της κεφαλίδας ERSPAN:
Επιπλέον, το πεδίο Τύπος πρωτοκόλλου στην κεφαλίδα GRE υποδεικνύει επίσης τον εσωτερικό τύπο ERSPAN. Το πεδίο Τύπος πρωτοκόλλου 0x88BE υποδεικνύει ERSPAN Τύπου II και το 0x22EB υποδεικνύει ERSPAN Τύπου III.
1. Τύπος Ι
Το πλαίσιο ERSPAN Τύπου Ι ενθυλακώνει τα IP και GRE απευθείας πάνω από την κεφαλίδα του αρχικού πλαισίου κατοπτρισμού. Αυτή η ενθυλάκωση προσθέτει 38 bytes πάνω από το αρχικό πλαίσιο: 14(MAC) + 20 (IP) + 4(GRE). Το πλεονέκτημα αυτής της μορφής είναι ότι έχει ένα συμπαγές μέγεθος κεφαλίδας και μειώνει το κόστος μετάδοσης. Ωστόσο, επειδή ορίζει τα πεδία GRE Flag και Version σε 0, δεν φέρει εκτεταμένα πεδία και ο Τύπος Ι δεν χρησιμοποιείται ευρέως, επομένως δεν υπάρχει ανάγκη για περαιτέρω επέκταση.
Η μορφή κεφαλίδας GRE του Τύπου Ι έχει ως εξής:
2. Τύπος II
Στον Τύπο II, τα πεδία C, R, K, S, S, Recur, Flags και Version στην κεφαλίδα GRE είναι όλα 0 εκτός από το πεδίο S. Επομένως, το πεδίο Sequence Number (Αριθμός Ακολουθίας) εμφανίζεται στην κεφαλίδα GRE του Τύπου II. Δηλαδή, ο Τύπος II μπορεί να διασφαλίσει τη σειρά λήψης πακέτων GRE, έτσι ώστε ένας μεγάλος αριθμός πακέτων GRE εκτός σειράς να μην μπορεί να ταξινομηθεί λόγω σφάλματος δικτύου.
Η μορφή κεφαλίδας GRE του Τύπου II έχει ως εξής:
Επιπλέον, η μορφή πλαισίου ERSPAN τύπου II προσθέτει μια κεφαλίδα ERSPAN 8 byte μεταξύ της κεφαλίδας GRE και του αρχικού κατοπτρισμένου πλαισίου.
Η μορφή κεφαλίδας ERSPAN για τον Τύπο II έχει ως εξής:
Τέλος, αμέσως μετά το αρχικό πλαίσιο εικόνας, υπάρχει ο τυπικός κώδικας κυκλικού ελέγχου πλεονασμού (CRC) Ethernet 4 byte.
Αξίζει να σημειωθεί ότι στην υλοποίηση, το κατοπτρικό πλαίσιο δεν περιέχει το πεδίο FCS του αρχικού πλαισίου, αλλά μια νέα τιμή CRC υπολογίζεται εκ νέου με βάση ολόκληρο το ERSPAN. Αυτό σημαίνει ότι η συσκευή λήψης δεν μπορεί να επαληθεύσει την ορθότητα CRC του αρχικού πλαισίου και μπορούμε μόνο να υποθέσουμε ότι κατοπτρίζονται μόνο τα μη κατεστραμμένα πλαίσια.
3. Τύπος III
Ο Τύπος III εισάγει μια μεγαλύτερη και πιο ευέλικτη σύνθετη κεφαλίδα για την αντιμετώπιση ολοένα και πιο σύνθετων και ποικίλων σεναρίων παρακολούθησης δικτύου, συμπεριλαμβανομένων, ενδεικτικά, της διαχείρισης δικτύου, της ανίχνευσης εισβολών, της ανάλυσης απόδοσης και καθυστέρησης και άλλων. Αυτές οι σκηνές πρέπει να γνωρίζουν όλες τις αρχικές παραμέτρους του πλαισίου καθρέφτη και να περιλαμβάνουν εκείνες που δεν υπάρχουν στο ίδιο το αρχικό πλαίσιο.
Η σύνθετη κεφαλίδα ERSPAN Τύπου III περιλαμβάνει μια υποχρεωτική κεφαλίδα 12 byte και μια προαιρετική υποκεφαλίδα 8 byte, ειδική για την πλατφόρμα.
Η μορφή κεφαλίδας ERSPAN για τον Τύπο III έχει ως εξής:
Και πάλι, μετά το αρχικό πλαίσιο καθρέφτη υπάρχει ένα CRC 4 byte.
Όπως φαίνεται από τη μορφή κεφαλίδας του Τύπου III, εκτός από τη διατήρηση των πεδίων Ver, VLAN, COS, T και Session ID με βάση τον Τύπο II, προστίθενται πολλά ειδικά πεδία, όπως:
• BSO: χρησιμοποιείται για να υποδείξει την ακεραιότητα φόρτωσης των πλαισίων δεδομένων που μεταφέρονται μέσω του ERSPAN. Το 00 είναι ένα καλό πλαίσιο, το 11 είναι ένα κακό πλαίσιο, το 01 είναι ένα σύντομο πλαίσιο, το 11 είναι ένα μεγάλο πλαίσιο.
• Χρονική σήμανση: εξάγεται από το ρολόι υλικού που συγχρονίζεται με την ώρα του συστήματος. Αυτό το πεδίο 32-bit υποστηρίζει τουλάχιστον 100 μικροδευτερόλεπτα λεπτομέρειας της χρονικής σήμανσης.
• Τύπος Πλαισίου (P) και Τύπος Πλαισίου (FT): ο πρώτος χρησιμοποιείται για να καθορίσει εάν το ERSPAN μεταφέρει πλαίσια πρωτοκόλλου Ethernet (πλαίσια PDU), και ο δεύτερος χρησιμοποιείται για να καθορίσει εάν το ERSPAN μεταφέρει πλαίσια Ethernet ή πακέτα IP.
• Αναγνωριστικό υλικού: μοναδικό αναγνωριστικό της μηχανής ERSPAN εντός του συστήματος.
• Gra (Κοκκιδωσιμότητα Χρονικής Σήμανσης): Καθορίζει την Κοκιδωσιμότητα της Χρονικής Σήμανσης. Για παράδειγμα, το 00B αντιπροσωπεύει Κοκιδωσιμότητα 100 μικροδευτερολέπτων, το 01B Κοκιδωσιμότητα 100 νανοδευτερολέπτων, το 10B Κοκιδωσιμότητα IEEE 1588 και το 11B απαιτεί υποκεφαλίδες ειδικές για την πλατφόρμα για την επίτευξη υψηλότερης Κοκιδωσιμότητας.
• Πλατφόρμα ID έναντι Πλατφόρμας Specific Info: Τα πεδία Πλατφόρμα Specific Info έχουν διαφορετική μορφή και περιεχόμενο ανάλογα με την τιμή του Πλατφόρμα ID.
Θα πρέπει να σημειωθεί ότι τα διάφορα πεδία κεφαλίδας που υποστηρίζονται παραπάνω μπορούν να χρησιμοποιηθούν σε κανονικές εφαρμογές ERSPAN, ακόμη και κατοπτρίζοντας πλαίσια σφαλμάτων ή πλαίσια BPDU, διατηρώντας παράλληλα το αρχικό πακέτο Trunk και το VLAN ID. Επιπλέον, οι πληροφορίες κλειδιού timestamp και άλλα πεδία πληροφοριών μπορούν να προστεθούν σε κάθε πλαίσιο ERSPAN κατά τη διάρκεια του κατοπτρισμού.
Με τις δικές μας κεφαλίδες χαρακτηριστικών του ERSPAN, μπορούμε να επιτύχουμε μια πιο εκλεπτυσμένη ανάλυση της κίνησης δικτύου και στη συνέχεια απλώς να προσαρτήσουμε το αντίστοιχο ACL στη διεργασία ERSPAN ώστε να ταιριάζει με την κίνηση δικτύου που μας ενδιαφέρει.
Το ERSPAN εφαρμόζει την ορατότητα περιόδου σύνδεσης RDMA
Ας δούμε ένα παράδειγμα χρήσης της τεχνολογίας ERSPAN για την επίτευξη οπτικοποίησης συνεδρίας RDMA σε ένα σενάριο RDMA:
RDMAΗ απομακρυσμένη άμεση πρόσβαση στη μνήμη επιτρέπει στον προσαρμογέα δικτύου του διακομιστή Α να διαβάζει και να γράφει στη μνήμη του διακομιστή Β χρησιμοποιώντας έξυπνες κάρτες διασύνδεσης δικτύου (inics) και διακόπτες, επιτυγχάνοντας υψηλό εύρος ζώνης, χαμηλή καθυστέρηση και χαμηλή αξιοποίηση πόρων. Χρησιμοποιείται ευρέως σε σενάρια μεγάλων δεδομένων και κατανεμημένων αποθηκευτικών χώρων υψηλής απόδοσης.
RoCEv2: RDMA μέσω Converged Ethernet Έκδοση 2. Τα δεδομένα RDMA είναι ενθυλακωμένα στην κεφαλίδα UDP. Ο αριθμός θύρας προορισμού είναι 4791.
Η καθημερινή λειτουργία και συντήρηση του RDMA απαιτεί τη συλλογή πολλών δεδομένων, τα οποία χρησιμοποιούνται για τη συλλογή καθημερινών γραμμών αναφοράς στάθμης νερού και μη φυσιολογικών συναγερμών, καθώς και για τον εντοπισμό μη φυσιολογικών προβλημάτων. Σε συνδυασμό με το ERSPAN, μπορούν να συλλεχθούν γρήγορα τεράστια δεδομένα για την απόκτηση δεδομένων ποιότητας προώθησης σε μικροδευτερολέπτα και την κατάσταση αλληλεπίδρασης πρωτοκόλλου του τσιπ μεταγωγής. Μέσω στατιστικών δεδομένων και ανάλυσης, μπορεί να επιτευχθεί αξιολόγηση και πρόβλεψη της ποιότητας προώθησης RDMA από άκρο σε άκρο.
Για να επιτύχουμε οπτικοποίηση συνεδρίας RDAM, χρειαζόμαστε το ERSPAN για να αντιστοιχίσουμε λέξεις-κλειδιά για συνεδρίες αλληλεπίδρασης RDMA κατά την κατοπτρισμό της κυκλοφορίας και πρέπει να χρησιμοποιήσουμε την εκτεταμένη λίστα ειδικών.
Ορισμός πεδίου αντιστοίχισης εκτεταμένης λίστας σε επίπεδο εμπειρογνώμονα:
Το UDF αποτελείται από πέντε πεδία: λέξη-κλειδί UDF, πεδίο βάσης, πεδίο μετατόπισης, πεδίο τιμής και πεδίο μάσκας. Με περιορισμό τη χωρητικότητα των καταχωρίσεων υλικού, μπορούν να χρησιμοποιηθούν συνολικά οκτώ UDF. Ένα UDF μπορεί να αντιστοιχίσει έως και δύο byte.
• Λέξη-κλειδί UDF: UDF1... UDF8 Περιέχει οκτώ λέξεις-κλειδιά του αντίστοιχου τομέα UDF
• Βασικό πεδίο: προσδιορίζει την αρχική θέση του πεδίου αντιστοίχισης UDF. Τα ακόλουθα
Κεφαλίδα_L4 (ισχύει για RG-S6520-64CQ)
Κεφαλίδα_L5 (για RG-S6510-48VS8Cq)
• Μετατόπιση: υποδεικνύει την μετατόπιση με βάση το βασικό πεδίο. Η τιμή κυμαίνεται από 0 έως 126
• Πεδίο τιμής: τιμή αντιστοίχισης. Μπορεί να χρησιμοποιηθεί μαζί με το πεδίο μάσκας για τη διαμόρφωση της συγκεκριμένης τιμής που θα αντιστοιχιστεί. Το έγκυρο bit είναι δύο byte
• Πεδίο μάσκας: μάσκα, το έγκυρο bit είναι δύο byte
(Προσθήκη: Εάν χρησιμοποιούνται πολλαπλές καταχωρήσεις στο ίδιο πεδίο αντιστοίχισης UDF, τα πεδία βάσης και μετατόπισης πρέπει να είναι τα ίδια.)
Τα δύο βασικά πακέτα που σχετίζονται με την κατάσταση της συνεδρίας RDMA είναι το πακέτο ειδοποίησης συμφόρησης (CNP) και το πακέτο αρνητικής επιβεβαίωσης (NAK):
Το πρώτο παράγεται από τον δέκτη RDMA μετά τη λήψη του μηνύματος ECN που αποστέλλεται από τον διακόπτη (όταν το eout Buffer φτάσει στο κατώφλι), το οποίο περιέχει πληροφορίες σχετικά με τη ροή ή το QP που προκαλεί συμφόρηση. Το δεύτερο χρησιμοποιείται για να υποδείξει ότι η μετάδοση RDMA έχει ένα μήνυμα απόκρισης απώλειας πακέτου.
Ας δούμε πώς να αντιστοιχίσουμε αυτά τα δύο μηνύματα χρησιμοποιώντας την εκτεταμένη λίστα σε επίπεδο ειδικού:
εκτεταμένη rdma λίστας πρόσβασης ειδικών
επιτρέψτε udp οποιαδήποτε οποιαδήποτε οποιαδήποτε eq 4791udf 1 l4_header 8 0x8100 0xFF00(Συμβατό με το RG-S6520-64CQ)
επιτρέψτε udp οποιαδήποτε οποιαδήποτε οποιαδήποτε eq 4791udf 1 l5_header 0 0x8100 0xFF00(Συμβατό με το RG-S6510-48VS8CQ)
εκτεταμένη rdma λίστας πρόσβασης ειδικών
επιτρέψτε udp οποιαδήποτε οποιαδήποτε οποιαδήποτε eq 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(Συμβατό με το RG-S6520-64CQ)
επιτρέψτε udp οποιαδήποτε οποιαδήποτε οποιαδήποτε eq 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(Συμβατό με το RG-S6510-48VS8CQ)
Ως τελικό βήμα, μπορείτε να οπτικοποιήσετε την περίοδο λειτουργίας RDMA τοποθετώντας τη λίστα επεκτάσεων ειδικών στην κατάλληλη διεργασία ERSPAN.
Γράψε στο τελευταίο
Το ERSPAN είναι ένα από τα απαραίτητα εργαλεία στα σημερινά ολοένα και μεγαλύτερα δίκτυα κέντρων δεδομένων, στην ολοένα και πιο περίπλοκη δικτυακή κίνηση και στις ολοένα και πιο εξελιγμένες απαιτήσεις λειτουργίας και συντήρησης δικτύου.
Με τον αυξανόμενο βαθμό αυτοματοποίησης λειτουργίας και συντήρησης, τεχνολογίες όπως το Netconf, το RESTconf και το gRPC είναι δημοφιλείς μεταξύ των φοιτητών λειτουργίας και συντήρησης στην αυτόματη λειτουργία και συντήρηση δικτύων. Η χρήση του gRPC ως υποκείμενου πρωτοκόλλου για την αποστολή κατοπτρικής κίνησης έχει επίσης πολλά πλεονεκτήματα. Για παράδειγμα, με βάση το πρωτόκολλο HTTP/2, μπορεί να υποστηρίξει τον μηχανισμό ροής push στην ίδια σύνδεση. Με την κωδικοποίηση ProtoBuf, το μέγεθος των πληροφοριών μειώνεται κατά το ήμισυ σε σύγκριση με τη μορφή JSON, καθιστώντας τη μετάδοση δεδομένων ταχύτερη και πιο αποτελεσματική. Απλώς φανταστείτε, αν χρησιμοποιήσετε το ERSPAN για να κατοπτρίσετε τις ενδιαφερόμενες ροές και στη συνέχεια να τις στείλετε στον διακομιστή ανάλυσης στο gRPC, θα βελτιώσει σημαντικά την ικανότητα και την αποτελεσματικότητα της αυτόματης λειτουργίας και συντήρησης του δικτύου;
Ώρα δημοσίευσης: 10 Μαΐου 2022
