[grnog] RPKI saves

Fri Jul 12 13:30:07 CEST 2019

Ως ένα γρήγορο πείραμα, εμπνευσμένο από το one-liner του Αντώνη, πήρα
την λίστα της KPN που αναφέρθηκε εδώ και την έκανα cross-reference με
ένα 1:100 sample των web requests προς όλα τα Wikimedia projects (συμπ.
όλων των Wikipedias). Ο κώδικας είναι εδώ:
https://github.com/wikimedia/puppet/blob/production/modules/rpkicounter/files/rpkicounter.py
...ενώ το output (realtime Grafana dashboard) εδώ:
https://grafana.wikimedia.org/d/UwUa77GZk/rpki

Βλέπουμε περίπου 0.25% at peak να έρχεται από RPKI invalid prefixes,
ωστόσο όπως σωστά επεσήμαναν οι προλαλήσαντες, αυτό που μετράει είναι τα
επονομαζόμενα "unreachables", δηλαδή invalids για τα οποία δεν υπάρχει
εναλλακτικό valid ή unverified supernet. Για αυτα είναι το ποσοστό
κυμαίνεται μεταξύ 0.002%-0.008% των web requests. 

Κάνουμε ήδη drop τα invalids στα peering links σε όλα τα regions από την
Τρίτη που μας πέρασε, ενώ θα παρακολουθήσουμε τα παραπάνω trends για
λίγες μέρες ακόμα και εφόσον διατηρηθούν σε αυτά τα επίπεδα θα
εφαρμόσουμε την πολιτική σε όλους τους transit. Περισσότερα σύντομα :)

On a side note: όλη μας η δουλειά γίνεται δημόσια, το οποίο στην
συγκεκριμένη περίπτωση είχε ιδιαίτερο ενδιαφέρον! Μεταξύ άλλων, στο task
μας εμφανίστηκε μηχανικός της Juniper και διόρθωσε λάθος που βρήκαμε στο
documentation της Juniper μέσα σε μερικές ημέρες (την εκτίμηση μου για
το πόσο καιρό θα έπαιρνε το JTAC για να κάνει το ίδιο μετά το case που
ανοίξαμε... ας μην την πω). Το task είναι εδώ:
https://phabricator.wikimedia.org/T220669

Φ.

On Tue, Jun 25, 2019 at 04:03:09PM +0300, Antonios Chariton (daknob) wrote:
> Από το blog post αυτό [1] του nusenu, βρήκα το εξής URL [2], το οποίο περιέχει όλα τα invalids, από την σκοπιά του AS286 (KPN). Όπως λέει και μέσα στο αρχείο, με κατάλληλα greps μπορεί να εξαχθεί η λίστα με τα prefixes που είναι invalid, και ΔΕΝ υπάρχει κανένα άλλο ROA more ή less specific (και συνεπώς η κίνηση θα γινόταν drop), καθώς και prefixes που είναι invalid, αλλά έχουν partial coverage από valid ROA (Invalid /16, Valid /18 για παράδειγμα). 
> 
> Με κατάλληλα greps έχουμε:
> 
> $ curl "https://as286.net/data/ana-invalids.txt" | grep NONE | cut -d";" -f1|wc -l
> 1162
> 
> Συνεπώς υπάρχουν 1162 prefixes (v4 και v6) τα οποία στο ROV θα είναι unreachable (assuming no default route). Μπορείτε να δείτε ποιά είναι αυτά στο [3].
> 
> Και κατάλληλα και για τα partially reachable:
> 
> $ curl "https://as286.net/data/ana-invalids.txt" | grep PARTIAL | cut -d";" -f1|wc -l
> 13
> 
> Άρα υπάρχουν και 13 prefixes όπου σε επικείμενο ROV δεν θα ήταν πλήρως αλλά μερικώς reachable. Μπορείτε να δείτε ποιά είναι αυτά στο [4].
> 
> Οπότε όποιος έχει flows από το δίκτυό του, μπορεί να τρέξει τα κατάλληλα queries και να δει τι κίνηση έχει προς αυτούς τους προορισμούς. Αν έχει πολλή κίνηση θα πρότεινα να επικοινωνήσει με τους από εκεί operators, και όχι να μην κάνει drop τα invalids μέχρι να διορθωθεί η κατάσταση.
> 
> Όσον αφορά την Enartia, που είναι ένα content δίκτυο, και όχι eyeball (άρα από την άλλη μεριά της Forthnet), η κίνηση μας το τελευταίο διάστημα (2 εβδομάδες) είναι μερικά bits / second. Έχουν υπάρχει 3 spikes των 800 Kb/s. Με μια πρόχειρη ανάλυση φαίνεται πως όλα είναι “επιθέσεις” (port scans, …).
> 
> Αντώνης
> 
> Links
> 1. https://medium.com/@nusenu/towards-cleaning-up-rpki-invalids-d69b03ab8a8c <https://medium.com/@nusenu/towards-cleaning-up-rpki-invalids-d69b03ab8a8c>
> 2. https://as286.net/data/ana-invalids.txt <https://as286.net/data/ana-invalids.txt>
> 3. https://paste.daknob.net/view/a82d77b87a5831c47d932d299abd8bea2e1bdbd6fb4e22b44a04956a6751c67a <https://paste.daknob.net/view/a82d77b87a5831c47d932d299abd8bea2e1bdbd6fb4e22b44a04956a6751c67a>
> 4. https://paste.daknob.net/view/07cc72244ff1a46af139757e133ad951b70a053fb7687149ecbd6ab6a3176758 <https://paste.daknob.net/view/07cc72244ff1a46af139757e133ad951b70a053fb7687149ecbd6ab6a3176758>
> 
> 
> > On 25 Jun 2019, at 15:21, Polyrakis Andreas <apolyr at gmail.com> wrote:
> > 
> > Τάσο, 
> > 
> > Όπως έγραψα και πριν, πολλά prefixes είναι invalids είναι λόγο λάθους στο prefix length, όμως ενδέχεται να καλύπτονται από less specific με ίδιο next hop. Θα είχε ενδιαφέρον αν υπήρχε μια ανάλυση του πόσα prefixes είναι αυτά ή/και ποιος όγκος κίνησης (απο αυτό το 0,8%) όντως θα κοπεί ή θα δρομολογηθεί αλλού αν κάνεις drop τα invalid. Αν έχετε (ή βρειτε) τέτοια στοιχεία θα είχε ενδιαφέρον να τα αναφέρετε.
> > 
> > Επίσης, βρίσκω ενδιαφέρον έχει αυτό που γράφεις με την αυτοματοποίηση, αλλά με ποιο κριτήριο θα ξεχωρίσεις τα "πραγματικά κακά" prefixes από τα "λιγότερο κακά"; 'H είναι απλά αυτά για τα οποία θα γκρινιάξουν οι πελάτες; IMHO παντως είναι λάθος να δώσεις μη προσωρινή λύση σε ένα τέτοιο πρόβλημα, ο πελάτης που γκρινιάζει θα πρέπει να πείσει τον ομότιμό του να διορθώσει το πρόβλημά του. Εγώ θα προτιούσα μια λογική του στύλ "το ανοίγω προσωρινά αλλά το automation μας θα το σιδερώσει σύντομα, μιλήστε (ή μιλάμε) με τον απένταντι για να διορθώσει το μόνιμα πρόβλημα".
> > 
> > Χαιρετισμούς,
> > 
> > 
> > 
> > 
> > 
> > On 25/06/2019 2:31 μ.μ., Tassos Chatzithomaoglou wrote:
> >> Και εμείς εδώ και καιρό έχουμε ξεκινήσει την επεξεργασία των invalids με σκοπό να γίνονται drop (ήθελα να το αναφέρω και στο grnog αλλά με πρόλαβαν οι σχετικές παρουσιάσεις στο τέλος). Επειδή όμως έχουμε σημαντική κίνηση (~0,8%) από invalids το προχωράμε προσεχτικά, ψάχνοντας ταυτόχρονα και τρόπους αυτοματοποίησης (switch invalid prefix to drop/pass) για άμεση ανταπόκριση σε αιτήματα πελατών.
> >> 
> >> Θέλω να πιστεύω ότι μετά το καλοκαίρι θα έχουμε κάτι ενδιαφέρον να ανακοινώσουμε.
> >> 
> >> --
> >> Τάσος
> >> 
> >> Polyrakis Andreas wrote on 25/6/2019 1:28 μμ:
> >>> Καλημέρα,
> >>>  
> >>> Με την ευκαιρία, μπορείτε να δείτε κάποια στατιστικά για το RPKI adoption (ή σωστότερα, για την ποιότητα των ROAs) στο https://rpki-monitor.antd.nist.gov/ <https://rpki-monitor.antd.nist.gov/>
> >>> (Προσοχή, οι κλίμακες είναι λογαριθμικές στις περισσότερες περιπτώσεις). 
> >>>  
> >>> Δείτε την σημαντική αύξηση των valids τον τελευταίο χρόνο. Επίσης προσέξτε πως στην περίπτωση των invalids, τα μισά περίπου είναι invalid prefix length – αν τα κάνετε drop μάλλον το less specific θα σας οδηγήσει σωστά στον προορισμό χωρίς πρόβλημα.
> >>>  
> >>> Ανδρέας
> >>>  
> >>> 
> >>> 
> >>> <image33742b.PNG>
> >>> <image884bcc.PNG> <http://www.lamdahellix.com/>	Andreas Polyrakis
> >>> Business Development Manager, Interconnections and Ecosystems
> >>> Commercial Operations
> >>> Dir: (+30) 210 68 85 518
> >>> Tel.: (+30) 210 74 50 770
> >>> Mob: (+30) 6972832445
> >>> 
> >>> Email: apolyrakis at lamdahellix.com <mailto:apolyrakis at lamdahellix.com>
> >>> <imagea06f6b.PNG>
> >>> <imagecc9870.PNG> <http://www.lamdahellix.com/>	<image580ee1.PNG> <x-msg://159/%20https://www.linkedin.com/company/lamda-hellix>	<image43ceb0.PNG> <https://www.facebook.com/pages/LAMDA-HELLIX/400107136708889>	<imagea9f96d.PNG> <https://twitter.com/LAMDA_Hellix>	<image1c6e0c.PNG> <https://www.youtube.com/user/lamdahellix/>
> >>> This email and any files transmitted with it are confidential. If you are not the intended recipient, you should not copy it, re-transmit it, use it or disclose its contents, but should return it to the sender immediately and delete the copy from your system. LAMDA HELLIX is not responsible for, nor endorses, any opinion, recommendation, conclusion, solicitation, offer or agreement or any information contained in this communication. LAMDA HELLIX cannot accept any responsibility for the accuracy or completeness of this message as it has been transmitted over a public network. If you suspect that the message may have been intercepted or amended, please call the sender.
> >>> 
> >>> From: grnog-request at lists.grnog.gr <mailto:grnog-request at lists.grnog.gr> <grnog-request at lists.grnog.gr> <mailto:grnog-request at lists.grnog.gr> On Behalf Of Spyros Kakaroukas
> >>> Sent: Tuesday, June 25, 2019 1:18 PM
> >>> To: grnog at lists.grnog.gr <mailto:grnog at lists.grnog.gr>
> >>> Subject: Re: [grnog] RPKI saves
> >>>  
> >>> Hello,
> >>>  
> >>> That incident was definitely a nice case for RPKI. We didn’t notice any issues with cloudflare either, as we drop invalids and peer with them. 
> >>>  
> >>> My thoughts and words are my own.
> >>>  
> >>> Spyros
> >>>  
> >>> From: <grnog-request at lists.grnog.gr <mailto:grnog-request at lists.grnog.gr>> on behalf of "Lasithiotakis, Myron" <myron.lasithiotakis at Pan-net.eu <mailto:myron.lasithiotakis at Pan-net.eu>>
> >>> Reply-To: "grnog at lists.grnog.gr <mailto:grnog at lists.grnog.gr>" <grnog at lists.grnog.gr <mailto:grnog at lists.grnog.gr>>
> >>> Date: Tuesday, 25 June 2019 at 12:47
> >>> To: "grnog at lists.grnog.gr <mailto:grnog at lists.grnog.gr>" <grnog at lists.grnog.gr <mailto:grnog at lists.grnog.gr>>
> >>> Subject: [grnog] RPKI saves
> >>>  
> >>> How Verizon and a BGP Optimizer Knocked Large Parts of the Internet Offline Today (24 Jun 2019)
> >>> https://blog.cloudflare.com/how-verizon-and-a-bgp-optimizer-knocked-large-parts-of-the-internet-offline-today/ <https://blog.cloudflare.com/how-verizon-and-a-bgp-optimizer-knocked-large-parts-of-the-internet-offline-today/>
> >>>  
> >>> Happy customer 😊
> >>> https://mobile.twitter.com/Jerome_UZ/status/1143276134907305984 <https://mobile.twitter.com/Jerome_UZ/status/1143276134907305984>
> >>>  
> >>>  
> >>> Myron Lasithiotakis
> >>> NFVI Engineer
> >>> Deutsche Telekom Pan-Net Greece
> >>>  
> >>>  
> >>> Address: Agiou Konstantinou 59, Marousi
> >>> Green Plaza Building Complex – Block C, Zip Code: 15124 Athens, Greece
> >>> Mobile: +30 697 44 35357
> >>> Email: myron.lasithiotakis at pan-net.eu <mailto:myron.lasithiotakis at pan-net.eu>
> >>>  
> >> 
> > 
> 