Voyager – Κίνδυνος γενικευμένου ελέγχου από τα software που προσπαθούν να… προβλέψουν ποιος θα εγκληματίσει

Σε ένα ανατριχιαστικό δημοσίευμα, ο Guardian αποκάλυψε τον τρόπο λειτουργίας του software της εταιρείας Voyager Labs που χρησιμοποιήθηκε σποραδικά από το διάσημο LAPD (Αστυνομική Διεύθυνση Λος Άντζελες). Σύμφωνα με τη βρετανικά εφημερίδα, που στηρίχτηκε σε στοιχεία που της παρέδωσε το Brennan Center, μια μη κερδοσκοπική οργάνωση, η εταιρεία χρησιμοποιεί αμφιλεγόμενες πρακτικές για τον εντοπισμό δυνητικών τρομοκρατών, οι οποίες μπορούν να οδηγήσουν στη στοχοποίηση αθώων πολιτών, αλλά και σε εφιαλτικά επίπεδα αστυνομικής επιτήρησης της ψηφιακής ζωής των πολιτών.

Τα συγκεκριμένα έγγραφα ήρθαν στην κατοχή του Brennan Center μετά από αίτημα της οργάνωσης για δημοσιοποίησή τους για λόγους δημοσίου συμφέροντος.

Ο Guardian διευκρινίζει ότι η Voyager Labs είναι μικρός παίκτης σε σύγκριση με τα «μεγάλα ψάρια» της Palantir (που απασχόλησε στη διάρκεια της πανδημίας και την ελληνική επικαιρότητα) και την Media Sonar, όμως οι ειδικοί υποστηρίζουν ότι τα προϊόντα της εταιρείας αποτελούν ενδεικτικά παραδείγματα ενός ευρύτερου οικοσυστήματος τεχνολογικών εταιρειών που αναπτύσσουν προηγμένα εργαλεία αστυνόμευσης.

• Διαβάστε επίσης: Τεχνητή νοημοσύνη – Το Ευρωκοινοβούλιο θέλει να βάλει φρένο στη βιομετρική αναγνώριση προσώπων

Η αστυνομία έχει καλούς λόγους να επιθυμεί τέτοιου είδους προϊόντα, αφού υπόσχονται την επιτάχυνση των διαδικασιών, την εύρεση συνδέσεων που θα διέφευγαν από το ανθρώπινο μάτι, αλλά και εξαιτίας των τεράστιων πιέσεων που δέχονται για μείωση της εγκληματικότητας. Όμως, όπως προειδοποιούν οι ειδικοί, όταν αυτές οι τεχνολογίες αξιοποιούν την παρουσία των πολιτών στα κοινωνικά δίκτυα, ουσιαστικά ποινικοποιούν καθημερινές συμπεριφορές, οι οποίες ενίοτε προστατεύονται και από τη νομοθεσία. Οι ειδικοί που εξέτασαν τα έγγραφα για τον Guardian, πιστεύουν ότι αυτό ακριβώς συνέβη στην περίπτωση της Voyager Labs.

Η εκπρόσωπος της εταιρείας, Λίταλ Κάρτερ Ροζέν, πάντως, δήλωσε στη βρετανική εφημερίδα ότι η εταιρεία απλώς αναπτύσσει το software, ενώ ο τρόπος που χρησιμοποιείται εναπόκειται στην κρίση των πελατών, διευκρινίζοντας όμως ότι η εταιρεία έχει «την πεποίθηση ότι όλοι οι εταίροι της είναι δημόσιοι και ιδιωτικοί οργανισμοί που σέβονται τη νομοθεσία».

«Σύστημα ποινικοποίησης των προσωπικών σχέσεων»

Προκειμένου να γίνουν αντιληπτοί οι παραπάνω κίνδυνοι, είναι σημαντικό να αντιληφθούμε τι ακριβώς κάνουν αυτά τα software. Ουσιαστικά, «σαρώνουν» όλες τις πληροφορίες που έχουν αναρτηθεί δημόσια για ένα πρόσωπο ή ζήτημα, συμπεριλαμβανομένων των αναρτήσεων, των «φιλιών», ακόμη και των emoji, τα αναλύει και τα κατηγοριοποιεί. Στη συνέχεια, σε ορισμένες περιπτώσεις τα διασταυρώνει με πληροφορίες που δεν είναι διαθέσιμες δημόσια.

Εσωτερικά έγγραφα δείχνουν ότι με τον τρόπο αυτό η τεχνολογία δημιουργεί έναν «χάρτη» ολόκληρης της διαδικτυακής παρουσίας ενός προσώπου, εξετάζοντας κυρίως τις αναρτήσεις τους, αλλά και τις επαφές τους – και κατατάσσοντας τις τελευταίες με βάση την εγγύτητα.

Τo software οπτικοποιεί τις στενές επαφές ενός προσώπου και τις συνδέσεις που έχουν αυτές μεταξύ τους, βρίσκει τον χώρο εργασίας τους και κάθε είδους «έμμεση» σύνδεση, δηλαδή τα άτομα με τα οποία ο χρήστης μοιράζεται περισσότερους από τέσσερις κοινούς φίλους. Επιπλέον, αναζητά έμμεσες επαφές με το πρόσωπο που ερευνάται και άλλα πρόσωπα για τα οποία έχει αναζητήσει πληροφορίες ο πελάτης της Voyager στο παρελθόν.

Ένα παράδειγμα

Ο Guardian δίνει το παράδειγμα της έρευνας της εταιρείας για έναν ακτιβιστή της Μουσουλμανικής Αδελφότητας το 2020, που φέρεται να ανάρτησε βίντεο ενθαρρύνοντας τους followers του να μολύνουν αξιωματούχους της αιγυπτιακής κυβέρνησης με Covid-19. Στη συγκεκριμένη περίπτωση:

• Αρχικά, η Voyager «σάρωσε» τις αναρτήσεις του σε Facebook και Twitter, επιτρέποντας στις αστυνομικές αρχές να αναζητούν με ευκολία λέξεις-κλειδιά.
• Στη συνέχεια, εξέτασε όλες τις επαφές του στα κοινωνικά δίκτυα.
• Υπογράμμισε τις στενότερες εξ αυτών, βάσει της συχνότητας των διαδικτυακών αλληλεπιδράσεων.
• Έπειτα, υπογράμμισε και τους «ενδιάμεσους», δηλαδή τις στενές επαφές του που διατηρούσαν και στενούς δεσμούς με άλλους φίλους του.
• Εντός του δικτύου του, εντόπισε άτομα που εργάζονταν για την κυβέρνηση, κρίνοντάς τα ως ύποπτα για εκούσια διασπορά του ιού σε αξιωματούχους.
• Και η έρευνα δεν σταμάτησε εκεί. Το πρόγραμμα έψαξε για φίλους φίλων του, ψάχνοντας για «έμμεσες επαφές» με άτομα που θα μπορούσαν να αποτελούν «απειλή εξτρεμισμού».

Ακόμη κι αν ένας χρήστης διαγράψει μια επαφή ή μια ανάρτηση, θα μείνουν στο αρχείο του Voyager για πάντα. Το ίδιο και οι αναρτήσεις όλων των φίλων του.

Πού είναι το πρόβλημα;

Μιλώντας στον Guardian, η Μέρεντιθ Μπρουσάρντ, καθηγήτρια δημοσιογραφίας δεδομένων στο Πανεπιστήμιο της Νέας Υόρκης και συγγραφέας του βιβλίου Artificial Unintelligence: How Computers Misunderstand the World δήλωσε ότι οι αλγόριθμοι της Voyager μοιάζουν να προχωρούν σε εκτιμήσεις για τους ανθρώπους βάσει της δραστηριότητας και των δικτύων τους στο διαδίκτυο μέσω μιας διαδικασίας που θυμίζει εκείνη που ακολουθούν οι στοχευμένες διαφημίσεις.

Τα συστήματα αυτά λειτουργούν τοποθετώντας τους ανθρώπους σε «ομάδες συνάφειας», προκειμένου να κρίνουν ποιοι είναι πιο πιθανό, για παράδειγμα, να αγοράσουν ένα καινούργιο αυτοκίνητο, βάσει των φίλων και των επαφών τους, εξηγεί η Μπρουσάρντ.

«Έτσι, αντί να τοποθετεί τους ανθρώπους σε ομάδες όπως “ιδιοκτήτες κατοικιδίων” η Voyager μοιάζει να τους βάζει την ταμπέλα των πιθανών εγκληματιών».

Στο πλαίσιο της διαφήμισης, αρκετοί καταναλωτές μπορεί να μην ενοχλούνται από αυτού του είδους τις ομαδοποιήσεις. Όμως, εξηγεί η Μπρουσάρντ, οι κίνδυνοι είναι πολύ μεγαλύτεροι όταν μιλάμε για αστυνόμευση.

«Πρόκειται για ένα σύστημα ποινικοποίησης των σχέσεων», σημειώνει, προσθέτοντας ότι αυτού του είδους οι αλγόριθμοι δεν είναι ιδιαίτερα εκλεπτυσμένοι.

Εξάλλου, η ίδια η Voyager στα διαφημιστικά της κείμενα αναφέρει ότι δεν «συνδέει απλώς τις τελείες» αλλά «δημιουργεί τελείες», κάνοντας αυτό που αποκαλεί «ανάλυση συναισθημάτων» για να εντοπίσει «ιδεολογική αλληλεγγύη». Ελέγχοντας «πράγματα που μοιάζουν με τυχαίες και ασήμαντες αλληλεπιδράσεις, συμπεριφορές ή ενδιαφέροντα, οι τελείες γίνονται ξαφνικά ξεκάθαρες».

Επιπλέον, η εταιρεία υποστηρίζει ότι δεν χρειάζεται χρόνο για την ανάλυση των δεδομένων και την εξαγωγή συμπερασμάτων, αλλά και ότι «έχουμε τη δυνατότητα να μη βρούμε απλώς ποιοι εμπλέκονται διαδικτυακά [με ένα ζήτημα], αλλά και ποιοι εμπλέκονται στις καρδιές τους».

Ρατσιστικές υπόνοιες

Ωστόσο, φαίνεται ότι οι αλγόριθμοι και η μηχανική μάθηση που χρησιμοποιεί η Voyager δεν έχει καταφέρει να απαλλαγεί από τα ζητήματα στα οποία «εμπλέκονται στις καρδιές τους» οι άνθρωποι που τα ανέπτυξαν. Προκειμένου να συνάψει συμβόλαιο με το LAPD, η Voyager επέλεξε να παρουσιάσει με ποιους τρόπους θα είχε αναλύσει το προφίλ του Άνταμ Αλσάλι στα κοινωνικά δίκτυα, ενός άνδρα που σκοτώθηκε πέρσι προσπαθώντας να επιτεθεί στη ναυτική βάση Corpus Christi στο Τέξας.

Η εταιρεία επεσήμανε ως στοιχεία που παρέπεμπαν σε εξτρεμισμό το γεγονός ότι ο Αλσάλι είχε κάνει αναρτήσεις θρησκευτικού περιεχομένου και ότι ένα από τα ψευδώνυμά του στο Instagram αντανακλούσαν «την περηφάνια και την ταύτισή του με την αραβική καταγωγή του». Πράγματα, δηλαδή, που εντάσσονται στο συνταγματικά προστατευμένο δικαίωμα στην ελευθερία της έκφρασης.

Όπως αναφέρει ο Guardian, από τα στοιχεία που παρουσίασε η Voyager, στην πραγματικότητα μόνο δυο tweets του υπέρ των Μουτζαχεντίν θα μπορούσαν να συνδέουν ευθέως τον Αλσάλι με τον φονταμενταλισμό.

Επιπλέον, η εταιρεία υπέδειξε και τρεις επαφές του Αλσάλι επειδή «είχαν και άλλες επαφές μαζί του, εκτός των κοινωνικών δικτύων ή συνδέονταν μέσω των ίδιων ισλαμιστικών κύκλων».

Η Τζούλι Μάο, αναπληρώτρια διευθύντρια της οργάνωσης Just Futures που παρέχει νομική υποστήριξη σε μετανάστες δήλωσε στον Guardian ότι φοβάται πως ο αλγόριθμος της Voyager δίνει μεγάλη βαρύτητα στο χρώμα των χρηστών.

«Είναι πάντα εύκολο να επιλέξεις μετά εορτής κάποιον που επέδειξε βίαιη συμπεριφορά για να πεις ότι με βάση εκείνον η τεχνολογία σου λειτουργεί», τόνισε. «Είναι απίστευτα ασαφής ο τρόπος με τον οποίο το Voyager τον τοποθέτησε στο συγκεκριμένο επίπεδο απειλής (είδε κάτι περισσότερο από την έκφραση θρησκευτικής πίστης;) και πόσα άτομα θα μπορούσαν να κατηγοριοποιηθούν στο ίδιο επίπεδο για αθώες συμπεριφορές. Επομένως, ακόμη και με βάση τη δική τους λογική, δεν αποτελεί παράδειγμα ακρίβειας και θα μπορούσε να οδηγήσει σε υπερβολική αστυνόμευση και παρενόχληση πολιτών».

Από την πλευρά της, η Κάθι Ο’Νιλ, data scientist και CEO της Orcaa, μιας εταιρείας ελέγχου αλγορίθμων, παρατηρεί ότι οι ισχυρισμοί της Voyager ότι αξιοποιεί «πρωτοποριακές τεχνολογίες που στηρίζονται στην Τεχνητή Νοημοσύνη», όπως η «μηχανική μάθηση» και οι «συνδυαστικοί και στατιστικοί αλγόριθμοι», δεν σημαίνουν και πολλά. «Λένε: χρησιμοποιούμε δύσκολα μαθηματικά. Αυτό δεν λέει στην πραγματικότητα τίποτα για το τι κάνουν».

Άλλωστε, συνεχίζει η Ο’Νιλ, οι εταιρείες του κλάδου σπανίως παρουσιάζουν στοιχεία για τους αλγόριθμους και αποδείξεις ότι μπορούν να κάνουν αυτό που υπόσχονται, ενώ οι ισχυρισμοί τους συχνά είναι από υπερβολικοί έως ανεδαφικοί.

Ψεύτικα προφίλ και ιδιωτικές συνομιλίες

Άλλη μια αμφιλεγόμενη υπηρεσία που προσφέρει η Voyager είναι τα «ενεργά προσωπεία», για τα οποία ελάχιστες πληροφορίες παρέχει.

Όπως αναφέρει ο Guardian, από την επικοινωνία της εταιρείας με το LAPD προκύπτει ότι κατά πάσα πιθανότητα πρόκειται για ψεύτικα προφίλ τα οποία ανήκουν ήδη στις επαφές των υπό διερεύνηση ατόμων, και τα οποία επιτρέπουν στην αστυνομία την πρόσβαση σε περιεχόμενο που δεν έχει αναρτηθεί δημόσια ή ακόμη και σε συνομιλίες εντός κρυπτογραφημένων εφαρμογών όπως το Telegram. Ωστόσο, τα ψεύτικα προφίλ παραβιάζουν, για παράδειγμα, τους όρους χρήσης του Facebook το οποίο στο παρελθόν έχει προχωρήσει σε μαζικές διαγραφές προφίλ της αστυνομίας, διευκρινίζοντας ότι επιτρέπει την ύπαρξη μόνο πραγματικών προφίλ μέσα στην πλατφόρμα.

Ακόμη, η εταιρεία είναι σε θέση να συγκρίνει τις δημόσιες πληροφορίες με άλλες, που έχουν φτάσει στα χέρια της αστυνομίας μέσω ενταλμάτων. Τέτοιες πληροφορίες μπορεί να είναι ιδιωτικές συνομιλίες των χρηστών, δεδομένα που αφορούν την τοποθεσία τους και λέξεις-κλειδιά που έχουν χρησιμοποιήσει σε διαδικτυακές αναζητήσεις. Αυτό μπορεί να οδηγήσει σε παρότρυνση προς την αστυνομία να εκδώσει ένταλμα και για τις επαφές με τις οποίες αλληλεπιδρά ένας ύποπτος.

Αντίστοιχες λειτουργίες πρόκειται να εισάγει και για το Instagram και το Snapchat, αυτή τη φορά με βάση συστήματα αναγνώρισης εικόνων.

Ο Κρις Τζίλιαρντ, καθηγητής στο Κοινοτικό Κολέγιο Macomb και ερευνητής στο Κέντρο Shorenstein της Σχολής Κένεντι στο Χάρβαρντ, προειδοποιεί:

«Ανησυχώ για το πόσο χαμηλά έχουν θέσει τον πήχη αυτές οι εταιρείες, έχοντας ως συγκεκριμένο στόχο τον αστυνομικό έλεγχο. Υπάρχει μακρά ιστορία παρακολούθησης ακτιβιστών, οι οποίοι δρουν απολύτως σύννομα, από την αστυνομία, με στόχο τον εκφοβισμό των πολιτών ή τη διάλυση των κινημάτων. Για αυτό και ο πήχης για το πότε υπάρχει δυνατότητα συνδρομής των εταιρειών στην αστυνομική επιτήρηση θα έπρεπε να τίθεται πολύ ψηλά».