Για τη λειτουργία των συστημάτων ΤΝ στην απονομή δικαιοσύνης έχουμε δει περισσότερες ταινίες και σειρές επιστημονικής φαντασίας και λιγότερα πραγματικά παραδείγματα. Η τεχνητή νοημοσύνη όμως ήδη λειτουργεί υποστηρικτικά στη λήψη αποφάσεων σχετικά με το ποιος/α θα κρατηθεί προσωρινά, ποιος/α θα καταδικαστεί και ποιος/α θα αποφυλακιστεί υπό όρους, και τα λάθη της πλήττουν περισσότερο όσους έχουν τη μικρότερη δυνατότητα να τα αμφισβητήσουν. Δικαστήρια στις Ηνωμένες Πολιτείες και αλλού χρησιμοποιούν αλγορίθμους αξιολόγησης κινδύνου για να προβλέψουν αν ένας κατηγορούμενος θα υποτροπιάσει. Οι υποστηρικτές τους υπόσχονται συνέπεια και αποτελεσματικότητα. Ωστόσο, μόλις η πρόβλεψη μιας μηχανής εισέλθει στην αίθουσα του δικαστηρίου, μπορεί αθόρυβα να μεταφέρει προκαταλήψεις, να αποκρύπτει τη λογική της και να μετατρέπει έναν άνθρωπο σε αριθμό.
Η προειδοποίηση του COMPAS
Το COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), που αναπτύχθηκε από την Northpointe (σήμερα Equivant), βαθμολογεί τους κατηγορουμένους ως προς την πιθανότητα υποτροπής. Το 2016, μια έρευνα της ProPublica σε περισσότερα από 7.000 άτομα που συνελήφθησαν στην κομητεία Broward της Φλόριντα διαπίστωσε ότι οι μαύροι κατηγορούμενοι που δεν υποτροπίασαν είχαν σχεδόν διπλάσια πιθανότητα από τους λευκούς να χαρακτηριστούν λανθασμένα ως υψηλού κινδύνου (Angwin et al., 2016). Αντίθετα, οι λευκοί κατηγορούμενοι που υποτροπίασαν χαρακτηρίζονταν συχνότερα, λανθασμένα, ως χαμηλού κινδύνου.
Και η ακρίβεια του εργαλείου είναι περιορισμένη. Οι Dressel και Farid (2018) έδειξαν ότι ανειδίκευτοι εθελοντές στο διαδίκτυο προέβλεπαν την υποτροπή περίπου εξίσου καλά με το COMPAS, το οποίο έπεφτε μέσα περίπου στο 65% των περιπτώσεων.
ΔΙΑΒΑΣΤΕ ΕΠΙΣΗΣ
Μέρος αυτής της αδικίας μπορεί να είναι αναπόφευκτο. Η Chouldechova (2017) απέδειξε ότι, όταν δύο ομάδες υποτροπιάζουν με διαφορετικά βασικά ποσοστά, καμία βαθμολογία δεν μπορεί να είναι εξίσου βαθμονομημένη και για τις δύο και ταυτόχρονα να παράγει ίσα ποσοστά ψευδώς θετικών. Η επιλογή τού ποια μορφή δικαιοσύνης θα θυσιαστεί είναι ηθική, όχι τεχνική απόφαση.
Η αδιαφάνεια επιτείνει το πρόβλημα. Στην υπόθεση State v. Loomis (2016), το Ανώτατο Δικαστήριο του Ουισκόνσιν επέτρεψε σε δικαστή να λάβει υπόψη τη βαθμολογία COMPAS κατά την επιμέτρηση της ποινής, παρότι ο κατηγορούμενος δεν μπορούσε να εξετάσει την ιδιόκτητη μέθοδό της. Το δικαστήριο απαίτησε γραπτές προειδοποιήσεις, αλλά άφησε αναπάντητο ένα θεμελιώδες ερώτημα: πώς μπορεί κανείς να αμφισβητήσει αποδεικτικά στοιχεία που δεν του επιτρέπεται να δει; Και επειδή τέτοια εργαλεία μαθαίνουν από ιστορικά δεδομένα συλλήψεων, κινδυνεύουν να παρουσιάζουν την υπερβολική αστυνόμευση του παρελθόντος ως αντικειμενικό γεγονός (O'Neil, 2016).
Πέρα από το COMPAS: τα ευρύτερα στοιχεία
Τα προβλήματα αυτά δεν περιορίζονται σε ένα μόνο προϊόν. Πέντε ακόμη περιπτώσεις δείχνουν πώς επανεμφανίζονται σε όλη την αλυσίδα της ποινικής δικαιοσύνης.
Βαθμολογίες κινδύνου πριν από τη δίκη στην πράξη. Όταν το Κεντάκι καθιέρωσε το 2011 την υποχρεωτική αξιολόγηση κινδύνου πριν από τη δίκη, τα ποσοστά αποφυλάκισης αυξήθηκαν μόνο προσωρινά, πριν οι δικαστές επιστρέψουν στις παλιές τους πρακτικές, ενώ τα οφέλη πήγαν δυσανάλογα σε λευκούς κατηγορουμένους (Stevenson, 2018). Μια βαθμολογία δεν οδηγεί από μόνη της σε δικαιότερα αποτελέσματα· όλα εξαρτώνται από το πώς τη χρησιμοποιούν οι δικαστές.
Το εργαλείο HART στο Ηνωμένο Βασίλειο. Το Harm Assessment Risk Tool της αστυνομίας του Durham χρησιμοποιούσε μηχανική μάθηση για να αποφασίζει ποιοι συλληφθέντες μπορούσαν να ενταχθούν σε πρόγραμμα αποκατάστασης αντί να διωχθούν. Η χρήση δεδομένων ταχυδρομικού κώδικα και εμπορικού μάρκετινγκ προκάλεσε ανησυχίες ότι βαθμολογούσε τη φτώχεια αντί για τον κίνδυνο (Oswald et al., 2018).
Φαύλοι κύκλοι της προληπτικής αστυνόμευσης. Οι Lum και Isaac (2016) εφάρμοσαν τον αλγόριθμο PredPol σε δεδομένα συλλήψεων για ναρκωτικά στο Όκλαντ και διαπίστωσαν ότι θα έστελνε την αστυνομία κυρίως σε γειτονιές μαύρων και χαμηλού εισοδήματος, παρότι η χρήση ναρκωτικών ήταν διάχυτη σε όλη την πόλη. Περισσότερες περιπολίες φέρνουν περισσότερες συλλήψεις, οι οποίες στη συνέχεια τροφοδοτούν τις βαθμολογίες κινδύνου που χρησιμοποιούνται στο δικαστήριο.
Αναγνώριση προσώπου και άδικη σύλληψη. Το 2020 ο Robert Williams συνελήφθη μπροστά στην οικογένειά του στο Ντιτρόιτ εξαιτίας λανθασμένης ταυτοποίησης από σύστημα αναγνώρισης προσώπου (Hill, 2020). Τέτοια συστήματα κάνουν τα περισσότερα λάθη σε πρόσωπα με σκουρότερο δέρμα (Buolamwini & Gebru, 2018). Το ίδιο έχει συμβεί και στην Ελλάδα με τη χρήση «έξυπνης κάμερας» στην οδική κυκλοφορία. Εκατοντάδες πολίτες λαμβάνουν ειδοποίηση για πρόστιμο κατόπιν παράβασης ΚΟΚ την οποία δεν έπραξαν και δεν μπορούν να αμφισβητήσουν, καθώς δεν έχουν πρόσβαση στα δεδομένα.
Μυστικός κώδικας ως αποδεικτικό μέσο. Στην υπόθεση State v. Pickett (2021) εφετείο του Νιου Τζέρσεϊ έκρινε ότι η υπεράσπιση πρέπει να μπορεί να εξετάσει τον πηγαίο κώδικα του TrueAllele, λογισμικού ανάλυσης DNA που χρησιμοποιήθηκε εις βάρος του κατηγορουμένου. Το δικαστήριο απέρριψε την επίκληση εμπορικού απορρήτου από τον προμηθευτή, αναγνωρίζοντας ότι ένα λογισμικό που δεν έχει ελεγχθεί δεν μπορεί απλώς να θεωρείται αξιόπιστο.
Πώς παρουσιάζει τους σχετικούς κινδύνους η έβδομη τέχνη;
Η μυθοπλασία αποτυπώνει κινδύνους που οι στατιστικές παραβλέπουν. Στο επεισόδιο «Nosedive» του Black Mirror, κάθε κοινωνική αλληλεπίδραση βαθμολογείται, και ένας μόνο αριθμός (το αποτέλεσμα) καθορίζει τη στέγη, τα ταξίδια και την αξιοπρέπεια ενός ανθρώπου. Μόλις η βαθμολογία θεωρηθεί αλήθεια, γίνεται αυτοεκπληρούμενη: μια χαμηλή βαθμολογία κλείνει πόρτες, κάτι που τη ρίχνει ακόμη χαμηλότερα. Οι ποινικές βαθμολογίες κινδύνου μπορούν να λειτουργήσουν με τον ίδιο τρόπο. Ένας κατηγορούμενος που χαρακτηρίζεται υψηλού κινδύνου μπορεί να κρατηθεί περισσότερο, να χάσει τη δουλειά και τους οικογενειακούς του δεσμούς και να αποφυλακιστεί με λιγότερους λόγους να μην υποτροπιάσει.
Το επεισόδιο «White Bear» του Black Mirror παρουσιάζει την τιμωρία ως αυτοματοποιημένο θέαμα. Η μνήμη μιας καταδικασμένης γυναίκας σβήνεται κάθε βράδυ, ώστε να ξαναζεί τη δοκιμασία της μπροστά σε πληρωμένους θεατές, και κανείς μέσα στο σύστημα δεν το αμφισβητεί. Το επεισόδιο θέτει το ερώτημα τι συμβαίνει όταν η δικαιοσύνη υπηρετεί τον μηχανισμό αντί για τον άνθρωπο. Τα «αλγοριθμικά δικαστήρια» κινδυνεύουν να αναπαράγουν μια πιο αθόρυβη εκδοχή αυτής της αποσύνδεσης, όπου η ευθύνη κατανέμεται τόσο θολά μεταξύ προγραμματιστών, προμηθευτών και δικαστών, ώστε κανείς να μην αναλαμβάνει πλήρως το αποτέλεσμα.
Το διήγημα του Philip K. Dick The Minority Report (1956), που αργότερα μεταφέρθηκε στον κινηματογράφο από τον Steven Spielberg (2002), πηγαίνει ακόμη πιο μακριά: άνθρωποι συλλαμβάνονται για εγκλήματα που δεν έχουν ακόμη διαπράξει με βάση την πρόβλεψη και πρόγνωση που προσφέρει η μηχανική μάθηση. Πολλά συστήματα ΤΝ βασίζονται σε στατιστικές εκτιμήσεις για τη μελλοντική συμπεριφορά ενός ατόμου, ιδίως ως προς την πιθανότητα υποτροπής. Ωστόσο, η ποινική δικαιοσύνη στηρίζεται παραδοσιακά στην αξιολόγηση πράξεων που έχουν ήδη τελεστεί και όχι σε υποθέσεις σχετικά με μελλοντικές συμπεριφορές. Οι βαθμολογίες κινδύνου ως προϊόντα μηχανικής μάθησης μετατοπίζουν τη λήψη αποφάσεων προς μια αρχιτεκτονική «προληπτικής δικαιοσύνης», η οποία ενδέχεται να οδηγήσει σε αποφάσεις που τιμωρούν τους ανθρώπους όχι για όσα έκαναν, αλλά για όσα ένας αλγόριθμος προβλέπει ότι ενδέχεται να κάνουν στο μέλλον.
Επιπλέον, η χρήση της ΤΝ μπορεί να διαβρώσει την κοινωνική εμπιστοσύνη στη δικαιοσύνη. Η νομιμοποίηση των δικαστικών θεσμών δεν εξαρτάται μόνο από τη νομική ορθότητα των αποφάσεων, αλλά και από την πεποίθηση των πολιτών ότι αντιμετωπίζονται με αξιοπρέπεια, ισότητα και σεβασμό. Εάν οι δικαστικές αποφάσεις θεωρηθούν προϊόν αδιαφανών αλγορίθμων, χωρίς επαρκή ανθρώπινη εποπτεία και δυνατότητα αμφισβήτησης, η εμπιστοσύνη προς τους θεσμούς μπορεί να πληγεί σοβαρά.
Διατηρώντας την ανθρώπινη διάσταση της δικαιοσύνης
Η τεχνητή νοημοσύνη μπορεί να βοηθήσει τα δικαστήρια στη διαχείριση πληροφοριών, αλλά δεν πρέπει ποτέ να αντικαθιστά την ανθρώπινη κρίση για την ελευθερία ενός ανθρώπου. Οι ελάχιστες εγγυήσεις περιλαμβάνουν ανεξάρτητους ελέγχους για προκαταλήψεις, διαφανή μοντέλα που μπορούν να αμφισβητηθούν και αυστηρά όρια στη χρήση των βαθμολογιών. Ο Κανονισμός της ΕΕ για την Τεχνητή Νοημοσύνη, για παράδειγμα, κατατάσσει την ΤΝ που χρησιμοποιείται στην απονομή δικαιοσύνης στα συστήματα υψηλού κινδύνου, απαιτώντας ανθρώπινη εποπτεία και τεκμηρίωση (Κανονισμός (ΕΕ) 2024/1689). Χωρίς τέτοιες δικλίδες ασφαλείας, η αποτελεσματικότητα μπορεί να κερδηθεί εις βάρος της δικαιοσύνης.
Η τεχνική έρευνα υποδεικνύει πρακτικές λύσεις. Η μελέτη «Blind Justice», που παρουσιάστηκε στο συνέδριο ICML 2018 από ερευνητές του Alan Turing Institute, των πανεπιστημίων Cambridge, Warwick και UCL και των Ινστιτούτων Max Planck, ξεκίνησε από τις ενδείξεις ότι το COMPAS μπορεί να είναι μεροληπτικό ή όχι καλύτερο από ανειδίκευτους ανθρώπους (Max Planck Institute for Intelligent Systems, 2018). Οι συγγραφείς έδειξαν ότι ευαίσθητα χαρακτηριστικά, όπως η φυλή, μπορούν να κρυπτογραφηθούν, ώστε ένα μοντέλο να εκπαιδεύεται, να ελέγχεται και να λογοδοτεί για τη δικαιοσύνη του χωρίς να αποκαλύπτονται τα προσωπικά δεδομένα κανενός (Kilbertus et al., 2018). Τέτοιες μέθοδοι θα επέτρεπαν στις ρυθμιστικές αρχές να ελέγχουν τους δικαστικούς αλγορίθμους αντί να βασίζονται στα λόγια των προμηθευτών.
Βιβλιογραφία
Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016, May 23). Machine bias. ProPublica. propublica.org
Brooker, C. (Writer), & Tibbetts, C. (Director). (2013). White Bear (Season 2, Episode 2) [TV series episode]. In Black Mirror. Channel 4
Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81, 77–91
Chouldechova, A. (2017). Fair prediction with disparate impact: A study of bias in recidivism prediction instruments. Big Data, 5(2), 153–163
Dick, P. K. (1956). The minority report. Fantastic Universe, 4(6)
Dressel, J., & Farid, H. (2018). The accuracy, fairness, and limits of predicting recidivism. Science Advances, 4(1), eaao5580
Hill, K. (2020, June 24). Wrongfully accused by an algorithm. The New York Times
Kilbertus, N., Gascón, A., Kusner, M., Veale, M., Gummadi, K. P., & Weller, A. (2018). Blind justice: Fairness with encrypted sensitive attributes. Proceedings of the 35th International Conference on Machine Learning (ICML), PMLR 80, 2630–2639. arXiv:1806.03281
Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19
Max Planck Institute for Intelligent Systems. (2018, July 25). Can justice be blind when it comes to machine learning? Researchers present findings at ICML 2018 [Press release]. is.mpg.de
O'Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown
Oswald, M., Grace, J., Urwin, S., & Barnes, G. C. (2018). Algorithmic risk assessment policing models: Lessons from the Durham HART model and 'experimental' proportionality. Information & Communications Technology Law, 27(2), 223–250
Κανονισμός (ΕΕ) 2024/1689 του Ευρωπαϊκού Κοινοβουλίου και του Συμβουλίου για τη θέσπιση εναρμονισμένων κανόνων σχετικά με την τεχνητή νοημοσύνη (Κανονισμός για την Τεχνητή Νοημοσύνη). Επίσημη Εφημερίδα της Ευρωπαϊκής Ένωσης
Schur, M., & Jones, R. (Writers), & Wright, J. (Director). (2016). Nosedive (Season 3, Episode 1) [TV series episode]. In Black Mirror. Netflix
Spielberg, S. (Director). (2002). Minority Report [Film]. 20th Century Fox; DreamWorks Pictures
State v. Loomis, 881 N.W.2d 749 (Wis. 2016)
State v. Pickett, 466 N.J. Super. 270 (App. Div. 2021)
