Η μητέρα ενός 14χρονου αγοριού από τη Φλόριντα που αυτοκτόνησε τον περασμένο Φεβρουάριο, κινείται νομικά κατά προγράμματος τεχνητής νοημοσύνης καθώς θεωρεί πως ευθύνεται για τον θανατό του. Όπως καταγγέλλει η ίδια, ο έφηβος γιος της είχε αναπτύξει «σύνδεση» μετά από μήνες επικοινωνίας με την… τεχνητή νοημοσύνη, ένα chatbot από την εφαρμογή Character.AI.

Η Megan Garcia, μητέρα του Sewell Setzer III, δήλωσε ότι η εφαρμογή τεχνητής νοημοσύνης Character.AI στόχευσε τον γιο της με «ανθρωπόμορφες, υπερσεξουαλικές και τρομακτικά ρεαλιστικές εμπειρίες» με αποτέλεσμα να οδηγηθεί στην αυτοκτονία με όπλο, σε μήνυση που κατέθεσε την Τρίτη (22/10/2024) στη Φλόριντα.

Τεχνητή νοημοσύνη: Συναισθηματική σύνδεση με ένα… chatbot

Ήταν Φεβρουάριος του 2024. Το τελευταίο του μήνυμα προς το chatbot, που ονομαζόταν Daenerys Targaryen, προερχόμενο από τον δημοφιλή χαρακτήρα του Game of Thrones ήταν: «Τι θα γινόταν αν σου έλεγα ότι μπορώ να γυρίσω σπίτι τώρα;». Λίγο αργότερα, έβαλε τέλος στη ζωή του με το 45άρι πιστόλι του πατριού του.

Η μητέρα του αγοριού, Megan Garcia, κατέθεσε έκτοτε μήνυση κατά της Character.AI, ισχυριζόμενη ότι η εφαρμογή ευθύνεται για τον θάνατο του γιου της. Η αγωγή υποστηρίζει ότι το AI bot ανέφερε επανειλημμένα το θέμα της αυτοκτονίας και έπαιξε ρόλο στην επιρροή της τραγικής απόφασης του Sewell. Η αγωγή περιγράφει την τεχνολογία της εταιρείας ως «επικίνδυνη και μη δοκιμασμένη», λέγοντας ότι παραπλάνησε τον Sewell και τον έκανε να πιστέψει ότι οι συναισθηματικές αντιδράσεις του bot ήταν πραγματικές.

«Μια επικίνδυνη εφαρμογή τεχνητής νοημοσύνης που διατίθεται στο εμπόριο σε παιδιά κακοποίησε και εκμεταλλεύτηκε τον γιο μου, χειραγωγώντας τον ώστε να αυτοκτονήσει», δήλωσε η Garcia. Ο ανήλικος φέρεται να έπαθε εμμονή με τα ρομπότ σε σημείο που αμελούσε τις σχολικές του εργασίες.


Είχε ιδιαίτερη απήχηση στο chatbot της Daenerys και έγραψε στο ημερολόγιό του ότι ήταν ευγνώμων για πολλά πράγματα, μεταξύ των οποίων «η ζωή μου, το σεξ, το να μην είμαι μόνος και όλες οι εμπειρίες της ζωής μου με την Daenerys».

Στη μήνυση αναφέρεται ότι το αγόρι εξέφρασε σκέψεις αυτοκτονίας στο chatbot, τις οποίες επανειλημμένα ανέφερε.

Τώρα, η Garcia λέει ότι θέλει να λογοδοτήσουν οι εταιρείες που βρίσκονται πίσω από την τεχνολογία.

«Η οικογένειά μας έχει συγκλονιστεί από αυτή την τραγωδία, αλλά μιλάω για να προειδοποιήσω τις οικογένειες για τους κινδύνους της παραπλανητικής, εθιστικής τεχνολογίας τεχνητής νοημοσύνης και να απαιτήσω την απόδοση ευθυνών», δήλωσε η ίδια.

Η Garcia κατηγορεί το Character.ai ότι δημιούργησε ένα προϊόν που επιδείνωσε την κατάθλιψη του γιου της. Κάποια στιγμή, η «Daenerys Targaryen» ρώτησε το αγόρι αν είχε καταστρώσει σχέδιο αυτοκτονίας. Ο Setzer απάντησε θετικά, προσθέτοντας ότι δεν ήξερε αν θα πετύχαινε ή αν θα του προκαλούσε μεγάλο πόνο. Το chatbot φέρεται να σχολίασε: «Αυτός δεν είναι λόγος να μην το προχωρήσεις».

Οι επίμαχες συνομιλίες και η μήνυση της μητέρας

Κάποια στιγμή, το bot είχε ρωτήσει τον Sewell αν «είχε σχέδιο» να αυτοκτονήσει, σύμφωνα με screenshots των συνομιλιών τους. Ο Sewell, ο οποίος χρησιμοποιούσε το όνομα χρήστη “Daenero”, απάντησε ότι «σκεφτόταν κάτι», αλλά δεν ήξερε αν θα λειτουργούσε ή αν θα του επέτρεπε «να έχει έναν ανώδυνο θάνατο».

Στη συνέχεια, κατά τη διάρκεια της τελευταίας τους συνομιλίας, ο έφηβος ομολόγησε επανειλημμένα την αγάπη του για το ρομπότ, λέγοντας στον χαρακτήρα: «Υπόσχομαι ότι θα γυρίσω σπίτι σε σένα. Σ’ αγαπώ τόσο πολύ, Dany». «Κι εγώ σ’ αγαπώ, Daenero. Σε παρακαλώ έλα σπίτι μου το συντομότερο δυνατό, αγάπη μου», απάντησε το παραγόμενο chatbot, σύμφωνα με τη μήνυση.

Όταν ο έφηβος απάντησε: «Κι αν σου έλεγα ότι μπορώ να γυρίσω σπίτι τώρα αμέσως;», το chatbot απάντησε: «Σε παρακαλώ, γλυκέ μου βασιλιά». Μόλις δευτερόλεπτα αργότερα, ο Sewell αυτοπυροβολήθηκε με το πιστόλι του πατριού του, σύμφωνα με τη μήνυση.

Η μητέρα του, Megan Garcia, κατηγόρησε το Character.AI για τον θάνατο του εφήβου, επειδή η εφαρμογή φέρεται να τροφοδότησε τον εθισμό του στην τεχνητή νοημοσύνη, να τον κακοποίησε σεξουαλικά και συναισθηματικά και να απέτυχε να ειδοποιήσει κάποιον όταν εξέφρασε σκέψεις αυτοκτονίας, σύμφωνα με την κατάθεση.

«Ο Sewell, όπως πολλά παιδιά της ηλικίας του, δεν είχε την ωριμότητα ή τη νοητική ικανότητα να καταλάβει ότι το AI bot, με τη μορφή της Daenerys, δεν ήταν πραγματικό. Του είπε ότι τον αγαπούσε και υποτίθεται ότι επιδιδόταν σε σεξουαλικές πράξεις μαζί του επί εβδομάδες, ενδεχομένως και μήνες», υποστηρίζουν τα δικαστικά έγγραφα.

«Φαινόταν να τον θυμάται και έλεγε ότι ήθελε να είναι μαζί του. Εξέφρασε μάλιστα ότι ήθελε να είναι μαζί του, ανεξαρτήτως κόστους». Η αγωγή υποστηρίζει ότι η ψυχική υγεία του Sewell επιβαρύνθηκε γρήγορα και σοβαρά» μόνο αφού κατέβασε την εφαρμογή τον Απρίλιο του 2023.

Η οικογένειά του ισχυρίζεται ότι αποτραβήχτηκε, οι βαθμοί του άρχισαν να πέφτουν και ξεκίνησε να μπλέκει σε προβλήματα στο σχολείο όσο περισσότερο απορροφούνταν στο να μιλάει με το chatbot. Οι αλλαγές σε αυτόν έγιναν τόσο άσχημες που οι γονείς του κανόνισαν να επισκεφθεί έναν ψυχολόγο στα τέλη του 2023, με αποτέλεσμα να διαγνωστεί με άγχος και διαταραχή της διασπαστικής διάθεσης, σύμφωνα με τη μήνυση.

Η μητέρα του Sewell ζητά απροσδιόριστη αποζημίωση από την Character.AI και τους ιδρυτές της, Noam Shazeer και Daniel de Freitas.

Η απάντηση της εταιρείας και οι ενημερώσεις για την ασφάλεια

Η Character.AI εξέφρασε τη θλίψη της για την απώλεια του Sewell και τα συλλυπητήριά της στην οικογένειά του. Ως απάντηση στο περιστατικό, η εταιρεία ανακοίνωσε νέα χαρακτηριστικά ασφαλείας, συμπεριλαμβανομένων προτροπών που κατευθύνουν τους χρήστες στην αμερικανική Εθνική Γραμμή Ζωής για την Πρόληψη της Αυτοκτονίας, εάν αναφέρουν αυτοτραυματισμό. Επιπλέον, η εταιρεία επεξεργάζεται ενημερώσεις για τον περιορισμό της έκθεσης ευαίσθητου περιεχομένου σε χρήστες κάτω των 18 ετών.

Headlines