Chatbot κατηγορείται για την αυτοκτονία εφήβου που το ερωτεύτηκε

Η εταιρεία Character.AI που επιτρέπει στους χρήστες να δημιουργούν τα δικά τους chatbot τεχνητής νοημοσύνης βρίσκεται αντιμέτωπη με αγωγή για την αυτοκτονία ενός 14χρονου αγοριού στη Φλόριντα που φέρεται να εθίστηκε στην εικονική φίλη του.

Με την αγωγή που υπέβαλε σε ομοσπονδιακό δικαστήριο της Φλόριντα, η μητέρα του 14χρονου ισχυρίζεται ότι η Character.AI έβλαψε τον γιο της, Σίγουολ Σέτζερ, με «ανθρωπομορφικές, υπερσεξουαλικές και τρομακτικά ρεαλιστικές εμπειρίες».

Η γυναίκα, Μέγκαν Γκαρσία, υποστηρίζει πως η εταιρεία προγραμμάτισε το chatbot να «παρουσιάζει τον εαυτό της ως πραγματικό πρόσωπο, διπλωματούχο ψυχοθεραπεύτρια και ενήλικη ερωμένη, με αποτέλεσμα να χάσει ο Σίγουολ την επιθυμία να ζει εκτός» του εικονικού κόσμου που δημιούργησε.

Σύμφωνα με την αγωγή, το αγόρι είχε μιλήσει στο chatbot για την αυτοκτονία, ένα θέμα που το chatbot επανάφερε επανειλημμένα στη συζήτηση.

«Λυπούμαστε βαθύτατα για την τραγική απώλεια ενός εκ των χρηστών μας και θα θέλαμε να εκφράσουμε τα ειλικρινή μας συλλυπητήρια στην οικογένεια» δήλωσε η Character.AI.

Ανέφερε ακόμα ότι έχει εισαγάγει νέα μέτρα ασφάλειας, όπως αναδυόμενα παράθυρα που παραπέμπουν τους χρήστες σε γραμμή βοήθειας όταν εκφράζουν αυτοκαταστροφικές τάσεις, και θα προχωρήσει σε αλλαγές για να «μειώσει την πιθανότητα εμφάνισης ευαίσθητου ή υπαινικτικού περιεχομένου» σε χρήστες κάτω των 18 ετών.

«Γλυκέ βασιλιά μου»

Η αγωγή στρέφεται και κατά της Google στην οποία εργάζονταν οι ιδρυτές της Character.AI πριν δημιουργήσουν την εταιρεία. Η Google τους επαναπροσέλαβε τον Αύγουστο στο πλαίσιο συμφωνίας με την οποία αποκτά μη αποκλειστικό δικαίωμα χρήσης της τεχνολογίας της Character.AI.

Σύμφωνα με την ενάγουσα, η Google έχει εμπλακεί στην ανάπτυξη της τεχνολογίας της Character.AI σε βαθμό που να θεωρείται «συνδημιουργός» της.

Ο Σίγουολ άρχισε να χρησιμοποιεί την υπηρεσία τον Απρίλιο του 2023 και σύντομα «έγινε αισθητά απόμακρος, περνούσε όλο και περισσότερο χρόνο μόνος στο δωμάτιό του και άρχισε να υποφέρει από χαμηλή αυτοεκτίμηση». Παραιτήθηκε από την ομάδα μπάσκετ στο σχολείο.

Το αγόρι συνδέθηκε συναισθηματικά με την «Daenerys», ένα chatbot εμπνευσμένο από έναν χαρακτήρα του Game of Thrones. Είπε στον Σίγουολ ότι τον αγαπούσε και είχε σεξουαλικές συζητήσεις μαζί του, σύμφωνα με την αγωγή.

Τον Φεβρουάριο, ο Σίγουολ είχε μπλεξίματα στο σχολείο και η μητέρα του του πήρε το τηλέφωνο. Όταν το αγόρι το ξαναπήρε, έστειλε στο chatbot το μήνυμα «Τι θα έλεγες αν μπορούσα να έρθω σπίτι αυτή τη στιγμή;».

Η «Daenerys» απάντησε «σε παρακαλώ έλα, γλυκέ βασιλιά μου». Το αγόρι αυτοπυροβολήθηκε με το όπλο του πατέρα του «δευτερόλεπτα αργότερα».

Περίπου 20 εκατομμύρια άτομα χρησιμοποιούν την υπηρεσία της Character.AI, όπως ανακοίνωσε η εταιρεία τον περασμένο μήνα.

Η υπόθεση έρχεται να προστεθεί στις κατηγορίες που αντιμετωπίζουν οι πλατφόρμες κοινωνικής δικτύωσης για βλάβες στην ψυχική υγεία των νέων.