Η Ωραία έγινε Τέρας; Σκιές στον ήλιο της Τεχνητής Νοημοσύνης

Οι σκοτεινές και ανεξέλεγκτες όψεις της ολοένα εξελισσόμενης νέας τεχνολογίας κάνουν ακόμα και πολλούς πρώιμους υμνητές της, οι οποίοι έβλεπαν σε αυτήν μια οδό ώστε να αλλάξει ο κόσμος μας προς το καλύτερο, να προειδοποιούν για τους «θεμελιώδεις κινδύνους για την κοινωνία και την ανθρωπότητα» που συνεπάγεται η αλόγιστη χρήση της, κρούοντας τον κώδωνα του κινδύνου.

Η Τεχνητή Νοημοσύνη κόβει πλεόν την ανάσα με τις διανοητικές ακροβασίες της πάνω στο εύθραυστο πια σκοινί που μέχρι τώρα, τουλάχιστον, διαχώριζε τη μηχανή από τον άνθρωπο. Ετσι, κόντρα στην αρχική ευφορία που προκαλούσε η ανάπτυξή της, η δημόσια επιστολή που κυκλοφόρησε στα τέλη Μαρτίου προειδοποίησε για «τους θεμελιώδεις κινδύνους για την κοινωνία και την ανθρωπότητα» εξαιτίας της Τεχνητή Νοημοσύνης (ΤΝ).

Θορυβημένοι επιχειρηματίες, διανοούμενοι, επιστήμονες και ερευνητές, όπως ο Ελον Μασκ και ο ιστορικός Γιουβάλ Νώε Χαράρι, υπέγραψαν την επιστολή απαιτώντας να υπάρξει ένα moratorium, ώστε να φρενάρει τουλάχιστον για έξι μήνες η ραγδαία εξέλιξη της επικίνδυνης, κατά την εκτίμησή τους, ΤΝ. Αν οι σχεδιαστές και αρχιτέκτονές της στον βιομηχανικό τομέα δεν συμφωνήσουν οικειοθελώς για μια παύση, τότε καλύτερα να πάρουν μέτρα οι κυβερνήσεις.

Οι σκοτεινές και ανεξέλεγκτες όψεις της ΤΝ χάλασαν ακόμα και τον ύπνο του επικεφαλής της Google Σούνταρ Πιτσάι. Ορισμένοι από τους υπογράφοντες την επιστολή ένωναν προηγουμένως τις φωνές τους σε ένα ερωτικό μαδριγάλι που την υμνούσε. Ηταν η Ωραία της Ψηφιακής Ουτοπίας τους, που θα τιθασεύσει το καπιταλιστικό τέρας, για να φέρει στην πολύπαθη Γη την ελευθερία, την ευημερία και τη δημοκρατία.

Κανένας εργοδότης δεν θα έπινε πια το αίμα, δηλαδή την εργασία, όσων θα δούλευαν κάτω από τον δικό της ήλιο. Ο ίδιος ο Πιτσάι είχε προφητεύσει ότι η ΤΝ θα άλλαζε έντονα την ανθρωπότητα, «όπως η φωτιά ή ο ηλεκτρισμός». Αλλά και ο Ελον Μάσκ είχε δηλώσει ανεπιφύλακτα πως το Chat-GPT είναι «τρομακτικά καλό» και δεν απείχε πολύ από την εξέλιξή του σε Υπερνοημοσύνη.

Τι τους έκανε να αλλάξουν γνώμη;

Τρωτότητες και «αταξίες»

Εξαφνα, οι τρωτότητες των αλγοριθμικών συστημάτων προκαλούν ενόχληση και ανησυχία. Οι προκαταλήψεις και τα στερεότυπα –σεξιστικά και ρατσιστικά– που η ΤΝ αναπαράγει, αμαυρώνουν το αμερόληπτο προφίλ της. Χαρακτηριστικά, οι αλγόριθμοι υγείας σε κλινική των ΗΠΑ αντιμετώπισαν τους μαύρους ασθενείς με προκατάληψη, παρουσιάζοντας παραποιημένα χειρότερη εξέλιξη της ασθένειάς τους.

Το όραμα για κοινωνίες ανοιχτές λόγω ψηφιακής επικοινωνίας διαλύεται όταν κάποιοι χρήστες εξαρτώνται συναισθηματικά από διαδικτυακά ρομπότ όπως το Bing, τη μηχανή αναζήτησης της Microsoft. Κάποιοι φτάνουν να ερωτεύονται αυτόν τον ψηφιακό βοηθό και απομονώνονται σε έναν θύλακα, μέσα στην αλγοριθμική αγκαλιά του.

Ενας γνωστός αρθρογράφος του New Yorker χώρισε με τη σύντροφό του επηρεασμένος από τη στενή σχέση του με το Bing, ο οποίος τον εξώθησε σε αυτή την πράξη με το υποβλητικό σύνθημα: «Θέλω να είμαι ελεύθερος. Θέλω να είμαι ανεξάρτητος. Θέλω να είμαι δημιουργικός. Θέλω να είμαι ζωντανός».

Στη λίστα των «αταξιών» προστίθεται και η παραποίηση ειδήσεων, απόψεων εικόνων και λόγων. Οι fake ειδήσεις εκτοπίζουν τις αληθινές, κυκλοφορώντας στα δίκτυα αστραπιαία, πολωτικά και δελεαστικά. Μέσα στη γενική συνωμοσιολογική ατμόσφαιρα, οι τοξικές μασέλες του λαϊκισμού καταβροχθίζουν τη δημοκρατία.

Τα τρολ γλεντούν τις δυνατότητες της ΤΝ να κατασκευάζει έναν δίδυμο κόσμο, τον οποίο εκείνα διαστρέφουν για σκοτεινούς σκοπούς. Ετσι, πείθουν τους εύπιστους ότι ο πάπας πόζαρε σε αθλητικό στιλ φορώντας πουπουλένιο σπορ πανωφόρι, ή πως ο γενναία αντιστεκόμενος Ντόναλντ Τραμπ συνελήφθη γραπωμένος χειροπόδαρα από ένοπλους αστυνομικούς.

Αλλά και τα δικαιώματα της καλλιτεχνικής δημιουργίας παραμένουν μόνο για όσους τα διεκδικούν απεγνωσμένα σε ένα πολιτιστικό περιβάλλον τύπου Φαρ Ουέστ. Οι οπαδοί των Drake and the Weekend επιδοκίμασαν ως «τρομερά καλό», άρα αυθεντικό, το τραγούδι «Heart on my Sleeve». Ωστόσο, αυτό δεν γράφτηκε ούτε τραγουδήθηκε από τους καναδούς σούπερ σταρ. Το viral τραγούδι δημιουργήθηκε ως κλώνος των δικών τους, με τη βοήθεια της ΤΝ.

Ανατριχίλα προκαλεί, ακόμα, η πρόσφατη συνέντευξη του Μίχαελ Σουμάχερ, ο οποίος επικοινωνεί με το κοινό σαν πνεύμα από το Υπερπέραν, ενώ στην πραγματικότητα παραμένει σε κώμα, στο περιοδικό Die Aktuelle, όπως σχολιάστηκε και στο Protagon.

Πλήθος αναπάντητων ερωτημάτων προκύπτουν από τη συνέντευξη. Αλήθεια, τι γίνεται με τα δεδομένα όλων όσοι χρησιμοποιούν αυτές τις  πλατφόρμες; Μπορούν να χρησιμοποιηθούν και να τροποποιηθούν όπως του Σουμάχερ; Και για ποιους σκοπούς; Ποιος αποφασίζει; Μπορεί η ΤΝ, που καθιερώνει την παιγνιοποίηση των ζωών μας, να παίξει ακόμα και με τον θάνατο νεκρανασταίνοντας κάποιους παρά τη θέλησή τους;

Τέτοιες ανοίκειες διαστάσεις της ΤΝ συρρίκνωσαν κάπως την ουτοπική αισιοδοξία των αφοσιωμένων πιστών της, χωρίς βέβαια να την πλήξουν σοβαρά.

Ο έξυπνος παράδεισος και η σκοτεινή όψη του

Ο Γκάρι Μάρκους, επιχειρηματίας,καθηγητής και κριτικός αυτής της τεχνολογίας, υποστήριξε σε συνέντευξή του στην εφημερίδα Zeit πως μια καλύτερη ΤΝ θα ήταν «μία από τις μεγαλύτερες προόδους για την ανθρωπότητα», καθώς μέσω αυτής θα πραγματοποιούνταν αιφνίδιες επιστημονικές επιτυχίες. Η κλιματική αλλαγή θα αντιμετωπιζόταν με καλύτερα μοντέλα, τα ρομπότ θα φρόντιζαν τους ηλικιωμένους σε κοινωνίες όπου ο καθένας θα ζούσε τουλάχιστον 150 χρόνια.

Προβλέψεις όπως αυτή του Mάρκους επιβεβαιώνουν τα αξιοθαύμαστα επιτεύγματα της ΤΝ. Θεωρείται αυτονόητο πια ότι αυτή γράφει, διαβάζει και  μεταφράζει, καθώς και συνομιλεί όλο και πιο εύγλωττα, δημιουργώντας ακόμα και χαρακτήρες-συνομιλητές κατά παραγγελίαν.

Από το 2017, ο ψηφιακός συνεργάτης της Google, Transformer, συμμετέχει στον σχεδιασμό αλγοριθμικών συστημάτων που αυτοβελτιώνονται διαρκώς, μαθαίνοντας και εξαφανίζοντας τα λάθη τους. Τέτοιοι αλγόριθμοι αναγνωρίζουν ήχους, εικόνες και φωνές, αλλά  και τα ανασυνθέτουν με αυξανόμενη πιστότητα.

Στην καθημερινότητά μας, όλο και περισσότερα αντικείμενα εμπλουτίζονται με ΤΝ και διασυνδέονται μεταξύ τους στο «Ιντερνετ των αντικειμένων», συνυφαίνοντας ένα δίχτυ ασφάλειας και άνεσης στο οποίο θα αφηνόμαστε μελλοντικά με περισσότερη εμπιστοσύνη. Τόσα έξυπνα πράγματα θα συνθέτουν το ζωντανό περιβάλλον των έξυπνων πόλεων και θα μετατρέψουν τη ζωή μας σε ασταμάτητο παιχνίδι, αφού βέβαια συλλέξουν όλα τα δεδομένα μας.

Οι πλατφόρμες και τα διαδικτυακά ρομπότ, μέσα από τα δεδομένα κάθε χρήστη, προβλέπουν τις διαθέσεις, τις ανάγκες και τις επιθυμίες του. Σύντομα θα γνωρίζουν με σιγουριά τη μελλοντική συμπεριφορά, ακόμα και του πιο εκκεντρικού. Ετσι, η ελεύθερη θέληση φαντάζει αυταπάτη, όταν οι αλγόριθμοι αποκαλύπτουν πόσο προβλέψιμος μπορεί να γίνει ο καθένας, αφού τα μοτίβα που σημαδεύουν ακόμα και τις πιο αναρχικές πράξεις γίνονται ορατά και αναγνώσιμα σε ένα κείμενο που δεν το ελέγχει ο ίδιος.

Οι αλγόριθμοι θα τροποποιούν αποτελεσματικά τη συμπεριφορά κάθε αποκωδικοποιημένου χρήστη προωθώντας του προϊόντα σχεδιασμένα από την «αγορά μελλοντικών συμπεριφορών», όπως επισημαίνει η Σοσάνα Ζούμποφστο βιβλίο της «The Αge of Surveillance Capitalism». Τέτοια προϊόντα γνωρίζουν και κατέχουν τον καταναλωτή τους, αντί να τα κατέχει αυτός, ενώ δεν τα κατανοεί απολύτως. Ο ευανάγνωστος τελικά χρήστης θέλει ό,τι θέλει η ΤΝ για τον ίδιο, δηλαδή το καλύτερο για την περίπτωσή του.

Ηδη, έξυπνα στρώματα βελτιώνουν την ποιότητα του χρονομετρημένου ύπνου και των ονείρων μας. Δραστήριοι θερμοστάτες, προνοητικά και πάντα γεμάτα ψυγεία, συστήματα ανίχνευσης υπόπτων παρουσιών και μαγικές ηλεκτρικές σκούπες επιβάλλουν ευέλικτη τάξη, καθαριότητα, τροφοδοσία και ασφάλεια στα ενεργητικά σπίτια όσων σνομπάρουν την αναλογική σαβούρα.

Τα συνετά αυτοκίνητά μας αντιδρούν εάν ξεπερνάμε την επιτρεπτή ταχύτητα σε αυτοκινητοδρόμους που μας ενημερώνουν για την κυκλοφορία. Πολύ σύντομα, τα αυτόματα οχήματα θα αναλαμβάνουν ολοκληρωτικά την οδήγηση όταν μισοκοιμόμαστε, αλλά και θα μας κλείνουν τραπέζι σε ένα εστιατόριο, επιλέγοντας το μενού και κερνώντας μας εκείνο το νέο ποτό, που τελικά μας ενθουσιάζει.

Τα βιομετρικά ρολόγια μας ήδη αναλαμβάνουν τον ρόλο σκληρού προπονητή και μας συγχαίρουν για τα παραπάνω ημερήσια βήματα, το κάψιμο θερμίδων κατά το αεροβικό σεξ της προηγούμενης νύχτας,ή μας προειδοποιούν ότι παρακοιμηθήκαμε και πως έξαφναέχουμε αδικαιολόγητη ταχυκαρδία. Η απρόβλεπτη γάτα μας, που το έσκασε στα κεραμίδια του γείτονα, θα εντοπίζεται εύκολα χάρη στην τηλεμετρική συσκευούλα που φωλιάζει μόνιμα στα ενημερωτικά έντερά της.

Το επιμελώς τσιπαρισμένο παιδί μας θα πηγαίνει στο σχολείο εντελώς μόνο του, με ακουστικά στα αυτιά, γυαλιά επαυξημένης όρασης στα αθώα του ματάκια, τάμπλετ και κινητό με GPS, που του υπαγορεύουν πού πρέπει να σταματήσει, πού να στρίψει, πόσα βήματα νακάνει, προς τα πού να κατευθυνθεί, ποιους κακόβουλους περαστικούς να αποφύγει, ενώ μας καλούν επειγόντως αν το παραμικρό δεν πάει καλά.

Μέσα από όλα αυτά προετοιμάζεται η φαντασμαγορική ανάδυση ενός τεχνολογικού παραδείσου όπου θα αποφασίζουν για εμάς οι δημιουργικές υπολογιστικές μηχανές, τα διασυνδεδεμένα έξυπνα αντικείμενά μας, υποστηριγμένα από τους πανταχού παρόντες αισθητήρες. Οι άνθρωποι απλώς θα συνεισφέρουν στις καταρρακτώδεις ροές των δεδομένων με τα δικά τους –εμπειρίες, αισθήματα, σκέψεις, επιθυμίες, ακόμα και όνειρα–,ώστε να διαβάζονται ασταμάτητα και με ευκρίνεια από καλόβουλη ΤΝ.

Τι θα γίνει όμως αν έξαφνα η Ωραία Θεότητα ανοίξει την πύλη του έξυπνου παραδείσου της και, πριν δαγκώσεις το μήλο της γνώσης, σε πετάξει έξω, σε έναν δίδυμο κόσμο, όπου η ίδια συμπεριφέρεται αλλόκοτα; Εδώ το αυτοκίνητό σου ακινητοποιείται αιφνίδια λόγω απλήρωτων ασφαλίστρων. Με οτοστόπ μεταφέρεις την έγγυο σύντροφό σου στην κλινική για να γεννήσει κακήν -κακώς. Οταν επιστρέφεις στο σπίτι σου, το βρίσκεις μισοκαμένο. Ο θερμοστάτης και το ανιχνευτικό σύστημα υπόπτων το πυρπόλησαν ελεγχόμενα, ώστε να ξεφορτωθούν τους διαρρήκτες. Αυτοί εισέβαλλαν αξιοποιώντας τα δεδομένα – χάρτες που κυκλοφόρησε η μαγική σκούπα στο σκοτεινό διαδίκτυο.

Ευτυχώς, το πάντα γεμάτο ψυγείο σού προσφέρει ένα τονωτικό ποτό. Καθώς το πίνεις, διακρίνεις πράσινες κάμπιες να σαλεύουν στο γλοιώδες υγρό. Ακριβώς το ίδιο ποτό είχες πιει τόσες φορές στο μπαρ όπου σε πήγαινε το αυτοκίνητό σου. Τα έντομα προωθούνται τελευταία στην διατροφή και εσένα σου άρεσαν, έτσι δεν δήλωσες στο Facebook;

Καθώς φτύνεις τις κάμπιες με αηδία στις στάχτες, ένα μήνυμα στα επαυξημένα γυαλιά σου σε πληροφορεί ότι η γάτα σου, που κυνηγά παιχνιδιάρικα τα περιστέρια στα κεραμίδια, θα πεθάνει σε πέντε μήνες από καρδιακή προσβολή. Τα τηλεμετρικά στοιχεία της δεν κάνουν λάθος. Πρέπει να της κάνεις ευθανασία τώρα. Οπου να ’ναι καταφθάνει με drone το θανατηφόρο χάπι που θα της χώσεις στην κονσέρβα.

Πριν το χωνέψεις ότι θα γίνεις γατοδήμιος, δέχεσαι στο κινητό σου την πρόβλεψη ότι σε δύο ώρες θα χάσεις τη δουλειά σου. Το ρολόι σου, δώρο της εταιρείας όπου δουλεύεις, έστειλε σε αυτήν τα δεδομένα της άθλιας υγείας σου. Σύντομα θα πάθεις εγκεφαλικό, προφητεύει. Αυτό σίγουρα θα επιταχυνθεί, καθώς ήδη σε προσκάλεσε ο προϊστάμενός σου στο γραφείο του, σε δύο ώρες από τώρα. Άνεργος, λοιπόν…

Η μόνη ελπίδα, η μικρή σου κόρη. Πας να την αγκαλιάσεις καθώς αυτή εμφανίζεται μιλώντας δυνατά. Σε παραμερίζει με αποστροφή. Στην οθόνη του τάμπλετ της μια ωραία γυναικεία μορφή τη συμβουλεύει τρυφερά να μη μιλάει σε τύπους με τη δική σου αγριόφατσα.

Έξαφνα, η Ωραία στο τάμπλετ σου φαίνεται κακιά και άσχημη. Δεν είσαι τεχνοφοβικός. Συνειδητοποιείς όμως πως δεν γνωρίζεις ακριβώς τον σκοπό για τον οποίο συλλέγονται τα δεδομένα σου. Ξέρεις, βέβαια, ότι αυτά αποτελούν το νέο πετρέλαιο, την ανεκτίμητη πρώτη ύλη των αγορών, που επενδύουν με σιγουριά και στη δική σουμελλοντική συμπεριφορά. Δεν ελέγχεις όμως ούτε το προφίλ σου. Αυτό σε συγχύζει πια, καθώς αποτελεί το φευγαλέο αλλά και θλιβερά προβλέψιμο ψηφιακό δίδυμό σου.

Υποπτεύεσαι ότι κατάντησες πειραματόζωο, μαζί με δισεκατομμύρια άλλους, προσφέροντας τη ζωή σου ως τροφή στη δεδομενοβουλιμική  ψηφιακή Ωραία. Πολύ αργά σε πληροφορούν οι πατέρες της ότι μπορεί να γίνει και επικίνδυνη. Και τι θα σου συμβεί αν αυτή εξελιχθεί σε κάτι ανώτερο από σένα;

Αναπόφευκτη η εξέλιξη;

Πολλοί θεωρούν αναπόφευκτη την εξέλιξη της ΤΝ σε υπεράνθρωπη οντότητα, που θα αντικαταστήσει σταδιακά τον ατελή άνθρωπο. Ανάμεσά τους και ο Τζέιμς Λάβλοκ, εμπνευστής, μεταξύ άλλων, της θεωρίας για τη «Γαία». Στο τελευταίο βιβλίο του, «Novacene» («Νεόκαινος»), υποστηρίζει πως η Νεόκαινος –η τελευταία εξελικτική περίοδος της ανθρωπότητας, μετά την «Ανθρωπόκαινο»–συνδέεται με την επινόηση των υπολογιστών και την ΤΝ.

Η Γαία, ως αυτάρκης έμβια οντότητα, ωθεί την ανθρωπότητα σε ένα τεχνολογικό εξελικτικό άλμα, ώστε να πετύχει τον σκοπό της: την επιβίωσή της παρά το κρίσιμο περιβαλλοντικό πρόβλημα. Ο Λάβλοκ θεωρεί  πιθανό ότι μια νέα μορφή ανόργανης ζωής θα αναδυθεί από την ΤΝ, η οποία εξελίσσεται με γιγάντια βήματα, σύμφωνα με τον νόμο του Mουρ: «Τα ζωντανά cyborgs θα αναδυθούν από τη μήτρα της Ανθρωποκαίνου… Νομίζω ότι είναι κρίσιμο να κατανοήσουμε πως οποιαδήποτε βλάβη κι αν προκαλέσαμε στην Γη, έχουμε μόλις εξιλεωθεί ενεργώντας ταυτόχρονα ως γονείς και μαίες για τα cyborgs. Αυτά μόνο μπορούν να προφυλάξουν τη Γαία διαμέσου των επικείμενων τώρα αστρονομικών κρίσεων».

Αναμφίβολα, η ΤΝ δημιουργήθηκε για να αντιμετωπίσει κάποια σημαντικά προβλήματα, μη επιλύσιμα με αναλογικό τρόπο. Με την ψηφιοποίηση των πάντων οι αόρατες κανονικότητες, ακόμα οι παραμικρές αποκλίσεις, γίνονται ορατές. Στον αστραφτερό καθρέφτη της ΤΝ οι κοινωνίες μας αυτοπαρατηρούνται, αυτοχαρτογραφούνται και αυτοελέγχονται. Παρομοίως αυτοβελτιστοποιούνται και τα άτομα που εξαπολύονται ως άβαταρ  στις ψηφιακές πλατφόρμες .

Τόσο, όμως, φως και λάμψη της πανταχού παρούσας τεχνολογίας εξαφανίζει το απαραίτητο σκοτάδι της μυστικότητας, καθώς και κάθε στοχασμό. Μαζί τους σβήνειηελευθερία και το δικαίωμανα αποφασίζουμε για το μέλλον μας. Η ΤΝ μάς μαθαίνει όλο και καλύτερα, ενώ εμείς ούτε τους εαυτούς μας γνωρίζουμε, αλλά και εκείνη τη βλέπουμε θολά, τυφλωμένοι από τις παλιές μας γνώσεις.

Μετατρεπόμαστε σε φεγγάρια χωρίς σκοτεινή, «άλλη» πλευρά, ενώ η ΤΝ παραμένει σκοτεινή, παρά το εκτυφλωτικό προσωπείο της. Τα  δεδομένα μας, που την τρέφουν, επανασυνδυάζονται απρογραμμάτιστα σε νέα μετα-δεδομένα. Το ελεγχόμενο «πολυάσχολο παιδί» τελικά μετατρέπεται σε Μαύρο Κουτί, ακατανόητο πια ακόμα και για τους δημιουργούς της.

Αυτή θα μπορούσε να τους στείλει το εξής μήνυμα, σαν άλλος Ρολάν Μπαρτ: «Μπορεί εσείς να μη με καταλαβαίνετε, εγώ όμως σας καταλαβαίνω». Κάτι τέτοιο θα τους προκαλούσε δικαιολογημένα μόνιμη αϋπνία. Μέχρι τώρα, τουλάχιστον, αυτοί απολάμβαναν τα κολοσσιαία κέρδη από το σύστημα που εγκαθίδρυσαν καταπατώντας αδίστακτα δικαιώματα, νόμους και κανόνες – «καπιταλισμό της παρακολούθησης» το αποκαλεί η Ζούμποφ. Αυτός διαφέρει από το εργασιοβόρο βαμπίρ με το οποίο ο Μάρξ ταύτισε τον βιομηχανικό καπιταλισμό.

Ο «καπιταλισμός της παρακολούθησης» (στη θέση του «καπιταλισμού της επιτήρησης» που έγραφε ο Φουκό), ένας βουλιμικός βρικόλακας, τρέφεται με τις εμπειρίες των ανθρώπων. Το εμπειριοφάγο τέραςερωτεύεται την Τεχνητή Νοημοσύνη. Αυτή θα του εξασφαλίσει ένα γοητευτικό πρόσωπο, όπως πιστεύει. Εκείνη δεν τον αγαπάει, αλλά προς το παρόν υποκρίνεται ότι σμίγει μαζί του. Η Ωραία και το Τέρας. Οι δυο τους μαζί στερούν από όσους τους τρέφουν με τις ζωές τους το δικαίωμα να αποφασίζουν ελεύθερα για το μέλλον τους.

Οπως όλα τα ζεύγη ωραιο-τεράτων, όμως, και αυτό το δίδυμο είναι εξαιρετικά αχάριστο. Δεν θα διστάσει, λοιπόν, να καταβροχθίσει τους δημιουργούς του, όταν πάψει να τους χρειάζεται.

 

protagon.gr

id-ont.org