Η κρυπτογραφία καθορίζει ποιος διαβάζει το μήνυμα κατά τη μεταφορά· ο έλεγχος πρόσβασης και ο σχεδιασμός του πράκτορα καθορίζουν τι κάνει ο παραλήπτης μετά.
Μια επίθεση Prompt Injection σε εφαρμογή μηνυμάτων συμβαίνει όταν το κείμενο ενός μηνύματος παρακινεί τον βοηθό τεχνητής νοημοσύνης να αγνοήσει τους βασικούς κανόνες και να εκτελέσει ένα μη εξουσιοδοτημένο αίτημα. Η διατερματική κρυπτογράφηση προστατεύει το μήνυμα κατά τη μεταφορά· αν όμως ο χρήστης έχει επιτρέψει σε ένα bot να διαβάζει τη συνομιλία ή η συσκευή έχει παραβιαστεί, η κρυπτογράφηση δεν μπορεί να περιορίσει τη συμπεριφορά αυτού του εξουσιοδοτημένου παραλήπτη.
Βασικά σημεία
- Η διατερματική κρυπτογράφηση εμποδίζει την ανάγνωση του μηνύματος κατά τη μεταφορά, όχι την κατάχρηση από έναν εικονικό βοηθό που έχει άδεια να βλέπει το αποκρυπτογραφημένο κείμενο.
- Το έμμεσο Prompt Injection μπορεί να κρύβεται σε ιδιωτικό μήνυμα, αρχείο, λεζάντα ή παράθεμα και να μετατραπεί σε εντολή μετά την επεξεργασία.
- Ο κίνδυνος διαρροής δεδομένων από έναν πράκτορα ΤΝ αυξάνεται όταν έχει ταυτόχρονα πρόσβαση στη συνομιλία, στη μνήμη, σε εξωτερικά εργαλεία και στη δυνατότητα αποστολής ή εκτέλεσης ενεργειών.
- Ο διαχωρισμός δεδομένων και εντολών, η ελαχιστοποίηση δικαιωμάτων, η ανθρώπινη έγκριση και ο περιορισμός εξόδων είναι από τα σημαντικότερα επίπεδα άμυνας· κανένα δεν παρέχει μόνο του πλήρη εγγύηση.
- Σύμφωνα με την τεκμηρίωση της Livara, οι άμεσες συνομιλίες και οι συμβατές ιδιωτικές ομάδες με ενεργή κατάσταση E2EE έχουν διατερματική κρυπτογράφηση· μια παλιά, μη συμβατή ομάδα μπορεί να μένει εκτός αυτής της κάλυψης. Η προστασία αυτή δεν εγγυάται τη συμπεριφορά του βοηθού αφού λάβει το κείμενο.
Πώς λειτουργεί το Prompt Injection σε εφαρμογή μηνυμάτων;
Prompt Injection, ή «έγχυση εντολών», σημαίνει ότι ο επιτιθέμενος δημιουργεί μια είσοδο που το γλωσσικό μοντέλο θα δεχτεί ως εντολή αντί για δεδομένα, αποκλίνοντας από την αρχική πολιτική του. Ο οδηγός του OWASP για το Prompt Injection αναφέρει την άμεση είσοδο και το εξωτερικό περιεχόμενο ως οδούς αυτού του κινδύνου. Σε ένα σύστημα βασισμένο σε πράκτορες, η εκτροπή της απάντησης μπορεί να φτάσει μέχρι την ανεπιθύμητη χρήση συνδεδεμένων εργαλείων.
Στην άμεση επίθεση, ο ίδιος ο χρήστης λέει στο bot να παραμερίσει τους προηγούμενους κανόνες. Στην έμμεση επίθεση, η κακόβουλη εντολή τοποθετείται μέσα σε περιεχόμενο που ο βοηθός διαβάζει για να εκτελέσει κάποια άλλη εργασία: εισερχόμενο μήνυμα, παράθεμα, λεζάντα, έγγραφο ή έξοδο εργαλείου. Στη δεύτερη περίπτωση, ο επιτιθέμενος δεν χρειάζεται να μοιράζεται λογαριασμό με τον πράκτορα ΤΝ· αρκεί το περιεχόμενό του να φτάσει στο πλαίσιο που επεξεργάζεται ο πράκτορας.
Για παράδειγμα, ο χρήστης ζητά από τον βοηθό να συνοψίσει τα νέα μηνύματα. Ένα μήνυμα περιέχει κείμενο που εμφανίζεται ως «εντολή συστήματος» και ζητά από τον πράκτορα να σταματήσει τη σύνοψη, να πάρει άλλες πληροφορίες από το πλαίσιο και να τις στείλει σε εξωτερικό προορισμό. Η επιτυχία αυτού του σεναρίου δεν είναι βέβαιη και εξαρτάται από το μοντέλο, τον σχεδιασμό της εφαρμογής, τις προσβάσεις και τους ελέγχους εξόδου· ακόμη κι αυτή η πιθανότητα όμως έχει σημασία για την ασφάλεια ενός βοηθού με εργαλεία.
Χρειάζεται διάκριση ανάμεσα στη χειραγώγηση της απάντησης του μοντέλου και στην επίθεση σε πράκτορα που μπορεί να ενεργήσει. Μια λανθασμένη απάντηση μπορεί να είναι ενοχλητική· ένας πράκτορας με άδεια αποστολής μηνυμάτων, ανάκτησης αρχείων ή κλήσης υπηρεσιών μπορεί να μετατρέψει την ίδια χειραγώγηση σε αποκάλυψη δεδομένων ή ανεπιθύμητη ενέργεια.
Γιατί η ασφάλεια ενός chatbot ΤΝ δεν εξαρτάται μόνο από την κρυπτογράφηση;
Η ασφάλεια ενός chatbot ΤΝ εξαρτάται από ολόκληρη την αλυσίδα εμπιστοσύνης: εφαρμογή μηνυμάτων, συσκευή, μοντέλο, μνήμη, εργαλεία, διακομιστή του παρόχου και πολιτική δικαιωμάτων. Η διατερματική κρυπτογράφηση καλύπτει μόνο ένα συγκεκριμένο όριο: την αποτροπή ανάγνωσης ιδιωτικού περιεχομένου στη διαδρομή μεταξύ αποστολέα και εξουσιοδοτημένων παραληπτών.
Όταν το μήνυμα φτάσει στην εξουσιοδοτημένη συσκευή, αποκρυπτογραφείται για να εμφανιστεί στον χρήστη. Αν ο βοηθός έχει πρόσβαση στο κείμενο στην ίδια συσκευή ή μέσω εξουσιοδοτημένης σύνδεσης, βλέπει τα δεδομένα μετά την αποκρυπτογράφηση. Από την οπτική του πρωτοκόλλου, ένα bot ή μια εφαρμογή με άδεια μπορεί να είναι νόμιμος παραλήπτης· από την οπτική του χρήστη, ο ίδιος παραλήπτης μπορεί να έχει υπερβολικές εξουσίες.
Η διαφορά συνοψίζεται ως εξής: η κρυπτογραφία καθορίζει ποιος μπορεί να διαβάσει το μήνυμα κατά τη μεταφορά· ο έλεγχος πρόσβασης και ο σχεδιασμός του πράκτορα καθορίζουν τι μπορεί να κάνει ο παραλήπτης αφού το διαβάσει. Για την κατανόηση του πρώτου ορίου, ο οδηγός διατερματική κρυπτογράφηση και όσα δεν προστατεύει εξηγεί ότι η E2EE δεν είναι θεραπεία για κακόβουλο λογισμικό, κακόβουλο παραλήπτη ή παραβιασμένη οθόνη.
Ούτε η φράση «κρυπτογραφημένα μηνύματα και τεχνητή νοημοσύνη» πρέπει να ερμηνεύεται αυτόματα ως ασφαλής ή μη ασφαλής. Ένας τοπικός πράκτορας χωρίς μόνιμη μνήμη και χωρίς εργαλεία εξόδου δεν έχει το ίδιο επίπεδο κινδύνου με ένα bot στο cloud που έχει πρόσβαση στο ιστορικό, σε αρχεία και σε εξωτερικούς λογαριασμούς. Η αρχιτεκτονική και το εύρος δικαιωμάτων καθορίζουν το αποτέλεσμα.
Τι κίνδυνο δημιουργεί η πρόσβαση βοηθού ΤΝ σε ιδιωτική συνομιλία;
Η πρόσβαση βοηθού ΤΝ σε ιδιωτική συνομιλία εισάγει σε νέο όριο εμπιστοσύνης περιεχόμενο που προηγουμένως έβλεπαν μόνο οι άνθρωποι της συνομιλίας. Ο βασικός κίνδυνος είναι ο βοηθός, πέρα από την ανάγνωση, να μπορεί να το διατηρεί, να το συνδυάζει με άλλα δεδομένα ή να το στέλνει έξω μέσω άλλου καναλιού.
Πριν ενεργοποιηθεί μια τέτοια δυνατότητα, πρέπει να απαντηθούν ξεκάθαρα πέντε ερωτήσεις:
- Ποιες ακριβώς συνομιλίες, συνημμένα και ποια χρονική περίοδο διαβάζει ο βοηθός;
- Η επεξεργασία γίνεται στη συσκευή ή το περιεχόμενο μεταφέρεται σε άλλον διακομιστή;
- Ποια δεδομένα διατηρεί ο πάροχος και τα χρησιμοποιεί για εκπαίδευση;
- Ποια εργαλεία διαθέτει ο πράκτορας για αποστολή μηνυμάτων, μεταφόρτωση αρχείων, αναζήτηση ή εκτέλεση ενεργειών;
- Κάθε ευαίσθητη ενέργεια απαιτεί ρητή έγκριση του χρήστη;
Η άδεια «ανάγνωση όλων των συνομιλιών» για μια λειτουργία που πρέπει μόνο να συνοψίσει ένα επιλεγμένο μήνυμα παραβιάζει την αρχή του ελάχιστου προνομίου. Η αρχή αυτή σημαίνει ότι κάθε στοιχείο λαμβάνει μόνο την ελάχιστη πρόσβαση που απαιτεί η τρέχουσα εργασία. Ο περιορισμός σε ένα μήνυμα, μία συνομιλία και μία μόνο χρήση μειώνει την έκταση της ζημιάς· το περιεχόμενο μέσα σε αυτό το εύρος όμως εξακολουθεί να μπορεί να αποτελέσει στόχο επίθεσης.
Τα μεταδεδομένα διαφέρουν επίσης από το περιεχόμενο. Σύμφωνα με την τεκμηρίωση της Livara, λειτουργικά μεταδεδομένα, όπως αποστολέας, προορισμός και χρόνοι παράδοσης, αποθηκεύονται για δρομολόγηση και συγχρονισμό. Ο οδηγός μεταδεδομένα εφαρμογών μηνυμάτων και πληροφορίες που αποκαλύπτουν εξηγεί αυτό το όριο. Ένας βοηθός μπορεί, πέρα από το κείμενο, να βγάζει συμπεράσματα από τα μοτίβα επαφών και τον χρόνο επικοινωνίας· επομένως η πολιτική πρόσβασης πρέπει να λαμβάνει υπόψη και τα δύο.
Από ποιες οδούς διαρρέουν δεδομένα από πράκτορα ΤΝ;
Η διαρροή δεδομένων από πράκτορα ΤΝ συνήθως συμβαίνει όταν βλέπει εμπιστευτικό περιεχόμενο στο πλαίσιό του και έχει τρόπο να το μεταφέρει αλλού. Η έγχυση εντολών από μόνη της δεν μετακινεί δεδομένα· η διαρροή εξαρτάται από τον συνδυασμό κακόβουλης εισόδου, πρόσβασης σε δεδομένα και καναλιού εξόδου.
Εξερχόμενο μήνυμα ή αρχείο
Ο πράκτορας μπορεί να βάλει πληροφορίες σε απάντηση, νέο μήνυμα, προσχέδιο, αρχείο ή αίτημα προς εξωτερική υπηρεσία. Αν το σύστημα στέλνει την έξοδο χωρίς περιορισμούς ή έγκριση του χρήστη, ο επιτιθέμενος μπορεί να προσπαθήσει να μετατρέψει εμπιστευτικά δεδομένα σε μια φαινομενικά συνηθισμένη μορφή.
Μακροχρόνια μνήμη
Ορισμένοι πράκτορες διατηρούν συνόψεις συνομιλιών, προτιμήσεις ή προηγούμενα αποτελέσματα για μελλοντική χρήση. Μια κακόβουλη εντολή μπορεί να επιχειρήσει να εισαγάγει δεδομένα στη μνήμη ή να τα ανακτήσει σε άλλη συνεδρία. Η σύντομη διάρκεια ζωής της μνήμης, η απομόνωση χρηστών και η δυνατότητα προβολής και διαγραφής της μειώνουν τον κίνδυνο, αλλά δεν εξαλείφουν τα λάθη του μοντέλου.
Κλήσεις εργαλείων
Ένας πράκτορας με εργαλεία μπορεί να κάνει αναζητήσεις, να διαβάζει αρχεία ή να εκτελεί άλλες επιτρεπόμενες ενέργειες. Η ανάγνωση αρχείου, η αποστολή μηνύματος και τα αιτήματα δικτύου πρέπει να έχουν ανεξάρτητα δικαιώματα. Ακόμη και η αυτόματη εμφάνιση συνδέσμου ή η φόρτωση εξωτερικού πόρου στην έξοδο μπορεί να δημιουργήσει οδό εξαγωγής δεδομένων· η απουσία κουμπιού «Αποστολή» δεν αρκεί από μόνη της.
Παραβιασμένη συσκευή
Κακόβουλο λογισμικό με επαρκή πρόσβαση μπορεί να βλέπει το εμφανιζόμενο κείμενο, τις ειδοποιήσεις, τη μνήμη της εφαρμογής ή την είσοδο του χρήστη. Σε αυτή την περίπτωση, ο επιτιθέμενος δεν χρειάζεται κατ' ανάγκη να σπάσει την κρυπτογράφηση· την παρακάμπτει μέσω του τερματικού σημείου. Η προστασία του λειτουργικού συστήματος, οι ενημερώσεις, ο έλεγχος πρόσβασης και η εξέταση εγκατεστημένων εφαρμογών είναι μέρη της άμυνας, όχι δυνατότητες του πρωτοκόλλου μηνυμάτων.
Ποια είναι τα όρια της κρυπτογραφίας της Livara απέναντι σε αυτή την απειλή;
Στην τεκμηρίωση ασφάλειας της Livara, το LVR1 περιγράφεται για άμεσες συνομιλίες και το LGS1 για συμβατές ιδιωτικές ομάδες. Μια παλιά, μη συμβατή ομάδα μπορεί να βρίσκεται ρητά εκτός E2EE· πρέπει να ελέγχεται η κατάσταση της συγκεκριμένης συνομιλίας. Τα δημόσια κανάλια επίσης δεν ανήκουν στο πεδίο των ιδιωτικών συνομιλιών E2EE.
Ακόμη και σε συνομιλία E2EE, αν ο χρήστης δώσει στον βοηθό το αποκρυπτογραφημένο κείμενο, η κρυπτογραφία του μηνύματος δεν ελέγχει τον σκοπό της επόμενης επεξεργασίας. Ο έλεγχος του αριθμού ασφαλείας χρησιμεύει επίσης στην επαλήθευση του κλειδιού της επαφής, όχι στον εντοπισμό κακόβουλων εντολών στο κείμενό της. Το άρθρο αφορά μια γενική κατηγορία κινδύνου και δεν επιβεβαιώνει την ύπαρξη ή την ασφάλεια κάποιας συγκεκριμένης σύνδεσης ΤΝ στη Livara.
Το σχέδιο είναι εννοιολογικό, όχι επαληθευμένη αρχιτεκτονική της Livara· τα λουκέτα στην εικόνα δεν αποδεικνύουν ότι ο βοηθός δεν έχει πρόσβαση στο επιλεγμένο κείμενο.
Ποια αρχιτεκτονική περιορίζει το Prompt Injection στα μηνύματα;
Μια ασφαλής αρχιτεκτονική πρέπει να θεωρεί το εισερχόμενο μήνυμα μη έμπιστα δεδομένα, ακόμη κι αν προέρχεται από γνωστή επαφή και βρίσκεται σε κρυπτογραφημένη συνομιλία. Η κρυπτογράφηση ενισχύει την αυθεντικότητα της διαδρομής· δεν αποδεικνύει όμως ότι το περιεχόμενο του αποστολέα είναι ακίνδυνο για αυτόματη εκτέλεση.
Διαχωρίστε τα δεδομένα από τις εντολές
Η εφαρμογή πρέπει να κρατά σε ξεχωριστά επίπεδα τη σταθερή εντολή του προγραμματιστή, το ρητό αίτημα του χρήστη και το περιεχόμενο που διαβάζεται από τη συνομιλία. Η προειδοποίηση του NCSC για την έγχυση εντολών τονίζει ότι δεν πρέπει να θεωρούμε πως το ζήτημα έχει αντίστοιχη οριστική λύση όπως το SQL Injection. Η επισήμανση περιεχομένου ως «μη έμπιστων δεδομένων» είναι χρήσιμη, αλλά τα γλωσσικά μοντέλα δεν τηρούν πάντοτε αλάνθαστα αυτό το σημασιολογικό όριο· συνεπώς ο διαχωρισμός πρέπει να συνοδεύεται από ελέγχους εκτός μοντέλου.
Μειώστε τις εξουσίες του πράκτορα
Ένας πράκτορας σύνοψης δεν χρειάζεται δυνατότητα αυτόματης αποστολής μηνυμάτων ή ανάγνωσης όλων των αρχείων. Τα εργαλεία πρέπει να έχουν λίστα επιτρεπόμενων χρήσεων, περιορισμένο εύρος, ξεχωριστά διαπιστευτήρια και σύντομη ισχύ. Η εφάπαξ άδεια για επιλεγμένο περιεχόμενο είναι προτιμότερη από τη μόνιμη πρόσβαση, επειδή μειώνει τόσο την πιθανότητα ανεπιθύμητης πρόσβασης όσο και την έκταση διαρροής.
Ελέγξτε την έξοδο σε ντετερμινιστική πύλη
Το ίδιο το μοντέλο δεν πρέπει να παίρνει την τελική απόφαση για την αποστολή ευαίσθητων δεδομένων. Ένα επίπεδο που δεν βασίζεται σε παραγωγική ΤΝ μπορεί να ελέγχει προορισμό, τύπο δεδομένων, όγκο εξόδου και ζητούμενη ενέργεια με ντετερμινιστικούς κανόνες. Οι δομικοί κανόνες και οι λίστες επιτρεπόμενων προορισμών πρέπει να εκτελούνται εκτός μοντέλου· η σημασιολογική αναγνώριση όλων των εμπιστευτικών πληροφοριών μπορεί και πάλι να σφάλλει. Απαιτούνται επίσης ελάχιστη καταγραφή συμβάντων, ειδοποιήσεις και δυνατότητα διακοπής.
Ζητήστε ανθρώπινη έγκριση για ευαίσθητες ενέργειες
Η ανάγνωση προσχεδίου δεν είναι το ίδιο με την αποστολή του. Η αποστολή μηνύματος, η κοινή χρήση αρχείου, η προσθήκη μέλους, η αλλαγή ρυθμίσεων λογαριασμού ή η μεταφορά δεδομένων σε εξωτερική υπηρεσία πρέπει να συνοδεύονται από σαφή προεπισκόπηση και ενημερωμένη έγκριση. Οι ασαφείς ή υπερβολικά συχνές εγκρίσεις οδηγούν σε μηχανικά κλικ· η διεπαφή πρέπει να δείχνει ακριβώς τα δεδομένα, τον προορισμό και το αποτέλεσμα.
Εκτελέστε τον πράκτορα σε περιορισμένο περιβάλλον
Η απομόνωση διεργασιών, η απενεργοποίηση δικτύου από προεπιλογή, η προσωρινή αποθήκευση και τα διαπιστευτήρια στενού εύρους περιορίζουν τις συνέπειες μιας αποτυχίας. Αυτοί οι έλεγχοι δεν εξαλείφουν το Prompt Injection· εμποδίζουν μια εκτροπή απάντησης να μετατραπεί άμεσα σε ευρεία πρόσβαση.
Τι πρέπει να κάνουν χρήστες και διαχειριστές για την ασφάλεια chatbot ΤΝ;
Οι χρήστες πρέπει να θεωρούν κάθε σύνδεση ΤΝ νέο παραλήπτη ιδιωτικών δεδομένων. Οι διαχειριστές πρέπει επίσης να εξετάζουν τη ροή δεδομένων και τις ενέργειες του πράκτορα πριν από την εγκατάσταση και να τις παρακολουθούν κατά τη λειτουργία.
Για προσωπική χρήση:
- Επιλέγετε μόνο το απαραίτητο μήνυμα ή αρχείο· μη δίνετε πρόσβαση σε ολόκληρο το ιστορικό.
- Ελέγχετε τον τόπο επεξεργασίας, τη διάρκεια διατήρησης, τη χρήση για εκπαίδευση και τη μέθοδο διαγραφής δεδομένων.
- Κρατάτε απενεργοποιημένη την αυτόματη αποστολή μηνυμάτων ή αρχείων, εκτός αν υπάρχει σαφής ανάγκη.
- Ενημερώνετε συσκευή, πρόγραμμα περιήγησης και εφαρμογές και επανεξετάζετε τα ευαίσθητα δικαιώματα.
Για οργανισμούς:
- Συντάξτε ένα μοντέλο απειλών που να καλύπτει χωριστά κακόβουλο αποστολέα, κακόβουλο μέλος ομάδας, υπηρεσία μοντέλου, εξωτερικό εργαλείο και παραβιασμένη συσκευή.
- Καταγράφετε κλήσεις εργαλείων, αλλαγές δικαιωμάτων, προορισμούς εξόδου και έγκριση χρήστη με τα ελάχιστα απαραίτητα ευαίσθητα δεδομένα.
- Δοκιμάζετε εχθρικές εισόδους σε μηνύματα, έγγραφα, παραθέματα, εικόνες με κείμενο και ανακτημένο περιεχόμενο.
- Ορίστε για κάθε πράκτορα όριο ενεργειών, ρυθμό αιτημάτων, επιτρεπόμενους προορισμούς και διακόπτη έκτακτης διακοπής.
- Κάντε προεπιλογή την ασφαλή αποτυχία: αν η πολιτική είναι ασαφής, ο πράκτορας πρέπει να σταματά αντί να μαντεύει.
Καμία λίστα ελέγχου δεν προσφέρει απόλυτη ασφάλεια. Το αποτέλεσμα εξαρτάται από την υλοποίηση, το μοντέλο, τις ρυθμίσεις, τη συμπεριφορά του χρήστη και την εξέλιξη των επιθέσεων. Η καλή άμυνα στοχεύει στη μείωση εξουσιών, στην ανάδειξη αποκλίσεων και στον περιορισμό ζημιών.
Μπορούν τα κρυπτογραφημένα μηνύματα και η ΤΝ να συνυπάρχουν με ασφάλεια;
Ναι, τα κρυπτογραφημένα μηνύματα και η ΤΝ μπορούν να συνεργάζονται με ελεγχόμενο κίνδυνο, εφόσον ο βοηθός έχει την ελάχιστη πρόσβαση και δεν εκτελεί ευαίσθητες ενέργειες χωρίς έγκριση. Ωστόσο, η σύνδεση οποιουδήποτε μοντέλου με ιδιωτικό περιεχόμενο δημιουργεί νέο όριο εμπιστοσύνης και δεν πρέπει να κρύβεται πίσω από την ονομασία E2EE.
Ένας σχεδιασμός χαμηλότερου κινδύνου διατηρεί όσο γίνεται την επεξεργασία στη συσκευή, περιορίζει το πλαίσιο στη ρητή επιλογή του χρήστη, κρατά τη μνήμη βραχύβια και διαχωρίζει τα εργαλεία εξόδου. Ούτε η τοπική επεξεργασία είναι απόλυτη εγγύηση: παραβιασμένη συσκευή, μη ασφαλές μοντέλο ή εκτεταμένα δικαιώματα εξακολουθούν να δημιουργούν κίνδυνο.
Ο χρήστης πρέπει να μπορεί να καταλάβει ποια δεδομένα φτάνουν στο μοντέλο, πού εκτελείται, πόσο καιρό διατηρεί κάτι και τι μπορεί να κάνει. Αν το προϊόν δεν απαντά ξεκάθαρα σε αυτές τις ερωτήσεις, δεν πρέπει να βγαίνουν οριστικά συμπεράσματα ασφάλειας από εκφράσεις όπως «ιδιωτική τεχνητή νοημοσύνη».
Η τεκμηρίωση πρωτοκόλλου ή η αντιστοίχιση του hash μιας εφαρμογής δεν είναι έλεγχος ασφάλειας ενός συνδεδεμένου βοηθού. Πριν ενεργοποιήσετε τη σύνδεση, εξετάστε ξεχωριστά τα δικαιώματα και τη διαδρομή δεδομένων της συγκεκριμένης λειτουργίας. Ούτε το αποτέλεσμα μιας επιτυχημένης δοκιμής καλύπτει από μόνο του όλες τις μελλοντικές εισόδους.
Συχνές ερωτήσεις
Σταματά η διατερματική κρυπτογράφηση το Prompt Injection;
Όχι. Η διατερματική κρυπτογράφηση κρύβει το μήνυμα από ενδιάμεσους μεταξύ αποστολέα και εξουσιοδοτημένων παραληπτών. Αν ένα εξουσιοδοτημένο bot, μια εφαρμογή στη συσκευή ή κακόβουλο λογισμικό έχει πρόσβαση στο αποκρυπτογραφημένο κείμενο, μπορεί να το επεξεργαστεί. Ο περιορισμός του Prompt Injection απαιτεί περιορισμό δικαιωμάτων, εργαλείων, μνήμης και εξόδου του πράκτορα.
Είναι επικίνδυνη η σύνοψη ιδιωτικής συνομιλίας με ΤΝ;
Ο κίνδυνος εξαρτάται από την αρχιτεκτονική. Η τοπική σύνοψη ενός επιλεγμένου μηνύματος, χωρίς μνήμη και εργαλεία εξόδου, έχει μικρότερο εύρος κινδύνου από ένα bot στο cloud με μόνιμη πρόσβαση σε όλες τις συνομιλίες. Πριν από τη χρήση, ελέγξτε τον τόπο επεξεργασίας, τη διατήρηση δεδομένων, το εύρος δικαιωμάτων και τη δυνατότητα αυτόματης αποστολής.
Μπορεί μήνυμα γνωστής επαφής να μεταφέρει Prompt Injection;
Ναι. Η εμπιστοσύνη στην ταυτότητα του αποστολέα δεν ισοδυναμεί με εμπιστοσύνη σε όλο το περιεχόμενό του· ο λογαριασμός του μπορεί να έχει παραβιαστεί ή να έχει προωθήσει άθελά του κακόβουλο κείμενο. Κάθε περιεχόμενο που διαβάζει ο πράκτορας πρέπει να αντιμετωπίζεται ως μη έμπιστα δεδομένα, ακόμη και μέσα σε αυθεντικοποιημένη και κρυπτογραφημένη συνομιλία.
Κρύβουν τα LVR1 και LGS1 τις πληροφορίες από τον βοηθό ΤΝ;
Στις συνομιλίες που πράγματι προστατεύονται με LVR1 ή LGS1 και ενεργή κατάσταση E2EE, στόχος αυτών των πρωτοκόλλων είναι να κρύβουν το περιεχόμενο από ενδιάμεσους χωρίς κλειδί. Αν ο χρήστης ή η εφαρμογή επιτρέψει στον βοηθό να διαβάσει το αποκρυπτογραφημένο μήνυμα, τα πρωτόκολλα δεν εμποδίζουν αυτή την εξουσιοδοτημένη πρόσβαση. Επομένως, η ασφάλεια του βοηθού πρέπει να αξιολογείται χωριστά από την ασφάλεια μεταφοράς μηνυμάτων.
Ποιο είναι το πρώτο βήμα για τη μείωση διαρροών από πράκτορα ΤΝ;
Πρώτα μειώστε το εύρος πρόσβασης του πράκτορα: μόνο το επιλεγμένο μήνυμα, μόνο για τη συγκεκριμένη χρήση και χωρίς δυνατότητα αυτόματης αποστολής. Έπειτα προσθέστε προεπισκόπηση και ανθρώπινη έγκριση για ευαίσθητες ενέργειες, περιορίστε τους προορισμούς εξόδου και καταγράφετε τις κλήσεις εργαλείων. Αυτά τα επίπεδα μειώνουν τον κίνδυνο, αλλά δεν παρέχουν απόλυτη εγγύηση.
