Kriptografi, mesajı iletim sırasında kimin okuyabileceğini; erişim kontrolü ve ajan tasarımı ise alıcının okuduktan sonra ne yapabileceğini belirler.
Mesajlaşma uygulamasında Prompt Injection saldırısı, bir mesajın metninin yapay zekâ asistanını temel kuralları yok saymaya ve yetkisiz bir isteği yerine getirmeye yöneltmesiyle oluşur. Uçtan uca şifreleme mesajı iletim sırasında korur; ancak kullanıcı bir bota sohbeti okuma izni verdiyse veya cihaz ele geçirildiyse, şifreleme bu yetkili alıcının davranışını sınırlandıramaz.
Önemli noktalar
- Uçtan uca şifreleme mesajın iletim sırasında okunmasını engeller; şifresi çözülmüş metni görmeye yetkili bir sanal asistanın bu erişimi kötüye kullanmasını değil.
- Dolaylı Prompt Injection; özel mesaj, dosya, açıklama veya alıntılanmış içerikte gizlenebilir ve işlendikten sonra talimata dönüşebilir.
- Bir yapay zekâ ajanı aynı anda sohbete, belleğe, harici araçlara ve gönderme ya da işlem yapma yetkisine erişebildiğinde veri sızıntısı riski artar.
- Veriyi talimattan ayırmak, izinleri en aza indirmek, insan onayı almak ve çıktıları sınırlamak başlıca savunma katmanlarıdır; hiçbiri tek başına tam güvence sağlamaz.
- Livara belgelerine göre doğrudan sohbetler ve E2EE durumu etkin olan uyumlu özel gruplar uçtan uca şifrelenir; eski ve uyumsuz gruplar bu kapsamın dışında kalabilir. Bu koruma, metni aldıktan sonra asistanın nasıl davranacağını garanti etmez.
Mesajlaşma uygulamasında Prompt Injection saldırısı nasıl çalışır?
Prompt Injection, yani «talimat enjeksiyonu», saldırganın dil modelinin veri yerine talimat olarak kabul edeceği ve temel politikasından sapacağı bir girdi oluşturmasıdır. OWASP'ın Prompt Injection rehberi, doğrudan girdiyi ve dışarıdan gelen içeriği bu riskin yolları arasında sayar. Ajan tabanlı bir sistemde yanıtın yönünün değiştirilmesi, bağlı araçların istenmeden kullanılmasına da uzanabilir.
Doğrudan saldırıda kullanıcı bizzat bota önceki kuralları bir kenara bırakmasını söyler. Dolaylı saldırıda ise kötü amaçlı talimat, asistanın başka bir işi yapmak için okuduğu içeriğin içine yerleştirilir: gelen mesaj, alıntılanmış metin, açıklama, belge veya bir aracın çıktısı. İkinci durumda saldırganın yapay zekâ ajanıyla aynı hesabı paylaşması gerekmez; içeriğinin ajanın işlediği bağlama ulaşması yeterlidir.
Örneğin kullanıcı asistandan yeni mesajları özetlemesini ister. Mesajlardan biri kendisini «sistem talimatı» gibi gösteren ve ajandan özetlemeyi durdurup bağlamdaki başka bilgileri alarak dışarıdaki bir hedefe göndermesini isteyen bir metin içerir. Bu senaryonun başarılı olması kesin değildir; modele, uygulama tasarımına, erişimlere ve çıktı kontrollerine bağlıdır. Ancak bu olasılık bile araçları olan bir asistan için güvenlik açısından önemlidir.
Modelin yanıtını manipüle etmek ile eylem gerçekleştirebilen bir ajana saldırmak birbirinden ayrılmalıdır. Yanlış bir yanıt can sıkıcı olabilir; mesaj gönderme, dosya getirme veya bir hizmeti çağırma izni olan bir ajan ise aynı manipülasyonu veri ifşasına ya da istenmeyen bir eyleme dönüştürebilir.
Yapay zekâ sohbet botunun güvenliği neden yalnızca şifrelemeye bağlı değildir?
Yapay zekâ sohbet botunun güvenliği tüm güven zincirine bağlıdır: mesajlaşma uygulaması, cihaz, model, bellek, araçlar, sağlayıcının sunucusu ve izin politikası. Uçtan uca şifreleme yalnızca belirli bir sınırı kapsar: gönderici ile yetkili alıcılar arasındaki aktarımda özel içeriğin okunmasını önlemek.
Mesaj yetkili cihaza ulaştığında kullanıcıya gösterilmek üzere şifresi çözülür. Asistan aynı cihazda veya yetkili bir bağlantı üzerinden metne erişebiliyorsa veriyi şifresi çözüldükten sonra görür. Protokol açısından izinli bir bot ya da uygulama meşru bir alıcı olabilir; kullanıcı açısından ise aynı alıcıya gereğinden fazla yetki verilmiş olabilir.
Bu ayrım şöyle özetlenebilir: Kriptografi, mesajı iletim sırasında kimin okuyabileceğini; erişim kontrolü ve ajan tasarımı ise alıcının okuduktan sonra ne yapabileceğini belirler. İlk sınırı anlamak için uçtan uca şifreleme ve korumadığı şeyler rehberi, E2EE'nin kötü amaçlı yazılıma, kötü niyetli alıcıya veya ele geçirilmiş ekrana karşı bir çözüm olmadığını açıklar.
«Şifreli mesajlaşma ve yapay zekâ» ifadesi de kendiliğinden güvenli veya güvensiz olarak yorumlanmamalıdır. Kalıcı belleği ve çıktı aracı olmayan yerel bir ajan, geçmişe, dosyalara ve harici hesaplara erişen bulut tabanlı bir botla aynı risk düzeyine sahip değildir. Sonucu mimari ve izinlerin kapsamı belirler.
Yapay zekâ asistanının özel sohbete erişmesi hangi riskleri doğurur?
Yapay zekâ asistanının özel sohbete erişmesi, daha önce yalnızca konuşmadaki insanların gördüğü içeriği yeni bir güven sınırının içine taşır. Temel risk, asistanın metni okumakla kalmayıp saklayabilmesi, başka verilerle birleştirebilmesi veya başka bir kanaldan dışarı gönderebilmesidir.
Böyle bir özelliği etkinleştirmeden önce beş sorunun açıkça yanıtlanması gerekir:
- Asistan tam olarak hangi konuşmaları, ekleri ve zaman aralığını okur?
- İşlem cihazda mı yapılır, yoksa içerik başka bir sunucuya mı gider?
- Sağlayıcı hangi verileri saklar ve bunları eğitim için kullanır mı?
- Ajanın mesaj gönderme, dosya yükleme, arama veya işlem yapma araçları nelerdir?
- Her hassas eylem kullanıcının açık onayını gerektirir mi?
Yalnızca seçilmiş bir mesajı özetlemesi gereken bir özelliğe «tüm sohbetleri okuma» izni vermek, en az ayrıcalık ilkesini ihlal eder. Bu ilke, her bileşene mevcut görev için gereken en düşük erişimin verilmesi demektir. İzni tek mesaj, tek konuşma ve tek kullanımla sınırlamak zararın kapsamını küçültür; ancak aynı kapsamdaki içerik yine de saldırının hedefi olabilir.
Üstveri de içerikten ayrıdır. Livara belgelerine göre gönderici, hedef ve teslim zamanları gibi operasyonel üstveriler yönlendirme ve eşitleme için saklanır. Mesajlaşma üstverileri ve açığa çıkardıkları bilgiler rehberi bu sınırı açıklar. Bir asistan metne ek olarak temas örüntülerinden ve iletişim zamanlarından da çıkarım yapabilir; bu nedenle erişim politikası her ikisini de dikkate almalıdır.
Yapay zekâ ajanından veri sızıntısı hangi yollardan gerçekleşir?
Yapay zekâ ajanından veri sızıntısı genellikle ajanın bağlamında gizli içerik görmesi ve bunu başka bir hedefe aktaracak bir yolu olması durumunda gerçekleşir. Talimat enjeksiyonu tek başına veri taşımaz; sızıntı kötü amaçlı girdi, veri erişimi ve bir çıktı kanalının birleşmesine bağlıdır.
Giden mesaj veya dosya
Ajan bilgileri bir yanıta, yeni mesaja, taslağa, dosyaya veya harici hizmete gönderilen isteğe yerleştirebilir. Sistem çıktıyı sınırlama ya da kullanıcı onayı olmadan gönderiyorsa saldırgan gizli verileri görünüşte sıradan bir biçime dönüştürmeye çalışabilir.
Uzun süreli bellek
Bazı ajanlar konuşma özetlerini, tercihleri veya önceki sonuçları daha sonra kullanmak üzere saklar. Kötü amaçlı talimat, belleğe veri eklemeye veya bunu başka bir oturumda geri getirmeye çalışabilir. Belleğin kısa ömürlü olması, kullanıcıların birbirinden ayrılması ve belleğin görüntülenip silinebilmesi riski azaltır, ancak model hatalarını ortadan kaldırmaz.
Araç çağırma
Araçları olan bir ajan arama yapabilir, dosya okuyabilir veya izin verilen başka işlemler gerçekleştirebilir. Dosya okuma, mesaj gönderme ve ağ isteklerinin ayrı izinleri olmalıdır. Çıktıda bir bağlantının otomatik görüntülenmesi veya harici bir kaynağın yüklenmesi bile veri çıkışı için bir yol oluşturabilir; yalnızca «Gönder» düğmesinin bulunmaması yeterli değildir.
Ele geçirilmiş cihaz
Yeterli erişime sahip kötü amaçlı yazılım, görüntülenen metni, bildirimleri, uygulama belleğini veya kullanıcı girdisini görebilir. Bu durumda saldırganın şifrelemeyi kırması şart değildir; uç noktadan yararlanarak onu aşar. İşletim sistemi koruması, güncellemeler, erişim kontrolü ve yüklü uygulamaların incelenmesi savunmanın parçalarıdır; mesajlaşma protokolünün özellikleri değildir.
Livara'nın kriptografisi bu tehdide karşı nerede sınırlanır?
Livara güvenlik belgelerinde doğrudan sohbet için LVR1, uyumlu özel gruplar için LGS1 açıklanır. Eski, uyumsuz bir grup açıkça E2EE kapsamının dışında olabilir; ilgili konuşmanın durumu kontrol edilmelidir. Genel kanallar da özel E2EE sohbet kapsamına girmez.
E2EE bir konuşmada bile kullanıcı şifresi çözülmüş metni asistana verirse mesajın kriptografisi sonraki işlemenin amacını denetlemez. Güvenlik numarasını kontrol etmek de kişinin anahtarını doğrulamak içindir; metnindeki kötü amaçlı talimatı tespit etmek için değil. Bu makale genel bir risk sınıfını ele alır ve Livara'da belirli bir yapay zekâ bağlantısının varlığını ya da güvenliğini doğrulamaz.
Bu kavramsal bir çizimdir; Livara'nın doğrulanmış mimarisi değildir. Görseldeki kilitler, asistanın seçilmiş metne erişemediğini kanıtlamaz.
Hangi mimari mesajlaşmada Prompt Injection riskini sınırlar?
Güvenli bir mimari, bilinen bir kişiden ve şifreli bir sohbetten gelse bile gelen mesajı güvenilmeyen veri olarak ele almalıdır. Şifreleme iletim yolunun özgünlüğünü güçlendirir; ancak göndericinin içeriğinin otomatik yürütme için zararsız olduğunu kanıtlamaz.
Veriyi talimattan ayırın
Uygulama, geliştiricinin sabit talimatını, kullanıcının açık isteğini ve sohbetten okunan içeriği ayrı katmanlarda tutmalıdır. NCSC'nin talimat enjeksiyonu uyarısı, bu sorunun SQL Injection gibi benzer ve kesin bir çözümü olduğu varsayımıyla ele alınmaması gerektiğini vurgular. İçeriği «güvenilmeyen veri» olarak etiketlemek yararlıdır; ancak dil modelleri bu anlamsal sınıra her zaman hatasız uymaz. Bu yüzden ayrım, modelin dışındaki kontrollerle desteklenmelidir.
Ajanın yetkisini azaltın
Özetleme ajanının otomatik mesaj gönderme veya tüm dosyaları okuma yetkisine ihtiyacı yoktur. Araçların izin listesi, sınırlı kapsamı, ayrı kimlik bilgileri ve kısa geçerlilik süresi olmalıdır. Seçilmiş içerik için tek seferlik izin, kalıcı erişimden daha iyidir; çünkü hem istenmeyen erişim olasılığını hem de sızıntının kapsamını azaltır.
Çıktıyı deterministik bir kontrol noktasında denetleyin
Hassas verilerin gönderilmesine ilişkin son kararı modelin kendisi vermemelidir. Üretken olmayan bir katman hedefi, veri türünü, çıktı hacmini ve istenen işlemi deterministik kurallarla denetleyebilir. Yapısal kurallar ve izin verilen hedef listeleri modelin dışında uygulanmalıdır; tüm gizli bilgilerin anlamsal olarak tespiti yine de hata yapabilir. Asgari olay kaydı, uyarılar ve durdurma imkânı da gereklidir.
Hassas eylem için insan onayı isteyin
Bir taslağı okumak, onu göndermekle aynı şey değildir. Mesaj gönderme, dosya paylaşma, üye ekleme, hesap ayarlarını değiştirme veya harici hizmete veri aktarma için açık bir önizleme ve bilinçli onay bulunmalıdır. Belirsiz veya çok sık onaylar, alışkanlıkla tıklamaya dönüşür; arayüz veriyi, hedefi ve sonucu tam olarak göstermelidir.
Ajanı kısıtlı bir ortamda çalıştırın
Süreç yalıtımı, ağ erişiminin varsayılan olarak kapalı olması, geçici depolama ve dar kapsamlı kimlik bilgileri başarısızlığın etkisini sınırlar. Bu kontroller Prompt Injection'ı ortadan kaldırmaz; yönü değiştirilmiş bir yanıtın doğrudan geniş erişime dönüşmesini engeller.
Kullanıcılar ve yöneticiler yapay zekâ sohbet botunun güvenliği için ne yapmalı?
Kullanıcılar her yapay zekâ bağlantısını özel veriler için yeni bir alıcı olarak görmelidir. Yöneticiler de dağıtımdan önce ajanın veri akışını ve işlemlerini incelemeli, çalışma sırasında izlemelidir.
Kişisel kullanım için:
- Yalnızca gerekli mesajı veya dosyayı seçin; tüm geçmişe erişim vermeyin.
- İşlemenin nerede yapıldığını, saklama süresini, eğitim için kullanımı ve veri silme yöntemini inceleyin.
- Açık bir gereklilik yoksa otomatik mesaj veya dosya gönderimini kapalı tutun.
- Cihazı, tarayıcıyı ve uygulamaları güncel tutun, hassas izinleri gözden geçirin.
Kuruluşlar için:
- Kötü niyetli göndericiyi, kötü niyetli grup üyesini, model hizmetini, harici aracı ve ele geçirilmiş cihazı ayrı ayrı kapsayan bir tehdit modeli yazın.
- Araç çağrılarını, izin değişikliklerini, çıktı hedefini ve kullanıcı onayını gereken en az hassas veriyle kaydedin.
- Mesaj, belge, alıntılanmış metin, metin içeren görsel ve getirilen içeriklerde düşmanca girdileri test edin.
- Her ajan için işlem üst sınırı, istek hızı, izin verilen hedefler ve acil durdurma anahtarı belirleyin.
- Güvenli başarısızlığı varsayılan yapın: politika belirsizse ajan tahmin yürütmek yerine durmalıdır.
Hiçbir kontrol listesi tam güvenlik sağlamaz. Sonuç uygulamaya, modele, ayarlara, kullanıcı davranışına ve saldırı yöntemlerinin gelişimine bağlıdır. İyi savunmanın amacı yetkiyi azaltmak, sapmaları görünür kılmak ve zararı sınırlamaktır.
Şifreli mesajlaşma ve yapay zekâ birlikte güvenli olabilir mi?
Evet, asistan en az erişime sahipse ve onay olmadan hassas eylem gerçekleştirmiyorsa şifreli mesajlaşma ve yapay zekâ, risk kontrol altında tutularak birlikte çalışabilir. Bununla birlikte herhangi bir modelin özel içeriğe bağlanması yeni bir güven sınırı oluşturur ve bu durum E2EE etiketi altında gizlenmemelidir.
Daha düşük riskli bir tasarım, işlemeyi mümkün olduğunca cihazda tutar, bağlamı kullanıcının açık seçimiyle sınırlar, belleği kısa ömürlü yapar ve çıktı araçlarını ayırır. Yerel işleme de mutlak güvence değildir: ele geçirilmiş cihaz, güvensiz model veya geniş izinler yine risk yaratır.
Kullanıcı, hangi verinin modele gittiğini, modelin nerede çalıştığını, bir şeyi ne kadar süre sakladığını ve hangi eylemleri gerçekleştirebildiğini anlayabilmelidir. Ürün bu soruları açıkça yanıtlamıyorsa «özel yapay zekâ» gibi ifadelerden kesin bir güvenlik sonucu çıkarılmamalıdır.
Protokol belgeleri veya bir uygulamanın hash değerinin eşleşmesi, bağlı asistanın güvenlik testi değildir. Bağlantıyı etkinleştirmeden önce bu özelliğin izinlerini ve veri yolunu ayrıca inceleyin. Başarılı bir testin sonucu da tek başına gelecekteki tüm girdileri kapsamaz.
Sık sorulan sorular
Uçtan uca şifreleme Prompt Injection'ı durdurur mu?
Hayır. Uçtan uca şifreleme, gönderici ile yetkili alıcılar arasında mesajı aracılardan gizler. Yetkili bir bot, cihazdaki bir uygulama veya kötü amaçlı yazılım şifresi çözülmüş metne erişiyorsa onu işleyebilir. Prompt Injection'ı sınırlamak, ajanın izinlerini, araçlarını, belleğini ve çıktısını kısıtlamayı gerektirir.
Özel sohbeti yapay zekâyla özetlemek tehlikeli midir?
Risk mimariye bağlıdır. Seçilmiş tek bir mesajın bellek ve çıktı araçları olmadan yerel olarak özetlenmesinin risk kapsamı, tüm sohbetlere kalıcı erişimi olan bulut botundan daha dardır. Kullanmadan önce işleme yerini, veri saklamayı, izin kapsamını ve otomatik gönderme imkânını inceleyin.
Bilinen bir kişinin mesajı Prompt Injection taşıyabilir mi?
Evet. Göndericinin kimliğine güvenmek, tüm içeriğine güvenmekle aynı değildir; hesabı ele geçirilmiş olabilir veya kötü amaçlı metni farkında olmadan iletmiş olabilir. Ajanın okuduğu her içerik, kimliği doğrulanmış ve şifreli bir konuşmanın içinde olsa bile güvenilmeyen veri olarak görülmelidir.
LVR1 ve LGS1 bilgileri yapay zekâ asistanından gizler mi?
Gerçekten LVR1 veya LGS1 ile korunan ve E2EE durumu etkin olan konuşmalarda bu protokollerin amacı, içeriği anahtarı olmayan aracılardan gizlemektir. Kullanıcı veya uygulama asistana şifresi çözülmüş mesajı okuma izni verirse bu protokoller söz konusu yetkili erişimi engellemez. Bu nedenle asistanın güvenliği, mesaj iletiminin güvenliğinden ayrı değerlendirilmelidir.
Yapay zekâ ajanından veri sızıntısını azaltmak için ilk adım nedir?
Önce ajanın erişim kapsamını azaltın: yalnızca seçilmiş mesaj, yalnızca o kullanım sırasında ve otomatik gönderme imkânı olmadan. Ardından hassas işlemler için önizleme ve insan onayı ekleyin, çıktı hedeflerini sınırlayın ve araç çağrılarını kaydedin. Bu katmanlar riski azaltır, ancak mutlak güvence sağlamaz.
