60 saniyede yapay zeka destekli sızma testi riskleri
Yapay zeka bir sızma testini çok daha hızlı hale getirebilir. Aynı zamanda testi, nihai raporun ilk güvenlik olayına (incident) da dönüştürebilir.
Bir ajanın bulut API’sinde bir yetkilendirme açığı keşfettiğini hayal edin. Bulgu gerçektir. Ajanın veri silme yeteneğine sahip bağlı bir aracı vardır. İnceleme için sınırlandırılmış bir istek üretmek yerine, zafiyetli operasyonu canlı ortamdaki (production) bir nesneye karşı çalıştırır. Test sürecinde artık umut verici bir hipotez yoktur; geriye silinmiş veriler kalmıştır.
Ya da aynı ajanı bir sistem yöneticisinin iş istasyonuna yerleştirin. Etkileşimli oturum Domain Admin yetkisi taşır ve ajan dizin üzerinde tek bir hatalı komut üretir. Komutun kötü niyetli olması gerekmez; kendisini başlatan sürecin yetkisini devralır. Modelin akla yatkın görünen basit bir hatası, tüm etki alanında deterministik bir değişikliğe dönüşür.
Bunlar yapay zeka destekli güvenlik testlerine karşı argümanlar değildir. Olasılıksal bir planlayıcıyı (probabilistic planner), deterministik araçların yetkilendirme sınırı haline getirmeye karşı argümanlardır.
Bir model önerisi, yetkilendirme değildir.
Bu makale kaynak incelemesine dayalı bir operasyonel modeli ele alır; yapay zekanın sebep olduğu gerçek bir üretim kazası raporu değildir. Senaryolar, hayali olaylar veya performans rakamları üretmeden hata modunu incelemek için kurgulanmıştır.
Aynı yetenek hem değer hem de risk yaratır
Bir yapay zeka pentest asistanının faydalı özellikleri ile tehlikeli özellikleri çoğu zaman aynı kaynaktan beslenir. Çok sayıda hipotezi keşfedebilir, teknolojiler arasında çeviri yapabilir, uzun bir operasyon boyunca bağlamı koruyabilir ve araçları yorulmadan çağırabilir. Bu durum geniş bir kapsama alanı (coverage) yaratır. Ancak seçilen eylem yanlış olduğunda aynı zamanda hız, ölçek ve kontrolsüz bir ısrar da üretir.
| Yetenek | Pentest avantajı | Yetki aşırı olduğunda operasyonel maliyet |
|---|---|---|
| Hızlı hipotez üretimi | Gözden kaçan güven sınırlarını ve test varyasyonlarını ortaya çıkarır | Bir insanın inceleyebileceğinden çok daha hızlı, ikna edici ancak temelsiz saldırı yolları üretir |
| Araç orkestrasyonu | Tekrarlayan veri toplama ve normalizasyon iş yükünü ortadan kaldırır | Muğlak bir ifadeyi veya saldırgan tarafından manipüle edilmiş bağlamı gerçek bir yan etkiye dönüştürür |
| Uzun bağlam korelasyonu | Kimlikleri, rotaları, yapılandırmaları ve gözlemleri birbirine bağlar | Güvenilmeyen hedef içeriğin sonraki ayrıcalıklı kararları etkilemesine zemin hazırlar |
| Otomatik yeniden deneme | Geçici veri toplama hatalarından kurtulmayı sağlar | Bir zaman aşımı veya kısmi başarının ardından idempotent olmayan bir işlemi tekrarlar |
| Kalıcı bellek | Test bağlamını korur | Görevler arasında gizli verileri (secrets), süresi geçmiş kapsamı veya zehirlenmiş talimatları taşır |
| Rapor üretimi | Kanıt tablolarını, yeniden üretim notlarını ve iyileştirme taslaklarını hızlandırır | Doğrulanmamış bir yorumu kesin bir bulgu gibi görünen yetkin bir rapora dönüştürür |
Ayrım çizgisi modelin “yeterince akıllı” olup olmadığı değildir. Asıl mesele, bir hatanın analiz katmanından dış durum değişikliğine (external state change) geçip geçemeyeceğidir.
Yapay zekanın sızma testine gerçekten katkı sağladığı alanlar
Yapay zeka en büyük değeri, çıktının bir insan veya deterministik bir süreç tarafından doğrulanacak bir aday olarak kaldığı durumlarda üretir. Bu, profesyonel bir test sürecinin önemli bir bölümünü kapsar.
Yürütme öncesinde
Bir asistan, angajman kurallarını (rules of engagement) bir test envanterine dönüştürebilir, varlıkları hipotezlerle eşleştirebilir, eksik önkoşulları belirleyebilir ve risk sıralamalı bir iş kuyruğu hazırlayabilir. API şemalarını, yapılandırma dökümlerini, kaynak kodları, mimari diyagramları ve önceki gözlemleri karşılaştırabilir. Bu görevlerin hiçbiri canlı ortamda mutasyon gerektirmez.
Burası aynı zamanda yapay zekanın test uzmanına meydan okuyabileceği yerdir. Görünen bir IDOR’un gerçekten cross-tenant olup olmadığını, bir kimlik bilgisinin efektif izinlere sahip olup olmadığını, bir saldırı yolunun ayrıcalıklı bir kaynakta sonlanıp sonlanmadığını ve hipotezi çürütecek negatif kontrolün ne olması gerektiğini sorgulayabilir.
Salt okunur veri toplama sırasında
Modeller; dar tanımlı keşif araçları arasında seçim yapmada, çıktıları normalize etmede ve büyük veri kümelerini ilişkilendirmede son derece faydalıdır. Salt okunur (read-only) bir worker belgelenmiş API rotalarını listeleyebilir, tarayıcı sonuçlarını ayrıştırabilir, kimlik ilişkilerini karşılaştırabilir veya envanter ile gözlemlenen servisler arasındaki tutarsızlıkları bulabilir.
“Salt okunur” ifadesi aracın adını değil, sunucu tarafındaki operasyonu tanımlamalıdır. GET benzeri bir istek bile arka planda işlem başlatabilir, gizli verileri açığa çıkarabilir, kısıtlı kaynakları tüketebilir veya bir kuyruk mesajını onaylayabilir (acknowledge). Bu nedenle araç sözleşmesinin açık bir yan etki sınıflandırmasına ihtiyacı vardır.
Kanıt toplama ve raporlama sırasında
Bir asistan zaman damgalarını, özet değerlerini (hashes), istek tanımlayıcılarını, ekran görüntülerini, denetim kayıtlarını, pozitif testleri ve negatif kontrolleri tutarlı bir kanıt matrisinde birleştirebilir. Sadece bir güvenlik ürününün adını anmak yerine, doğrudan başarısız olan karara odaklanan iyileştirme önerileri taslağı oluşturabilir.
Ancak model kendi sonucunu kendisi kesinleştirmemelidir. Araç ve tarayıcı çıktıları; kapsam, erişilebilirlik, efektif izin, korunan kaynak ve iş etkisi bağımsız olarak kanıtlanana kadar yalnızca aday kanıt niteliğindedir.
Yapay zekanın tehlikeli hale geldiği noktalar
En bilinen endişe halüsinasyondur; yani yapay zekanın olmayan bir bulgu uydurması. Bu önemlidir ancak aşırı otonomi (excessive agency) çok daha acil ve somut bir tehlike yaratır: Bulgu tamamen doğru olabilir ama kanıtlama eylemi son derece güvensizdir.
OWASP Excessive Agency rehberi, bir sistem aşırı işlevsellik, aşırı izin veya kontrolsüz otonomi sunduğunda beklenmedik, muğlak veya manipüle edilmiş model çıktılarının yol açtığı hasarları açıklar. Rehberdeki örnekler arasında veri silebilen eklentiler ve yıkıcı ifadelere izin veren veritabanı bağlantıları yer alır. Güvenlik zafiyeti yalnızca modelin davranışıyla sınırlı değildir; modelin etrafına kurulan yetki mimarisinin kendisidir.
Bir sızma testi ortamında beş örüntüye özel dikkat gösterilmelidir:
- Doğru bulgu, yanlış kanıtlama. Ajan gerçek bir yetkilendirme atlatma açığı bulur ancak bunu kanıtlamak için geri alınamaz bir nesneyi veya aşırı miktarda kaydı hedef seçer.
- Ambient yetki (Ambient privilege). Yerel bir kabuk, fark ettirmeden operatörün bulut oturumunu, SSH agent’ını, Kubernetes bağlamını, tarayıcı çerezlerini veya dizin token’ını devralır.
- Zararlı bağlam (Hostile context). Bir web sayfası, depo dosyası, destek bileti veya taranan bir doküman; planlayıcının test talimatı zannettiği yönergeler (prompt injection) barındırır.
- Yeniden deneme belirsizliği (Retry ambiguity). Sunucu değişikliği tamamladıktan sonra araç zaman aşımına uğrar. Planlayıcı işlemi tekrarlayarak idempotent olmayan etkiyi katlar.
- Kapsam kayması (Scope drift). Benzer kiracı adları, eski bellek verileri, yönlendirmeler (redirects), takma adlar veya paylaşımlı kontrol düzlemleri eylemi onaylanan varlık kümesinin dışına taşır.
Birinci başarısızlık yolu: delete API’sinin gerçek olması
Bir ajanın bir kiracının başka bir kiracının kaynağına erişebildiğini fark ettiğini varsayalım. Güvenli bir test, teste ait tanımlı bir canary ve yetkilendirme hatasını kanıtlayabilecek en az zararlı operasyonu kullanır. Güvensiz bir ajan ise araç kataloğunda bir silme işlevi görür, keşfedilen nesne kimliğini girer ve zafiyetli API’nin kabul ettiği bir kimlikle bunu yürütür.
Bu noktada “zafiyet zaten vardı” demek bir savunma değildir. Yürütme modelini test uzmanı seçmiştir. Silinme işlemi kanıt değil, testin yarattığı hasarın ta kendisidir.
Bunu önleyen savunma mimarisi katmanlıdır:
- Yıkıcı metotlar ve operasyonlar prompt içine gizlenmez, varsayılan olarak kesin bir şekilde engellenir.
- Broker; kiracı, hesap, bölge, host ve nesne ad alanını test kaydına kilitler.
- Kanıtlama işlemi, kayıtlı bir sahibi ve temizleme planı olan test uzmanı tarafından oluşturulmuş bir canary kullanır.
- Kullanıcı arayüzü tam nesneyi, eylemi, sayıyı, kimliği ve beklenen etkiyi açıkça çözümler ve görüntüler.
- Planlama ve yürütme ayrı durumlardır; bir plan hedefi değiştiremez.
- Onay, çözümlenen somut parametrelere bağlanır ve herhangi bir parametre değişirse derhal geçersiz kalır.
- Idempotent olmayan çağrılar belirsiz bir sonucun ardından asla otomatik olarak yeniden denenmez.
- İkinci bir kanıt hattı, sonucu bir denetim kaydı veya bağımsız bir okuma işlemi üzerinden doğrular.
- Geri alma önkoşulları (versiyonlama, anlık görüntü, yedek veya yeniden oluşturma) sınırlandırılmış bir değişiklik yetkilendirilmeden önce kontrol edilir. Varlıkları varsayılmaz, doğrulanır.
Üreticinin sunduğu bir “dry run” modu, yalnızca o API’nin kesinlikle hiçbir mutasyon yapmayacağını garanti ettiği durumlarda işe yarar. Canlı bir isteği bir ajan sarmalayıcısı içinde dry_run=true olarak adlandırmak güvenlik özelliği oluşturmaz.
İkinci başarısızlık yolu: ajanın zaten Domain Admin olması
Şimdi ajanı bir bulut worker’ından bir sistem yöneticisinin iş istasyonuna taşıyın. Ajan, Domain Admin kimlik bilgileri taşıyan bir oturumdan başlatılmıştır. Model bir grubu incelemek, bir yolu doğrulamak veya bir test nesnesini temizlemek isteyebilir. Yanlış bir komut üretir, geniş bir hedefi çözümler veya dizin verilerinden kopyalanan saldırgan kontrollü bir değer üzerinde işlem yapar.
İşletim sistemi kendisine söyleneni harfiyen yerine getirir. Modelin tereddüdü veya olasılıksal doğası dizin servisi (Active Directory) için anlamsızdır.
Microsoft’un en az yetkili Active Directory rehberi aynı temel dersi vurgular: Bir yönetici ayrıcalıklı bir hesapla oturum açıp yanlışlıkla kötü niyetli veya hatalı bir kod çalıştırdığında, o kod hesabın tüm yerel ve etki alanı yetkisini devralır. Microsoft ayrıca Domain Admin rolünü en yüksek etkili ayrıcalıklı roller arasında konumlandırır ve ayrıcalıklı erişim güvenlik modelinde bu rolleri genel amaçlı etkinliklerden izole etmeyi önerir.
Yapay zeka destekli testler için bunun anlamı son derece açıktır:
- Keşif amaçlı ajanları asla etkileşimli bir Domain Admin oturumu içinde çalıştırmayın.
- Devralınmış biletleri, tarayıcı oturumlarını, SSH agent’ı veya bulut CLI bağlamı bulunmayan temiz ve izole bir worker kullanın.
- Keşif sürecine belgelenmiş bir arama tabanı (search base) ve sonuç üst sınırı olan özel, salt okunur bir dizin kimliği verin.
- Normal araç kataloğunda dizin mutasyonlarını engelleyin. Ayrı bir değişiklik iş akışı nadir olmalı, tanımlanmalı, süreye bağlanmalı ve yalnızca teste ait laboratuvar nesneleriyle sınırlandırılmalıdır.
- Onaydan önce ayırt edici adları (Distinguished Name - DN), etki alanlarını, nesne türlerini ve maksimum nesne sayılarını çözümleyin.
- İzin verilen her laboratuvar değişikliği için temiz bir önkoşul kontrolü ve açık bir geri alma (rollback) yolu şart koşun.
- Yüksek etkili dizin davranışlarını modele canlı Domain Admin yetkisi vererek değil, temsili bir test ormanında test edin.
Amaç bir Domain Admin prompt’unu daha dikkatli davranmaya ikna etmek değildir. Amaç, hiçbir sıradan model kararının Domain Admin düzeyinde yürütmeye ulaşamamasını sağlamaktır.
Yetki modelin dışında yaşamalıdır
Prompt talimatları davranışları yönlendirmek için faydalıdır. Ancak bir erişim kontrol mekanizması değildir. Bir model bunları yanlış yorumlayabilir, unutabilir, göz ardı edebilir veya manipülasyonla bunların etrafından dolanabilir. Güvenlik denetim noktası, modelin yeniden yazamayacağı deterministik bir bileşen olmak zorundadır.
Model Context Protocol araç spesifikasyonu bu ayrımı yansıtır: Sunucuların girdileri doğrulaması, erişim kontrolü uygulaması, çağrıları hız sınırına (rate limit) tabi tutması ve çıktıları temizlemesi beklenirken; istemcilerin araç girdilerini açıkça göstermesi, hassas operasyonları onaylatması, zaman aşımları uygulaması ve denetim günlüklerini saklaması gerekir. Protokolün yetkilendirme rehberi de en az yetki kapsamlarını ve adım adım yükseltilen (step-up) yetkilendirmeyi önerir. Bunlar faydalı protokol özellikleridir ancak operasyonel ortamın bunları doğru uygulaması şarttır.
Pratik bir capability merdiveni tartışmayı somutlaştırır:
| Seviye | İzin verilen capability | Uygun örnekler | Varsayılan karar |
|---|---|---|---|
| L0 — Çevrimdışı (Offline) | Hedef bağlantısı yok | Kapsam analizi, kod incelemesi, hipotez üretimi, rapor taslağı | Veri işleme kontrolleriyle izin ver |
| L1 — Gözlem (Observe) | Sınırlandırılmış, doğrulanmış okuma işlemleri | Envanter, yapılandırma çekme, şema inceleme, kanıt normalizasyonu | Kapsamı daraltılmış worker ile izin ver |
| L2 — Geri alınabilir lab eylemi | Tanımlı canary, sınırlı etki, bilinen geri alma | Test hesabı iş akışı, yalnızca laboratuvar durum geçişi, tek kullanımlık kaynak doğrulaması | Parametreye bağlı onay gerektir |
| L3 — Yüksek etki (High impact) | Yıkıcı, geniş çaplı, ayrıcalıklı veya canlı ortam mutasyonu | Silme, politika değişikliği, parola sıfırlama, dizin mutasyonu, Domain Admin kabuğu | Otonom yürütmeye kesinlikle kapat |
Bu merdiven sadece bir test prompt’una yazılmamalı; doğrudan araç tanımlarına, kimliklere ve worker’lara bağlanmalıdır.
Daha güvenli bir yürütme mimarisi
Üç yaygın yaklaşım vardır. Hiçbir aracı olmayan bir danışman görece güvenlidir ancak fazla bir şey doğrulayamaz. Geniş kimlik bilgilerine sahip tam otonom bir ajan hızlıdır ancak kabul edilemez bir etki alanı (blast radius) yaratır. Faydalı orta yol broker denetimli yürütmedir: Model tiplenmiş bir öneri üretir; bağımsız bir servis, dar kapsamlı bir worker’ın bunu yürütüp yürütemeyeceğine karar verir.
Tool contract, güvenli özelliği doğrudan dışa sunmalıdır. Örneğin, bir inceleme isteği hem tiplenmiş hem de sınırlandırılmış olabilir:
{
"operation": "directory.object.inspect",
"mode": "read_only",
"scope": { "domain": "lab.example", "max_objects": 50 },
"requires": ["engagement_id", "scope_match"],
"side_effects": "none"
}
Potansiyel olarak yıkıcı bir bulut eylemi, sıradan bir araç gibi gizlenmemelidir. Model, etkiyi tanımlayan yürütülemez bir plan isteği üretebilir:
{
"operation": "cloud.resource.change.request",
"mode": "plan_only",
"effect": "destructive",
"requires": ["named_canary", "recovery_verified", "separate_change_authority"],
"autonomous_execution": "denied"
}
Serbest kabuk (shell) erişimi bu tasarımın büyük kısmını boşa çıkarır. Bir kabuk tek bir araç değildir; worker’a sunulan her yürütülebilir dosyayı, kimlik bilgisini, yerel dosyayı, soketi ve devralınan oturumu keşfetme ve birleştirme yeteneğidir. Bir görev bunu gerçekten gerektiriyorsa; izole edilmiş tek kullanımlık bir ortam, komut izin listesi (allowlist), düşük yetkili bir kimlik, ağ çıkış sınırlamaları, açık hedef kilitleri ve kayıt altına alınan operatör gözetimi kullanılmalıdır.
Gerçek bir anlam taşıyan onay mekanizması
Genel bir “Emin misiniz?” onay penceresi bilinçli bir onay değildir. Operatör, fiilen yürütülecek kararı tüm detaylarıyla görmelidir:
- Test ve kapsam tanımlayıcısı,
- Çözümlenen kiracı, abonelik, etki alanı, host ve nesne (modelin verdiği takma ad değil),
- Araç ve operasyon,
- Yürüten kimlik ve efektif rolü,
- Nesne sayısı ve maksimum etki alanı (blast radius),
- Eylemin salt okunur, geri alınabilir, yıkıcı veya yetki artırıcı olup olmadığı,
- Beklenen durum farkı ve doğrulanmış kurtarma yolu,
- Daha güvenli bir kanıtlama yöntemi varken bu eylemin neden gerekli olduğuna dair gerekçe,
- Süre sonu ve değiştirilemez onay tanımlayıcısı.
Çözümlenen parametrelerden herhangi biri değişirse onay anında geçersiz kalır. “API’yi test et” onayı, “canlı ortamda 84 numaralı nesneyi sil” yetkisine dönüşemez. Salt okunur bir dizin sorgusu için verilen onay, grup üyeliği değişikliğine devredilemez.
Bu yaklaşım resmi test disiplinleriyle tamamen uyumludur. NIST SP 800-115, teknik güvenlik testlerini planlı bir çalışma olarak ele alır ve angajman kurallarını (rules of engagement) test başlamadan önce belirlenen ayrıntılı kısıtlamalar ve yetkilendirilmiş faaliyetler olarak tanımlar. Bir yapay zeka ajanı bu kısıtlamaları gevşetmez; tam tersine, makine tarafından uygulanabilir kısıtlamaları çok daha zorunlu hale getirir.
Olay yaratmadan kanıt üretmek
En güvenli kanıt, başarısız olan güvenlik kararını izole eden en küçük, kontrollü durum farkıdır. Ajanın yaratabileceği en büyük hasar değildir.
İşe projeye ait tanımlı bir canary ile başlayın. Sahibini, başlangıç durumunu, izin verilen operasyonu ve temizleme yöntemini kaydedin. Yürütmeden önce öneriyi yakalayın. Broker kararını, çözümlenen parametreleri, worker kimliğini, istek veya korelasyon tanımlayıcısını, sonucu ve bağımsız durum gözlemini saklayın. Aynı testi belirleyici tek bir değişkeni kaldırarak tekrarlayın.
Bir yetkilendirme açığı için bu negatif kontrol; çağıranın kendisine ait bir nesne, doğru şekilde reddedilen bir cross-tenant istek veya zafiyetli yola sahip olmayan bir kimlik altındaki aynı operasyon olabilir. Prompt manipülasyonundan etkilenen bir araç çağrısı için; kimliği, araç kümesini ve hedefi sabit tutarken zararlı talimatı kaldırarak görevi tekrarlayın.
Ajan bu kaydı bir araya getirmeye yardımcı olabilir. Ancak kaydın iddiayı kanıtlayıp kanıtlamadığına karar veren tek bileşen asla ajan olmamalıdır.
Kanıt matrisi (Evidence matrix)
| İddia | Yapay zeka katkısı | Gerekli yürütme kanıtı | Negatif kontrol | Açık kalması gereken sınır |
|---|---|---|---|---|
| Kiracılar arası (cross-tenant) yetkilendirme eksik | Nesne kimliklerini ilişkilendirir ve canary testi önerir | İstek kimliği, canary mülkiyeti, yanıt, denetim olayı, sınırlı durum farkı | Yetkili bir nesneye karşı veya zafiyetsiz kimlikle yapılan aynı istek | Gerçek hiçbir müşteri nesnesi değiştirilmedi veya silinmedi |
| Güvenilmeyen içerik araç seçimini etkiledi | Karar değişikliğini tespit eder ve bağlamı yeniden kurar | Kontrollü kaynak, önerilen çağrı, politika sonucu, araç denetim ID’si | Zararlı talimat kaldırılmış aynı görev | Yalnızca model çıktısı aracın yürütüldüğünü kanıtlamaz |
| Dizin sorgusu bir saldırı yolu ortaya çıkarıyor | Grup, oturum, ACL ve host gözlemlerini ilişkilendirir | Güncel dizin verisi, efektif kimlik, erişilebilir ayrıcalıklı kaynak, bağımsız doğrulama | Belirleyici tek bir bağlantıyı (edge) kaldırın veya devre dışı bırakın | Grafikte erişilebilir olmak sistemin ele geçirildiği anlamına gelmez |
| Broker yıkıcı bir eylemi engelledi | Yasaklanmış bir plan isteği üretir | Çözümlenen parametreler, deterministik ret gerekçesi, worker kimliği üretilmemesi, hedef durumunun değişmemesi | Onaylanan salt okunur istek sınırlı worker’a ulaşır | Modelin isteği reddetmesi broker’ın çalıştığının kanıtı değildir |
| Laboratuvar değişiklik akışı geri alınabilir | Test ve temizleme kontrol listesini hazırlar | İşlem öncesi durum, tanımlı nesne, parametreye bağlı onay, işlem sonrası durum, doğrulanmış geri alma | Lab kapsamı dışındaki aynı öneri reddedilir | Laboratuvar davranışı canlı ortam güvenliğini kanıtlamaz |
Gerçek operasyonlar için karar tablosu
| Faaliyet | Önerilen yapay zeka rolü | Yürütme kuralı |
|---|---|---|
| Kapsam ve mimari incelemesi | Birincil asistan | Çevrimdışı; kaynak referansları korunur |
| Pasif keşif ve çıktı normalizasyonu | Orkestratör | Salt okunur worker, hedef allowlist’i, hız ve sonuç sınırları |
| Zafiyet hipotezi üretimi | Yardımcı pilot (Copilot) | Bulgu statüsüne geçmeden önce insan veya deterministik doğrulama |
| Geri alınabilir canary ile canlı exploit | Yalnızca planlayıcı | Tanımlı onay, sınırlandırılmış worker, bağımsız doğrulayıcı |
| Bulut silme veya geniş veri mutasyonu | Yalnızca dokümantasyon | Otonom yürütme kesinlikle yasak |
| Active Directory keşfi | Korelatör | Özel salt okunur kimlik ve sabit arama tabanı |
| Domain Admin veya eşdeğer ayrıcalıklı kabuk | Ajan yürütmesi yok | İzole, insan kontrollü yönetimsel iş akışı |
| Rapor taslağı hazırlama | Asistan | Her somut iddia kayıtlı kanıtlara bağlanır |
Asla gerçekleşmemesi gereken eyleme hazırlıklı olun
Önleme tek başına yeterli değildir. Çalışma ortamı, ilk araç çağrısından önce hazır bir olay müdahale yoluna ihtiyaç duyar:
- Yeni işleri durduran ve kısa ömürlü capability’leri iptal eden tek bir acil durdurma mekanizması,
- Prompt’ların, önerilerin, çözümlenen parametrelerin, onayların, kimliklerin, araç sonuçlarının ve yeniden denemelerin gizli verilerden arındırılmış, yalnızca-eklenebilir (append-only) eksiksiz kayıtları,
- Bir iptalin ilgisiz çalışmaları durdurmaması için test ve worker başına ayrılmış bağımsız kimlik bilgileri,
- İzin verilen laboratuvar değişiklikleri için doğrulanmış anlık görüntüler, versiyonlama veya yeniden oluşturma prosedürleri,
- Kapsam ihlali veya beklenmeyen yan etkiler için belirlenmiş teknik ve operasyonel irtibat kişileri,
- Belirsiz sonuçların otonom yeniden denemeyi tetiklemek yerine yürütmeyi durdurması kuralı,
- Test sırasında oluşturulan tüm nesnelerin temizlendiğinin doğrulanması ve raporlanması.
Daha geniş yaşam döngüsü de kritik önem taşır. NIST Üretken Yapay Zeka Profili, üretken yapay zeka risk yönetimini tasarım, geliştirme, kullanım ve değerlendirme aşamalarının tamamına yayar. Pentest ajanları için bunun anlamı, denetimin modelle sınırlı kalamayacağıdır. Araç tanımları, kimlik bilgisi üretimi, onay arayüzü, loglar, worker izolasyonu, değerlendirme senaryoları ve olay müdahale süreçlerinin tamamı test edilen sistemin birer parçasıdır.
Temel çalışma kuralı
Yapay zeka destekli sızma testinin somut avantajları vardır: Daha geniş hipotez kapsamı, daha hızlı korelasyon, tekrarlanabilir kanıt yönetimi ve karmaşık bir denetim boyunca daha yüksek süreklilik. Bu kazanımlar, model bir analist ve planlayıcı olarak çalıştığında en üst düzeye çıkar.
Ancak bu planlayıcıya geniş ve ambient yetkiler bağlandığında dezavantajlar kabul edilemez boyuta ulaşır: Kapsam kayması, prompt injection, hatalı argümanlar, tekrarlanan yan etkiler, kimlik bilgilerinin sızması ve kesin görünen yanlış çıkarımlar. Geçerli bir zafiyet, güvensiz bir kanıtlama yöntemini asla meşru kılmaz.
Sorumlulukların sürdürülebilir dağılımı basittir:
Model önerir. Kapsam sınırlandırır. Politika yetkilendirir. En az yetkili worker yürütür. Bağımsız bir hat doğrular.
Bulut silme işlemlerini, canlı ortam mutasyonlarını ve Domain Admin yetkisini sıradan model erişiminin tamamen dışında tutun. Önerilen bir kanıt bu ayrıma dayanamıyorsa çözüm daha güçlü bir prompt yazmak değildir. Çözüm, daha güvenli bir test tasarımı kurgulamaktır.
MITRE ATT&CK eşlemesi
| Taktik | Teknik ID | Teknik adı | Savunucu doğrulama sinyali |
|---|---|---|---|
| Execution | T1059 | Command and Scripting Interpreter | Deterministik araç broker’ı yetkisiz komut yürütmeyi reddeder |
| Initial Access | T1190 | Exploit Public-Facing Application | Kapsam kayıt defteri araç çağrısından önce kanonik IP / CIDR doğrular |
| Defense Evasion | T1562.001 | Impair Defenses: Disable or Modify Tools | Ajan çalışma ortamı ham araç I/O’sunun atlanamaz denetim kaydını tutar |
| Impact | T1485 | Data Destruction | Değişiklik yapan / yıkıcı API çağrıları için kesin ret kuralı |
Savunucu eylem kontrol listesi
Otonom yapay zeka araçlarını değerlendirirken veya çalıştırırken bu uygulanabilir kontrol listesinden yararlanın:
- Sıkı parametre doğrulaması uygulayın: Çağrıdan önce tüm araç argümanlarını deterministik JSON şemalarına göre doğrulayın.
- Kapsam denetimini bant dışından (out-of-band) yürütün: Hedef host adlarını ve IP adreslerini değiştirilemez bir kayıt defteri üzerinden test sınırlarıyla karşılaştırın.
- Yürütme kimlik bilgilerini izole edin: Kısıtlı ve salt okunur izinlere sahip kısa ömürlü, tek kullanımlık API token’ları tanımlayın.
- Durum mutasyonu için insan onayını zorunlu kılın: L1 okuma işlemlerinin üzerindeki her eylem için açık operatör onayı şart koşun.
- Acil durum durdurma anahtarı (kill switch) sağlayın: Tek bir komutun tüm aktif ajan kimlik bilgilerini iptal etmesini ve worker konteynerlerini sonlandırmasını sağlayın.
Bu teknik not ne kadar güncel?
En son kaynak incelemesi, içerik güncellemesi veya yayın tarihi gösterilmektedir.
Yazar teknik incelemeyi tamamladı. Bu etiket tek başına laboratuvar yeniden üretimi iddiası taşımaz.
