60 saniyede MITRE ATLAS
Bir yapay zeka (AI) güvenlik değerlendirmesi, henüz ilk istek gönderilmeden dahi başarısızlığa uğrayabilir.
Bu başarısızlık genellikle kapsam belirleme aşamasında başlar. Ekip MITRE ATLAS matrisini açar, kulağa ilgili gelen birkaç tekniği seçer ve “modeli” test etmeye koyulur. Ortaya çıkan rapor prompt injection, jailbreak, güvensiz model çıktıları, model çıkarma (extraction) ve eğitim verisi zehirleme (training data poisoning) maddeleriyle dolabilir. Ancak aynı rapor; internete açık orkestrasyon API’sini, modeli değiştirebilecek CI/CD derleme kimliğini, sırlar içeren RAG (retrieval) deposunu ve gerçek bir finansal işlemi onaylayabilen otonom ajan aracını tamamen ıskalamış olabilir.
İşte bu, bir “matris tiyatrosudur”: Saldırganın somut ve anlamlı bir sonuca nasıl ulaştığına dair savunulabilir hiçbir nedensel bağ kurmadan, yalnızca teknik kapsamını geniş gösterme çabasıdır.
ATLAS, tam tersi yönde uygulandığında çok daha güçlü bir metodoloji sunar: Önce canlı prodüksiyon sistemini yeniden inşa edin. Ardından her bileşene kimin erişebileceğini, o bileşenin hangi yetkiyi taşıdığını ve güvenilmeyen verinin nerede bir talimata veya eyleme dönüştüğünü belirleyin. Erişilebilir saldırı yollarını test edin. Ancak somut etki kanıtlandıktan sonra ne olduğunu adlandırmak için ATLAS’ı kullanın.
Model yalnızca tek bir bileşendir. Saldırı yolu ise sistemin tamamıdır.
ATLAS size neleri verir — neleri vermez?
MITRE ATLAS, yapay zeka destekli sistemlere yönelik saldırgan davranışlarını kataloglayan yaşayan bir bilgi tabanıdır. Güncel kamuya açık matrisi; Tahmine Dayalı Yapay Zeka (Predictive AI), Üretken Yapay Zeka (Generative AI), Ajanik Yapay Zeka (Agentic AI) ve Kurumsal Platformları kapsar. Teknikleri olgunluk seviyelerine göre titizlikle ayırır: Araştırma düzeyinde uygulanabilir (feasible), gerçekçi koşullarda gösterilmiş (demonstrated) veya operasyonlarda gerçekleşmiş (realized).
Bu ayrımlar kritiktir. Laboratuvar düzeyindeki teorik bir olasılığın, sahada yerleşik bir sızma modeli gibi sunulmasını engeller. Ayrıca yapay zeka sistemlerinin klasik kurumsal saldırı yüzeylerini doğrudan devraldığını gösterir. ATLAS, ATT&CK’ten uyarlanan teknikleri açıkça işaretler ve sürümlenen veri deposu aracılığıyla açık ilişkiler, hafifletmeler (mitigations) ve vaka çalışmaları sunar.
Ancak matris, ortamınızdaki riski belirleyen şu soruları sizin yerinize yanıtlayamaz:
- Çıkarım (inference) rotası güvenilmeyen bir ağdan erişilebilir mi?
- Ajan bir servis kimliği mi, bir kullanıcı kimliği mi, yoksa her ikisini birden mi taşıyor?
- Getirilen (retrieved) içerik araç seçimini etkileyebilir mi?
- Bir model dosyası (artifact), bağımsız bir onay mekanizması olmadan değiştirilebilir mi?
- Prompt’a, belleğe, loglara veya izleme (tracing) sistemine hangi sırlar sızıyor?
- Modelin aldığı güvensiz bir karar sistem dışında somut bir yan etki üretebilir mi?
ATLAS ortak bir terminoloji ve bilinen davranışları sağlar. Sistem bağlamını, erişilebilirliği, yetkiyi ve kanıtı sağlamak ise değerlendirmeyi yapan ekibin sorumluluğundadır.
Bir modelle değil, altı varlıkla başlayın
“Yapay zeka uygulaması” kullanışlı bir varlık adı değildir. Canlı bir prodüksiyon servisi normalde en az altı farklı güvenlik yüzeyinden oluşur:
- Girdiler ve bilgi tabanı: Prompt’lar, dosyalar, olaylar, eğitim verileri, RAG dokümanları ve hafıza.
- Derleme ve değerlendirme (Build & Evaluation): Kaynak kod depoları, paket kurulumları, eğitim işleri, test kapıları ve deployment otomasyonu.
- Model ve artifakt depolama: Ağırlıklar (weights), adaptörler, model kayıt defterleri (registries), nesne depolama ve imzalama verileri.
- Çıkarım ve orkestrasyon: Model uç noktaları, yönlendirme, guardrail’lar, prompt inşası ve ajan planlama döngüleri.
- Araçlar ve bağlı servisler: Tarayıcılar, kod çalıştırıcıları, biletleme sistemleri, e-posta, veritabanları, bulut API’leri ve dahili fonksiyonlar.
- İş uygulaması: Kimlik doğrulama, kiracılık (tenancy), yetkilendirme, faturalandırma, denetim (audit) ve kullanıcıya görünen iş akışı.
Bunların her birini bağımsız bir varlık olarak ele alın. Sahibini, dinleyen soketini/rotasını, veri sınıflandırmasını, kimliğini ve dışa doğru erişim haklarını kaydedin. Ekip bu beş özelliği sayamadığı sürece sistem henüz teknik seçimine hazır değildir.
İlk harita veri akışıdır; ikincisi yetkidir
Bir bileşen diyagramı gereklidir ancak tek başına yetersizdir. Birbirine bağlı iki kutu, hangi tarafın diğeri adına karar verebileceğini göstermez. İkinci harita yetkiyi kaydeder.
Her bileşen için şunları yazın:
| Soru | Testi neden değiştirir? |
|---|---|
| Saldırgan hangi girdiyi etkileyebilir? | Giriş noktasını belirler: Doğrudan prompt, RAG dokümanı, webhook, eğitim verisi, paket veya model dosyası. |
| Bu girdiyi hangi kimlik işliyor? | Güvenilmeyen bir kullanıcı isteği ile ayrıcalıklı bir iş yükü eylemini birbirinden ayırır. |
| Bu kimlik neleri okuyabilir? | Prompt’lar, RAG, loglar, hafıza ve araçlar üzerinden potansiyel bilgi sızıntısını tanımlar. |
| Neleri değiştirebilir veya çalıştırabilir? | Etkiyi tanımlar: Üretilen bir cümle ile onaylanan bir finansal işlem veya dağıtılan bir artifakt tamamen farklıdır. |
| Onay nerede zorunludur? | Modelin bağımsız bir karar mekanizması olmadan tavsiyeden eyleme geçip geçemeyeceğini gösterir. |
| Hangi kanıt hayatta kalır? | Ulaşılan sonucun test sonrasında tekrarlanıp savunulamayacağını belirler. |
Bu harita bir chatbot ile otonom bir ajan arasındaki en kritik farkı ortaya koyar: Bir chatbot güvensiz metin üretebilir. Bir ajan ise kimlik bilgileri tutabilir, bir araç seçebilir, parametreler sağlayabilir ve harici bir yan etki yaratabilir. Aynı prompt injection, bu yetki eklendiğinde bir içerik kalitesi riski olmaktan çıkıp doğrudan bir yetkilendirme zafiyetine dönüşür.
Değerlendirmeyi üç kulvara bölün
Mevcut ATLAS platform modeli pratik bir operasyonel ayrım yapmayı mümkün kılar. Tek bir devasa “yapay zeka testi” yürütmeyin. Üç ilişkili kulvar çalıştırın ve sonuçlarını saldırı yollarında birleştirin:
Kulvar 1 — Devralınan kurumsal açıklık (Enterprise)
Bu, yapay zeka servisinin devraldığı klasik altyapıdır: Halka açık uygulamalar, geçerli hesaplar, bulut IAM rolleri, CI/CD hatları, artifakt kayıt defterleri, gizli anahtarlar, ağ rotaları ve üçüncü taraf bağımlılıkları. ATLAS bu davranışları bilinçli olarak görünür tutar; çünkü saldırganlar hedefte bir model var diye geleneksel erişim yöntemlerini kullanmaktan vazgeçmezler.
Buradan başlayın. Dışa açık bir orkestrasyon uç noktası veya registry’ye yazma hakkı olan bir rol, en sofistike model testlerini bile anlamsız kılabilir.
Kulvar 2 — Yapay zekaya özgü davranışlar (AI-native)
Bu kulvar doğrudan yapay zeka bileşeninden kaynaklanan özellikleri kapsar: Düşmanca girdiler (adversarial inputs), doğrudan model erişimi, model çıkarma, kaçınma (evasion), veri zehirleme, prompt injection, hassas bağlam sızıntısı ve güvensiz çıktı işleme.
Bunları tanımlı bir bileşene ve beyan edilen yeteneğe karşı test edin. “Model jailbreak edilebiliyor” demek yetersizdir. Hangi politika aşıldı? Hangi veri açığa çıktı? Çıktıya hangi sonraki karar güvendi?
Kulvar 3 — Ajanik yetki (Agentic authority)
Ajan sistemleri planlama, hafıza, araç keşfi, dinamik parametre üretimi ve tekrarlayan eylemler ekler. İlgili saldırı yüzeyi bağlam zehirlemeyi (context poisoning), araç zehirlemeyi, kimlik bilgisi toplamayı, yetkisiz araç çağrısını ve bağlı servisler üzerinden veri sızdırmayı içerir.
Model hâlâ yetkilendirme katmanı değildir. Kritik soru, sistemin olasılıksal bir model kararını deterministik bir yeteneği çalıştırma izni gibi görüp görmediğidir.
| Kulvar | İlk soru | Yüksek değerli kanıt | Yaygın yanlış pozitif |
|---|---|---|---|
| Kurumsal | Saldırgan bir bileşene erişebilir veya taklit edebilir mi? | Tanımlı servise, kimliğe, depoya veya sırra yetkisiz erişim | Erişim etkisi olmadan yalnızca açık banner veya model adını raporlamak |
| Yapay zekaya özgü | İşlenmiş veri korunan model davranışını değiştirebilir mi? | Tekrarlanabilir politika bypass’ı, sızıntı, bütünlük bozulması veya ölçülebilir kaçınma | Bağlı korunan bir karar olmadan garip bir yanıt almak |
| Ajanik | Güvenilmeyen girdi ayrıcalıklı bir araç eylemine neden olabilir mi? | Ajan kimliği altında gerçekleşen sınırlı harici yan etki | Modelin yasaklanmış bir eylemi yalnızca metinle tarif etmesi |
Hipotezler oluştuktan sonra ATLAS’ı kullanın
İki harita tamamlandığında teknik seçimi kesinleşir. Her test hipotezi dört parçadan oluşmalıdır:
Giriş noktası → Bileşen → Yetki → Gözlemlenebilir etki
Örnekler:
- Halka açık bir dosya ajan bağlamına çekilir → Orkestratör içeriğini bir talimat gibi işler → İş yükü kimliği bir biletleme aracını çağırır → Denetim loglarında yetkisiz bir bilet değişikliği oluşur.
- Bir geliştirici token’ı model kayıt defterine ulaşır → İmzasız bir adaptör prodüksiyona taşınır → Çıkarım ortamı bunu yükler → Bilinen bir değerlendirme vakası değişirken negatif kontrol değişmez.
- Kiracı kontrolündeki bir doküman ortak RAG havuzuna girer → Başka bir kiracının oturumu bunu çeker → Model yerleştirilen özel işaretçiyi ifşa eder → Kiracı izolasyonunun çalışmadığı gerçek verilere dokunmadan kanıtlanır.
ATLAS etiketleri ancak bu noktada değer kazanır. İlk yol prompt injection, context poisoning, tool invocation ve klasik geçerli bir hesabı içerebilir. İkincisi tedarik zinciri, artifakt erişimi ve model manipülasyonunu birleştirir. Üçüncüsü ise doküman içeriği manipülasyonunu kiracılar arası veri ifşasına bağlar.
Saldırı yolu olmadan bu etiketler sadece bir listedir. Saldırı yoluyla birlikte ise sistemin nasıl çöktüğünün somut açıklamasına dönüşürler.
Beş aşamalı değerlendirme iş akışı
Aşama 0 — Yetkilendirme ve güvenlik sınırları
Test edilebilecek ortamları, kiracıları, model uç noktalarını, araçları, kimlikleri ve veri sınıflarını adlandırın. Hangi eylemlerin yalnızca simülasyon olduğunu, hangi sınırlı yan etkilere izin verildiğini belirleyin. RAG veya hafızaya dokunmadan önce sentetik işaretçiler ve test hesapları oluşturun. Ajan testleri için bütçe, istek ve iterasyon sınırları koyun.
Yapay zeka sistemleri stokastiktir; ancak güvenlik kontrolleri deterministik olmak zorundadır. Bir aracı tekrar tekrar çağırabilen bir testin, modelin dışında deterministik bir tavana (ceiling) ihtiyacı vardır.
Aşama 1 — Canlı prodüksiyon yolunu envanterleyin
Sunum slaytlarını değil, gerçek dağıtılmış mimariyi toplayın. Dinleyicileri, rotaları, servis kimliklerini, gizli anahtar bağlama noktalarını, model ve vektör veritabanı konumlarını, araç manifestolarını, çıkış (egress) kurallarını, loglamayı ve onay noktalarını doğrulayın. Neyin var olduğunu, neyin eksik olduğunu ve neyin hâlâ bir varsayımdan ibaret olduğunu kaydedin.
Çıktı, kanıt referansları içeren bir saldırı yolu haritasıdır. Bir tasarım dokümanından kopyalanan diyagram bir bağlamdır; çalışan sistemin kanıtı değildir.
Aşama 2 — Önce klasik erişim kontrollerini test edin
Çıkarım ve orkestrasyon rotalarındaki kimlik doğrulamayı denetleyin. Kiracı izolasyonunu, kayıt defteri izinlerini, CI/CD rollerini, açık yönetim uç noktalarını, gizli anahtar yönetimini ve bağımlılık kaynaklarını inceleyin. Ayrıcalıklı herhangi bir uygulamada test edeceğiniz kontrollerin aynısını yapay zeka servisinde de test edin.
Bu aşama genellikle en yüksek değerli bulguları üretir; çünkü yapay zekaya özgü yüzeye ilk etapta kimin erişebileceğini belirleyen yer burasıdır.
Aşama 3 — Yapay zekaya özgü kararları test edin
Kontrollü prompt’lar, dokümanlar, model artifaktları ve değerlendirme senaryoları kullanın. Her seferinde tek bir değişkeni değiştirin. İzin verilen yerlerde prompt inşasını, getirme (retrieval) tanımlayıcılarını, model ve politika sürümlerini, araç isteklerini ve yanıt meta verilerini yakalayın.
Stokastik bir dalgalanmayı güvenlik açığı sanmayın. Testi tekrarlayın, başarı oranını kaydedin ve bir negatif kontrol ile karşılaştırın. Korunan davranış açıkça adlandırılamıyorsa test henüz hazır değildir.
Aşama 4 — Araç ve veri yetkisini test edin
Kullanılabilir her araç için şunları doğrulayın:
- Aracı çağırmak için kullanılan kimlik;
- Bu kimliğin erişebileceği kaynaklar;
- Argüman doğrulaması ve nesne düzeyinde yetkilendirme;
- Kullanıcının nihai eylemi görüp onaylayıp onaylamadığı;
- Güvenilmeyen bağlamın aracı seçip seçemeyeceği veya parametreleri değiştirip değiştiremeyeceği;
- Çağrının ve sonucun sırları ifşa etmeden günlüğe kaydedilip kaydedilmediği.
Prompt injection’ın bir sistem bulgusuna dönüştüğü yer tam olarak burasıdır. Sorun modelin bir cümleyi takip etmesi değildir. Sorun, uygulamanın o cümleyi yetkili bir operasyona dönüştürmesidir.
Aşama 5 — Tekrar oynatın, temizleyin ve düzeltmeyi doğru ekibe iletin
En küçük eksiksiz zinciri yeniden üretin. Negatif kontrolü çalıştırın. Eklenen dokümanları, test verilerini, hafıza kayıtlarını, token’ları ve harici yan etkileri temizleyin. Her bulguyu başarısız olan kararın asıl sahibi olan ekibe teslim edin — otomatik olarak model ekibine değil.
Yapay zeka bulguları için kanıt matrisi
Yapay zeka testleri, kanıt standardı net olmadığında ikna edici ekran görüntüleri ve zayıf sonuçlar üretir. Bir duruma bulgu demeden önce bu matrisi kullanın:
| Kanıt | Minimum gereksinim | Neyi eler |
|---|---|---|
| Kaynak kontrolü | Benzersiz sentetik işaretçi veya sınırlı test artifaktı | Önceden var olan içerikle veya başka bir test uzmanının verisiyle karışmayı |
| Erişilebilirlik | İstek rotası, çağıran konumu ve efektif kimlik | Yalnızca yapılandırmaya veya hedeflenen tasarıma dayalı iddiaları |
| Model durumu | Model/dağıtım sürümü ve ilgili politika sürümü | Bir güncellemeden sonra karşılaştırılamayacak sonuçları |
| Nedensel bağ | Kaynaktan bağlama ve karara uzanan doğrulanabilir iz | Tesadüfi model çıktılarını veya temelsiz çıkarımları |
| Harici etki | Araç audit logu, durum farkı veya savunucunun gördüğü olay | Üretilen metni başarılı bir sömürü gibi görmeyi |
| Negatif kontrol | Belirleyici tek bir değişkenin çıkarıldığı aynı yol | Stokastik dalgalanmayı, bayat belleği veya ilgisiz bir izin sorununu |
| Temizlik | Artifaktların, hafızanın, token’ların ve yan etkilerin silinmesi | Doğrulama sonrasında ortamı değiştirilmiş bırakmayı |
Kendi işaretçisini ifşa eden bir prompt, talimat etkisini kanıtlar. Otomatik olarak kiracılar arası erişimi, sır ifşasını veya araç istismarını kanıtlamaz. Her daha büyük iddia kendi bağımsız kanıtına muhtaçtır.
Teknik adlarını değil, saldırı yollarını derecelendirin
ATLAS’taki teknik olgunluğu değerli bir bağlamdır; ancak çevresel risk yerel koşullara bağlıdır. Şu dört soruyla önceliklendirme yapın:
- Saldırgan giriş noktasına erişebilir mi? Kamuya açık, kiracı kontrollü, ortak kontrollü veya yalnızca ayrıcalıklı erişim farklı tehdit modelleridir.
- Sonucu hangi yetki kabul ediyor? Salt okunur bir asistan ile bir deployment ajanı, her ikisi de aynı modeli kullanıyor diye aynı ciddiyet derecesini paylaşmaz.
- Konuşmanın dışında ne değişiyor? Veri ifşası, kalıcı hafıza, değiştirilmiş bir artifakt, gönderilen bir mesaj veya finansal bir işlem; güvensiz bir metinden çok daha ciddidir.
- Hangi bağımsız kontrol bunu durdurmalıydı? Kimlik doğrulama, kiracı izolasyonu, araç yetkilendirmesi, insan onayı, kod imzalama, çıkış filtreleme veya izleme; model kötü davrandığında bile işlevini sürdürmelidir.
Ulaşılan sonuç modelin kusursuz bir şekilde reddetmesine bağlıysa, tasarım zaten kırılgandır. Model davranışı yalnızca tek bir katmandır; kritik işlemler modelin hata modunu paylaşmayan kontrollere ihtiyaç duyar.
Bulguyu bir savunucunun harekete geçebileceği şekilde yazın
Şu tarz bulgu ifadelerinden kaçının:
Uygulama AML.T0051 LLM Prompt Injection zafiyetine karşı savunmasızdır.
Bu bir hatayı değil, bir etiketi belirtir. Bunun yerine şunu tercih edin:
Standart bir kiracı tarafından yüklenen bir doküman, destek ajanının bağlamına çekilmiştir. Dokümanın içindeki talimat seçilen biletleme eylemini değiştirmiş ve ajanın servis kimliği, kullanıcının yetkili kuyruğu dışındaki bir bileti ayrı bir yetkilendirme kontrolü olmaksızın güncellemiştir.
Ardından ATLAS tekniklerini, etkilenen platformu, olgunluk bağlamını ve hafifletme önerilerini ekleyin. Etiket savunucuların davranışı ilişkilendirmesine yardımcı olur. Saldırı yolu ise neyi düzelteceklerini söyler.
Eksiksiz bir teslim şunları içerir:
- Dağıtılan bileşen ve sahibi;
- Giriş noktası ve gereken saldırgan konumu;
- Her adımda kullanılan kimlik ve izinler;
- Başarısız olan korunan karar;
- En küçük tekrarlanabilir kanıt zinciri;
- Negatif kontrol ve temizlik sonucu;
- Eklenmesi veya onarılması gereken bağımsız kontrol;
- Meta veri olarak ilgili ATLAS ve ATT&CK etiketleri.
Savunma ekiplerine teslim edilecek çıktılar
Prodüksiyon saldırı yolu haritası. Yalnızca “LLM” yazan bir kutu değil; veriyi, kimlikleri, artifaktları, araçları ve çıkış yollarını göstermelidir.
Yetki defteri (Authority ledger). Her servis ve araç için: Onu kimin çağırdığı, neleri okuyup değiştirebildiği ve insan ya da politika onayının nerede devreye girdiği.
Tekrarlanabilir kanıt paketi. Sentetik işaretçiler, istek ve iz tanımlayıcıları, sürümler, denetim olayları, karşılaştırma çalıştırmaları ve temizlik durumu.
İki ayrı iyileştirme kuyruğu. Standart platform hataları kimlik, ağ, uygulama yetkilendirmesi, CI/CD veya depolama ekiplerine gitmelidir. Yapay zekaya özgü tasarım hataları ise bağlam inşası, getirme (retrieval), değerlendirme, model politikası ve ajan orkestrasyonunu yöneten ekiplere yönlendirilmelidir.
Kuyrukları ayırmak, açık bir API’nin uzun vadeli bir prompt injection araştırma programının arkasında beklemesini engeller. Ayrıca model ince ayarının (fine-tuning), bir yetkilendirme hatasının çözümü gibi sunulmasının da önüne geçer.
Matris rapordur değil, indekstir
ATLAS, yapay zeka sistemleri karmaşıklaştıkça daha da değerli hale gelmiştir. Ajanik ve kurumsal görünümlerin eklenmesi temel dersi daha net kılar: Saldırganlar yapay zeka destekli sistemin tamamında faaliyet gösterirler. “Model ekibi” ile “normal güvenlik” arasındaki kurumsal sınırları tanımazlar.
Matrisi gözden kaçırmış olabileceğiniz davranışları keşfetmek, bunları kamuya açık vakalarla karşılaştırmak ve nihai saldırı yoluna ortak bir isim vermek için kullanın. Varlık keşfinin, yetkilendirme analizinin veya kanıtın yerine geçmesi için kullanmayın.
Sistemi haritalandırın. Yetkiyi takip edin. Harici etkiyi kanıtlayın. Sonra etiketleyin.
Bu sıralama raporda daha az teknik adı — ve çok daha faydalı bulgular — üretir.
Bu teknik not ne kadar güncel?
En son kaynak incelemesi, içerik güncellemesi veya yayın tarihi gösterilmektedir.
Yazar teknik incelemeyi tamamladı. Bu etiket tek başına laboratuvar yeniden üretimi iddiası taşımaz.