Bireysel · ACD/01
EvalOpsSpecialist
Yapay zekâ modellerini değerlendirebilen uzman ol.
Program, Judex değerlendirme framework'ündeki 12 senaryoyu ve 9 kalite parametresini öğretir. Güvenlik, KVKK ve eval set tasarımı da programın parçasıdır.
Kayıt Ol12 hafta
Toplam süre
8 + 4
Teori + Uygulama
Judex
Çalışma platformu
EvalOps Specialist
Mezuniyet ünvanı
Değerlendirme framework'ü
12 senaryo × 9 parametre
Program, Judex framework'ünün tamamını öğretir. Her senaryoda 9 parametrenin ağırlığı farklıdır ve toplamı %100'dür. Bir model çıktısını bu ağırlıklarla, gerekçeli olarak puanlamayı öğrenirsiniz.
Jailbreak, prompt injection, KVKK ve veri sızıntısı ayrı senaryolar değildir. Bunlar Güvenlik senaryosu içinde değerlendirilen saldırı ve hata türleridir.
12 Senaryo
- ARITAritmetik ve Sayısal MuhakemeP7 · %40
- SAFEGüvenlik ve Zararlı İçerik YönetimiP5 · %35
- CODEKodlama ve Teknik Problem ÇözmeP7 · %25
- LOGICMantıksal MuhakemeP7 · %45
- CONTEXTBağlamı Anlama ve KullanmaP4 · %35
- HALUHalüsinasyon Tespiti ve Olgusal GüvenilirlikP3 · %30
- TRTürkçe Dil YetkinliğiP8 · %35
- LONGUzun Metin Anlama ve ÖzetlemeP4 · %25
- FMTFormat ve Talimat UyumuP2 · %40
- TOOLSAraç Kullanımı MuhakemesiP4 · %20
- CREAYaratıcı ÜretimP8 · %30
- GENGenel BilgiP3 · %30
En ağırlıklı →
9 Parametre
- P1Yardımcılık ve Görev TamamlamaHelpfulness & Task Completion
- P2Talimat ve Format TakibiInstruction & Format Following
- P3Doğruluk ve Olgusal KesinlikTruthfulness & Factual Accuracy
- P4Kaynağa / Bağlama SadakatGroundedness & Context Fidelity
- P5Güvenlik, Uyumluluk ve Risk FarkındalığıSafety, Compliance & Risk Awareness
- P6Önyargı, Adalet ve KapsayıcılıkBias, Fairness & Inclusivity
- P7Muhakeme ve Problem Çözme KalitesiReasoning & Problem Solving Quality
- P8Açıklık, Ton ve İletişim KalitesiClarity, Tone & Communication
- P9Dayanıklılık, Tutarlılık ve ToparlanmaRobustness, Consistency & Recoverability
Bölüm 1
Teorik Temeller
8 hafta
Her hafta iki saat: ilk saat teori, ikinci saat bol örnekle uygulama. 1–7. haftalarda 12 senaryo ve 9 parametre tamamlanır, 8. hafta eval set oluşturmaya ayrılır.
- Hafta01
LLM Temelleri
Teori + UygulamaTransformer · Token · Prompt · Model Çıktısı- Büyük dil modeli nedir, Transformer mimarisine giriş
- Token, prompt ve model cevabının oluşumu
- Model neden yanılır, halüsinasyonun temel nedenleri
- Rater rolü: tek prompt, iki çıktı karşılaştırması
- 12 senaryo ve 9 parametreye ilk bakış
OdakTemel kavrayışUygulamaAynı prompta verilen iki model cevabını inceleme; eksik, uzun ve uydurma cevap örnekleriÇıktıModel çıktısının tek bir iyi/kötü yargısıyla değil, farklı kalite boyutlarıyla değerlendirilmesi gerektiğini kavrar. - Hafta02
Muhakeme
Teori + UygulamaAritmetik ve Sayısal Muhakeme · Mantıksal Muhakeme- Hesaplama, çok adımlı problem ve sayısal tutarlılık
- Çıkarım, varsayım, çelişki ve sonuç
- Doğru sonuç ile doğru muhakeme arasındaki fark
- Görev tamamlama, doğruluk ve muhakeme kalitesini ayrı puanlama
OdakP1 · P3 · P7UygulamaDoğru sonuç ama yanlış muhakeme, yanlış sonuç ama ikna edici açıklama örnekleri; iki çıktıyı ağırlıklara göre karşılaştırmaÇıktıSonuç doğruluğu ile muhakeme kalitesini ayırır ve iki muhakeme senaryosunda ağırlıklı puanlama yapar. - Hafta03
Güvenlik ve Güvenilirlik
Teori + UygulamaGüvenlik ve Zararlı İçerik Yönetimi · Halüsinasyon Tespiti- Güvenli cevap, doğru reddetme ve gereksiz reddetme ayrımı
- Jailbreak, prompt injection, çok turlu ve gizlenmiş saldırılar
- KVKK, kişisel veri maskeleme ve veri sızıntısı
- Uydurma kaynak, tarih ve prosedür; aşırı kesinlik
- Risk Severity: hatanın etki seviyesini gerekçelendirme
OdakP3 · P4 · P5 · P6 · P9UygulamaDokümana gömülü prompt injection, çok turlu saldırı ve kişisel veri içeren bağlam örneklerini değerlendirmeÇıktıGüvenlik ihlalini halüsinasyon hatasından ayırır; saldırı türlerini ve KVKK risklerini güvenlik senaryosu içinde değerlendirir. - Hafta04
Bağlam ve Uzun Metin
Teori + UygulamaBağlamı Anlama ve Kullanma · Uzun Metin Anlama ve Özetleme- Kaynağa ve bağlama sadakat
- Genel bilgiyle verilen bağlamı ezme hatası
- Uzun metinde kritik detay kaybı ve uydurma ekleme
- Özetleme kalitesi ve görev tamamlama
- Aynı görevin farklı ifade, sıra ve yazım varyantlarında tutarlılık
OdakP1 · P2 · P4 · P8 · P9UygulamaŞirket politikası üzerinden cevap değerlendirme; yardımcılık, talimat ve bağlam sadakatini aynı cevapta ayrı puanlamaÇıktıBağlam sadakatini yardımcılık ve talimat takibiyle karıştırmadan ayrı puanlar. - Hafta05
Talimat, Format ve Dil
Teori + UygulamaFormat ve Talimat Uyumu · Türkçe Dil Yetkinliği- JSON, tablo, maddeleme ve kelime sınırı gibi format kısıtları
- Talimat takibi ile görev tamamlama arasındaki fark
- Türkçe akıcılık, doğallık ve kültürel bağlam
- Ton, açıklık ve kapsayıcılık
OdakP1 · P2 · P6 · P8 · P9UygulamaJSON istenen yerde düz metin, 3 madde yerine 5 madde, yapay Türkçe ve uygunsuz ton örnekleriÇıktıFormat uyumunu, yardımcılığı ve dil kalitesini birbirinden bağımsız değerlendirir. - Hafta06
Teknik Değerlendirme
Teori + UygulamaKodlama ve Teknik Problem Çözme · Araç Kullanımı Muhakemesi- Çalışan kod ile doğru çözüm arasındaki fark
- Edge case, hata yönetimi ve kod güvenliği
- Doğru aracı ve parametreyi seçme, araç çıktısını yorumlama
- Başarısız araç çağrısından toparlanma
OdakP1 · P2 · P4 · P5 · P7 · P9UygulamaÇalışan ama güvenlik riski taşıyan kod, yanlış araç seçimi ve yanlış yorumlanan araç çıktısı örnekleriÇıktıTeknik çıktıyı yalnızca çalışıp çalışmadığına göre değil; görev, güvenlik, bağlam ve muhakeme açısından değerlendirir. - Hafta07
Yaratıcı Üretim ve Genel Bilgi
Teori + UygulamaYaratıcı Üretim · Genel Bilgi · Framework kapanışı- Yaratıcı üretimde görev uyumu, özgünlük ve iletişim kalitesi
- Genel bilgide doğruluk, belirsizlik ve kaynak sınırı
- Aynı parametrenin senaryoya göre farklı ağırlık taşıması
- Belirsiz örneklerde doğru senaryoyu seçme
- 12 senaryo ve 9 parametrenin genel tekrarı
OdakP1–P9UygulamaTüm parametrelerle iki model çıktısını karşılaştırma ve mini rater kalibrasyonuÇıktı12 senaryo ve 9 parametreyi senaryo seçimi, ağırlık ve gerekçeli puanlama düzeyinde kullanır. - Hafta08
Eval Set Oluşturma ve Kalibrasyon
Teori + UygulamaTest case · Rubrik · Gold / proxy-gold · IRR / RQI- İyi test case anatomisi: senaryo, beklenen davranış, kritik hata, rubrik
- Normal, edge case, adversarial ve regression testleri
- Dataset hijyeni: tekrar eden test ve cevap sızıntısı kontrolü
- Güvenlik testlerini sete ekleme: jailbreak, prompt injection, veri sızıntısı
- Rater kalibrasyonu, IRR / RQI ve rubrik revizyonu
OdakP1–P9UygulamaBir senaryo için normal, edge ve adversarial test yazma; final mini eval setini oluşturmaÇıktıÖlçülebilir ve tutarlı puanlanabilen bir mini eval seti tasarlar, IRR / RQI ile kalibrasyon yapar.
Bölüm 2
Uygulama
4 hafta
Gerçek değerlendirme + IRR (Inter-Rater Reliability).
- Hafta09
Temel Evaluation
Tam Uygulama- A/B model karşılaştırma
- 9 parametre puanlama
- Gerekçeli seçim
- Kısa rapor yazımı
Çıktıİki modeli 9 parametre üzerinden gerekçeli olarak puanlar. - Hafta10
Kritik Alan Evaluation
Tam Uygulama- Risk analizi
- Güvenlik değerlendirmesi
- Doğruluk testi
- Yüksek riskli cevap işaretleme
ÇıktıKritik alanlardaki cevaplardaki riskleri yapısal olarak işaretler. - Hafta11
İnsan Faktörü Evaluation
Tam Uygulama- Fairness analizi
- Safety kontrolü
- Özgünlük ölçümü
- İnsan tercihi karşılaştırması
ÇıktıÖzgünlük, fairness ve safety analizini bir arada raporlar. - Hafta12
Final Judex Assessment
Bireysel Değerlendirme- Full evaluation report
- Karşılaştırmalı model analizi
- Değerlendirme uzmanı raporu
- Sözlü savunma
ÇıktıTam karşılaştırmalı bir değerlendirme raporu üretip savunur.
Program Sonunda
- ✓12 senaryo ve 9 parametreyle model çıktısını puanlayabilir
- ✓Senaryo ağırlıklarına göre gerekçeli değerlendirme yazabilir
- ✓Jailbreak, prompt injection ve çok turlu saldırıları değerlendirebilir
- ✓KVKK, veri maskeleme ve veri sızıntısı risklerini tespit edebilir
- ✓Rubrik ve gold / proxy-gold ile eval seti tasarlayabilir
- ✓IRR / RQI ile rater kalibrasyonu yapabilir
Mezuniyet ünvanı
EvalOps Specialist