Video Analitik Doğruluğu Sahada Nasıl Test Edilir? Kabul Testi Senaryoları, Yanlış ve Kaçırılan Alarm Sayımı

Video analitik doğruluğu nedir ve neden sahada ölçülür?

Video analitik doğruluğu, kameradaki yapay zekâ kuralının (kişi algılama, hat ihlali, bölgeye giriş gibi) gerçek olayları ne sıklıkla doğru yakaladığı ve gerçek olmayan durumlarda ne sıklıkla boşuna alarm verdiğidir. Tek bir yüzdeyle anlatılamaz; en az iki ayrı sayı gerekir: alarmların ne kadarının gerçek olduğu ve gerçek olayların ne kadarının yakalandığı.

Sahada ölçmek gerekir, çünkü analitik; ışık, mesafe, kamera yüksekliği, arka plan ve hava durumuna göre farklı davranır. Aynı model bir otopark girişinde iyi sonuç verirken, ağaçlı ve yansımalı bir bahçede çok yanlış alarm üretebilir. Yanlış alarmın tipik nedenleri için video analitikte yanlış alarm nedenleri yazısına bakın; burada nedenleri tekrar etmeden, doğruluğun nasıl sayıya dökülüp kayda geçirileceğini anlatıyoruz.

Bu yöntem genel devreye alma işinin yerini tutmaz. Kablo, kayıt süresi, saat ve yetki kontrolleri için kamera sistemi devreye alma ve kabul testi kontrol listesi kullanılır; analitik ölçümü onun üzerine eklenen ayrı bir bölümdür. Video gözetim sistemlerinin uygulama kılavuzu olan IEC 62676-4 de devreye alma ve kabul aşamasının planlı ve kayıtlı yürütülmesini öngören bir çerçeve sunar; ayrıntılı madde için standardın güncel sürümüne bakın.

Üç sayaç: doğru alarm, yanlış alarm ve kaçırılan olay

Ölçümün tamamı üç sayaca dayanır ve her olay yalnızca birine yazılır. Sayaçları baştan sabit tanımlamak, sonradan 'şu alarmı saymayalım' tartışmasını önler.

• Doğru alarm (TP): Gerçekten olması gereken bir olay oldu ve sistem alarm üretti. Örnek: yasak bölgeye giren kişi için bildirim geldi.
• Yanlış alarm (FP): Kural kapsamında gerçek bir olay yokken alarm geldi. Örnek: gece böcek, gölge ya da far ışığı için 'kişi algılandı' bildirimi.
• Kaçırılan olay (FN): Olay gerçekten oldu ama alarm gelmedi. Örnek: kısmen kutunun arkasında yürüyen kişi hiç algılanmadı.
• Doğru ret (TN): Olay yok ve alarm da yok. Sahada sayması pratik olmadığı için çoğunlukla tutulmaz; bu yüzden aşağıdaki hesaplarda yalnızca ilk üç sayaç kullanılır.
• Alarm kayıtlarını NVR ya da yönetim yazılımının olay listesinden alın, her satırı kayıt görüntüsüyle kontrol edip bir tabloya doğru ya da yanlış diye işleyin. Kaçırılan olay ise ancak olayı siz bildiğiniz için sayılabilir: kontrollü yürüyüşler, not defteriyle tutulan saatler ve olay listesiyle karşılaştırma gerekir.

Precision ve recall sade anlatımla: formüller ve örnek hesap

Precision, gelen alarmların ne kadarının gerçek olduğunu; recall ise gerçek olayların ne kadarının yakalandığını gösterir. Makine öğrenmesi eğitim kaynaklarında da aynı biçimde tanımlanır: precision = TP / (TP + FP), recall = TP / (TP + FN).

Sade bir dille: precision düşükse sistem 'kurt var' diye bağıran çobandır, izleyen kişi alarmlara güvenmez. Recall düşükse sistem gerçek olayı kaçırır, asıl risk budur. İkisi birlikte okunmazsa yanıltıcıdır; hassasiyeti en yükseğe çekmek recall'u artırır ama precision'ı düşürür, tersi de geçerlidir. Bu yüzden kabul testinde ikisi ayrı ayrı yazılır.

Örnek hesap: Bir kamera yedi günde 60 alarm üretti. Kayıtlar incelendiğinde 42'si gerçek (TP = 42), 18'i yanlış (FP = 18) çıktı. Aynı sürede kontrollü senaryolarla ve gerçek girişlerle toplam 50 olay yaşandı; 42'si yakalandığına göre 8'i kaçırıldı (FN = 8).

Precision = 42 / (42 + 18) = 42 / 60 = %70. Recall = 42 / (42 + 8) = 42 / 50 = %84. Yanlış alarm payı = 18 / 60 = %30. Günlük yanlış alarm = 18 / 7 ≈ 2,6 alarm/gün. Raporda 'yanlış alarm oranı' ifadesini kullanıyorsanız hangi tanımı seçtiğinizi (alarmların yüzde kaçı yanlış, ya da kamera başına günlük yanlış alarm sayısı) açıkça yazın; iki tanım farklı sayı verir.

Hedef eşiklerini sektör standardı diye uydurmayın. Kabul ölçütünü iş başlamadan müşteriyle birlikte belirleyin; örneğin 'recall en az %90, kamera başına günlük yanlış alarm en çok 3' gibi. Bu sayılar yalnızca örnektir, sahanın riskine göre değişir.

Test senaryoları: gündüz, gece, yağmur, mesafe ve hareket türleri

Senaryo listesi, sahanın gerçekten karşılaşacağı koşulları kapsamalı ve her senaryo birden fazla kez tekrarlanmalıdır. Pratik öneri olarak her satır en az 10 tekrar ile denenir; tek denemeyle çıkan sonuç tesadüf olabilir. Her satıra senaryo numarası, koşul, mesafe, hareket, tekrar sayısı, yakalanan sayısı ve not sütunu açın.

• Işık: Gündüz açık hava, gün batımı ve karşıdan güneş, tam karanlıkta kızılötesi (IR) ya da ek aydınlatma, farlı araç geçişi.
• Hava: Kuru zemin, yağmur, kar ya da sis (mümkünse gerçek hava beklenir; yapay yağmur için hortum kullanılacaksa rapora yazılır).
• Mesafe: Kuralın etkili olması gereken en yakın, orta ve en uzak nokta; en uzak nokta müşterinin ihtiyaç duyduğu sınırdır, kameranın teorik sınırı değil.
• Hareket türü: Normal yürüyen, hızlı yürüyen, koşan, eğilerek ya da sürünerek ilerleyen kişi; hat ihlalinde hattı dik ve çapraz geçme.
• Kısmi örtülme: Araç, direk, bitki ya da kutu arkasında yarısı görünen kişi; kalabalıkta üst üste binen iki kişi.
• Kıyafet ve nesne: Koyu ve açık renk giysi, şapkalı ya da montlu kişi, elde kutu ya da çanta taşıyan kişi.
• Yanlış alarm provokasyonu: Bahçede sallanan dal, kedi-köpek, uçan poşet, bayrak, cam yansıması; bunlarda alarm gelmemesi beklenir ve gelen alarm FP yazılır.
• Özel kurallar: Uzun süre bırakılan nesne, kuyruk ya da sayım gibi kuralların kendi senaryoları vardır; ayrıntı için terk edilmiş nesne algılama ayarı ve kuyruk uzunluğu algılama yazılarına bakın.

En az bir hafta canlı gözlem nasıl yürütülür?

Kontrollü senaryolar recall'u ölçmeye yarar; canlı gözlem ise gerçek hayattaki yanlış alarmı ortaya çıkarır ve en az yedi gün sürmelidir. Bir hafta, hafta içi ile hafta sonu trafiğini, en az bir gece-gündüz döngüsünü ve mümkünse farklı hava durumlarını kapsar. Bir gün yağmursuz geçerse yağmur davranışı hakkında hiçbir şey öğrenilmemiş olur; bu durumda süre uzatılır ya da eksik koşul rapora not düşülür.

Gözlem süresince ayarları ara ara değiştirmeyin; her değişiklik ölçümü bozar. Önce ilk üç günü 'ham sonuç' olarak sayın, ayar yapıp ardından yeniden bir hafta ölçün ve iki dönemi raporda yan yana gösterin.

• Her gün aynı saatte olay listesini dışa aktarın ve kayıt görüntüsüyle eşleştirin.
• Her alarm satırına TP ya da FP yazın; şüpheli olanı müşteri temsilcisiyle birlikte karara bağlayın.
• Kaçırılan olayları sahibi olan kişi bildirsin: güvenlik görevlisi ya da işletme yetkilisi 'şu saatte biri girdi ama alarm gelmedi' diye not düşsün.
• Kamera başına günlük yanlış alarm sayısını ayrı bir sütunda izleyin; tek bir kötü kamera genel ortalamayı gizleyebilir.
• Hava, bakım, aydınlatma değişikliği ve elektrik kesintisi gibi olağan dışı olayları günlüğe yazın.

Datasheet'teki '%99 doğruluk' ifadesi sahada ne anlama gelir?

Datasheet'teki yüzde doksan dokuz gibi bir doğruluk değeri, üreticinin kendi veri setinde ve kendi koşullarında elde ettiği laboratuvar sonucudur; sizin sahanızda aynı sonucun garantisi değildir. Değerin hangi veri setiyle, hangi mesafe, çözünürlük ve ışık koşulunda, hangi nesne boyutuyla ölçüldüğü çoğu zaman belirtilmez.

Üstelik 'doğruluk' sözcüğü farklı şeyleri anlatabilir: genel doğru sınıflama oranı, yalnızca precision ya da yalnızca recall. Yüksek yüzdeli bir 'accuracy' değeri, olayların çok nadir olduğu bir sahada bile kolayca elde edilebilir, çünkü hiç alarm vermeyen bir sistem de çoğu zaman 'doğru ret' üretir. Bu yüzden kendi sahanızda precision ve recall'u ayrı ölçmek gerekir.

Müşteriye sözlü ya da yazılı olarak '%99 yakalar' demekten kaçının. Analitiğin kurulum koşuluna bağlı olduğunu, kabul ölçütlerinin ölçülüp imzalandığını anlatın; sözleşme ve sorumluluk çerçevesi için üreticinin belgelerini ve kendi hukuk danışmanınızı esas alın. Üretici belgesinde test koşulları ayrıntılı değilse sorulup yazılı yanıt alınması da doğal bir adımdır.

Ayar iyileştirme sırası: açıdan hassasiyete

Sonuçlar hedefin altındaysa ayar sırası önemlidir; çünkü hassasiyeti oynamak en kolay ama en az kalıcı çözümdür. Önce fiziksel koşullar, en son yazılım eşiği düzeltilir:

• 1. Kamera açısı ve yüksekliği: Hedefi uygun bir bakış açısıyla ve çok dik olmayan eğimle görmeli; kişi görüntüde yeterince büyük olmalıdır. Yeniden konumlandırma çoğu zaman en büyük kazancı sağlar.
• 2. Algılama bölgesi: Yol, ağaç, cadde kenarı ve yansıma yapan cam gibi ilgisiz alanları bölge dışında bırakın; kuralı hat ya da bölge ile sınırlayın.
• 3. Minimum nesne boyutu: Çok küçük nesneleri eleyecek alt sınırı belirleyin; böcek ve yaprak gibi küçük hedefler böylece alarm vermez. Fakat sınırı gereğinden büyük tutarsanız uzaktaki kişiyi kaçırırsınız.
• 4. Hassasiyet ve güven eşiği: En son adım. Tek seferde küçük adımlarla değiştirin; her değişiklikten sonra ilgili senaryoyu yeniden deneyin.
• Her değişikliği tarih, eski değer ve yeni değerle kayda geçirin ve en az üç gün yeniden gözlemleyin. Eşik oynatmak precision ile recall'u karşılıklı değiştirdiğinden, birini iyileştirirken diğerinin düşmediğini mutlaka doğrulayın.

Müşteriyle imzalı test raporu: şablon ve içerik

İmzalı test raporu, ölçümün hangi koşullarda, hangi ayarla ve hangi sonuçla yapıldığını belgeleyen kabul kaydıdır; ileride 'analitik çalışmıyor' tartışması çıkarsa dayanak olur. Rapor kısa ama eksiksiz olmalıdır:

• Proje, adres, kamera adı ve modeli, firmware sürümü, analitik kuralı ve lisans bilgisi.
• Test tarihleri, gözlem süresi, hava ve ışık koşulları.
• Ayar değerleri: bölge, minimum nesne boyutu, hassasiyet, kamera yüksekliği ve eğimi.
• Senaryo tablosu: her senaryo için tekrar sayısı ve yakalanan sayısı.
• Üç sayaç toplamı (TP, FP, FN), precision, recall ve kamera başına günlük yanlış alarm.
• Önceden belirlenen kabul ölçütü ve sonucun ölçüte uygun olup olmadığı.
• Bilinen sınırlar: örneğin 50 metreden uzakta algılama güvenilir değildir, yoğun yağmurda yanlış alarm artar.
• Örnek alarm ve kaçırılan olay ekran görüntüleri ile iki tarafın adı, tarihi ve imzası.
• Raporda kişi görüntüsü kullanıyorsanız kişisel veri sorumluluğu doğar; ekran görüntülerinde gerekirse yüzleri bulanıklaştırın ve raporu yalnızca ilgili taraflarla paylaşın. Doğruluk garantisi ve sorumluluk maddesi konusunda sözleşme dili ayrıca hazırlanmalıdır.

Bayifi'nin bu konudaki yeri

Analitik kurulumunu yapacak bir kurulumcu arıyorsanız bayiler dizininden il il firmalara ulaşabilirsiniz. Test edilecek kamera ve NVR modellerini toptancıların anlık stoklu ürünleri arasında pazar sayfasında karşılaştırabilirsiniz. Kurulumcu ya da toptancıysanız firmanızı kaydolarak dizine ekleyebilirsiniz.