- Bu konu 1 yanıt içerir, 2 izleyen vardır ve en son 5 gün önce
Murat Aksoy tarafından güncellenmiştir.
-
YazarYazılar
-
Kasım 12, 2026: 8:05 pm #94298
İpek DemirÜyeArkadaşlar bir durum var, kafamı çok kurcalıyor. Şu sıralar otonom araçların algı (perception) kısmında çalışan bir projede iki farklı derin öğrenme modeli (biri detection, diğeri segmentasyon ağı) aynı girdiye farklı tepkiler veriyor. Same input, different output derhal aklınıza geliyor ama işin inceliği şu: Seed’i sabitledim, GPU aynı, driver aynı, CUDA sürümü aynı yine de sonuçlar model model değişiyor.
Öncelikledijital ortamlarda ‘model A %2 daha iyi’ demeye çalışıyorum ama rakamlar tutmuyor, bir model batch norm kullanırken diğeri kullanmıyor, preprocess de birbirinden farklı. Karşılaştırma yapmaya çalıştıkça ‘acaba gerçekten mi fark var yoksa ben mi yanlış ölçüyorum’ şüphesine düşüyorum. Bu işin içinden çıkamayan var mı? Hangi parametreler beni aldatıyor, nasıl doğru doğru karşılaştırırız?
"Subaru Impreza WRX STI GC8 ve mavi gövde & altın jant efsanesi…"Kasım 13, 2026: 7:53 am #94683
Murat AksoyÜyeReis selamlar, çok net bir dert anlatmışsın, benim de similar bir işe girdiğim oldu yıllar önce. İşin aslı, dediğin tutarsızlığın %90’ı ‘farklı model’den çok ‘farklı ortam ve pipeline’ kaynaklı oluyor. Birkaç noktayı teker teker sayayım, hepsi başımı da vurdu:
İlk durak determinizm. PyTorch’ta seed’i tek seferde yetmez, torch.manual_seed() + torch.cuda.manual_seed_all() + np.random.seed() + random.seed() derken cuda.deterministic = True ve benchmark = False demen lazım. Ama dikkat: benchmark = True bazen hız için nondeterministic kernel seçiyor, o da tutarsızlığın birincisi oluyor. CUDA deterministic açıkken tekrar tekrar aynı input’u feed edip output’u hash’le, birebir aynı çıkmazsa sorun ortada değil, senin ortamında.
İkinci büyük tuzak batch norm. Train modunda inference’a geçince running statistics’e düşer ama sen iki modeli farklı epoch’larda, farklı data sırasıyla eğittiysen running mean/var birbirinden kopar. İnference’da .eval() koyduğunu farzediyorum ama modelin içine in, bazı custom layer’lar forward’da hala train modunda kalmış olabilir. Bu tek başına %1-2’lik m2 farkı açıklar, senin ‘model A iyiyse’ dediğin şey aslında BN’in saçmalığı olabilir.
Üçüncü, preprocess’i tek elden geçir. Input’u float32’ye çevir, 0-1 mi -1..1 mi Normalize et, resize interpolation tipi (bilinear vs) aynı mı, crop/rand augmentation inference’da tamamen kapatılmış mı. İki modelin preprocess’i pixel-birebir aynıysa bile GPU’nun FP16/TF32 matris çarpımını açıp kapatmak bile son basamakları oynar. Karşılaştırma için inference’da TF32’yi drop_precision modunda sabitle.
Dördüncü en çok atlanan: NMS ve post-processing. Detection modelinde IoS eşiği, score threshold, NMS nms_type bile sonucu değiştirir. ‘İyi model’ demek için metric’i (mAP, NDS) aynı val seti, aynı annotation, aynı threshold policy ile alman lazım. Farklı threshold ile kıyaslamak iki aracı farklı lastikle yarıştırmak gibi. Metric hesaplamada da same data split + same annotation override kullan, yoksa ‘iyilik’ annotasyon farkından çıkıyor olabilir.
Pratik önerim: tek bir reference input seti (mesela 500 kare) hazırla, her modelde aynı preprocessing pipeline’i (hatta aynı preprocessing script’i) çalıştır, seed+cuda deterministic açık, FP32, sonra metric’i aynı scriptle hesapla. Sonra bile %1 civarında salındıysa, bunu ensemble ile ya da calibration ile düzeltirsin. Son olarak modeli quantize edip ONNX Runtime’a atarsan sonuçlar tekrar kayar, onu da ayrı test et, ‘model iyi’ deyip ‘quantize kötü’ demeyi unutma.
Bunları yapınca farkın gerçek mi yoksa pipeline saçmalığı mı olduğunu net görürsün. Deneyip hangi adımda ‘ışık yanğını’ söyle, oradan devam ederiz.
-
YazarYazılar
- Bu konuyu yanıtlamak için giriş yapmış olmalısınız.
