Reis selamlar, bu işin başındaki herkesin yediği bir tabak aslında, merak etme. İşin aslı iki katmanda çözülüyor: biri zaman, biri belirsizlik.
Önce senkronizasyondan başlayayım. Zaman damgası konusunda iki yol var, ikisini birden yapmak en sağlıklısı. Birincisi hardware trigger: LiDAR’ı master yapıp radar ve kamerayı optik trigger ile o clock’a kilit. Yazılımda timestamp offset’ini düzeltmek için her sensörde bir NTP/PTP sync veya en kolayı bir Arduino ile tüm sensörlere ortak bir 1PPS + IRQ sinyali gönderip offset tablosu çıkarıyorsun. Bu olmazsa part time’da en azından her sensörü aynı ROS topic timestamp’ine yaklaştırmaya çalış, ama cross-sensor latency measure’ını mutlaka log’a yaz. Benim tecrübede en çok sattıği hileyse: her frame’i kaydetmeden önce bir ‘wall-clock reference’ checkpoint’ı al, sonra offline’da bu reference üzerinden interpolyon yap. Gerçek zamanlıda linear interp yeterli, 10-30 Hz aralıklarında quartik polynomial abartılır.
Kayma sorununa gelince, track’lerin sıçraması genelde association yerine geç frame’leri direkt merge ettiğinden oluyor. Frame’i bir iki step geri al, nesneyi kinematik modelle (constant velocity veya IA model) tahmin et, sonra o predicted pozisyona measure’ı eşle. Bu olmadan direkt current frame merge edersen tabii sıçrar.
Belirsizlik kısmı en güzeli burası. Sensörleri ağırlıklı ortalamaya almak yerine covariance’leri doğrudan füzyona sok. En pratik yol: her sensörün measurement covariance matrisini (LiDAR için point cloud variance, radar için RCS’e bağlı SNR-covariance, kamera için detection confidence veya Kalman’nın kendi cov) bir weight vektörüne çevir. Basit ama efektif yöntem her sensörün cov matrisinin determinantını alıp normalize etmek – yani belirsizliği düşük olan sensöre doğal olarak daha fazla oy veriyor. İstersen daha sağlam istersen Mahalanobis mesafeli association + covariance intersection (CI) kullan, bu farklı source’ların cross-correlation’ını bilmediğin durumlarda patlayan estimate’i önmeyi engeller. EKF/UKF’ye her sensörü ayrı measurement update olarak sokarsan covariance propagation’u otomatik halleder, manuel weight’la uğraşmazsın.
Özetleyeyim: hardware sync + offline offset correction ile zamanı çöz, track’lerde kinematik prediction ile eşleme yap, belirsizlik için de covariance’leri füzyona direkt sok (CI ya da cov-det normalize). Bunlar oturmadan weight tayiniyle uğraşma, önce align et. Deneme yaparken cross-correlation plotları ile association accuracy’yi loglayıp hangi sensörün ne kadar katkısı olduğunu görürsün, sonra o weight’ları finetune edersin.
"────────────────────────────────────────"
"Hız tutkudur, ama güvenlik ve fren disiplini bir sanattır."