Reinforcement learning based active queue management with probabilistic actions

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2025

Tezin Dili: İngilizce

Öğrenci: CANER ORKUN GÖLBAŞI

Danışman: HÜSEYİN BİRKAN YILMAZ

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

İnternet trafiği yoğunluğunun artmasıyla birlikte, yönlendiricilerdeki kuyruk yönetimi sorunları daha da önemli hale gelmiştir. Klasik Aktif Kuyruk Yönetimi (AQM) algoritmaları, sabit eşik değerleri ve parametre ayarlama gereksinimleri nedeniyle değişken internet trafiği koşullarına uyum sağlamakta yetersiz kalmaktadır. Bu tezde, AQM algoritmalarının performansını iyileştirmek için Sürekli Uyarlamalı Öğrenme Aktif Kuyruk Yönetimi (CoAL-AQM) adlı Q-öğrenme tabanlı bir AQM algoritması geliştirilmiştir. CoAL-AQM, ağ durumunu analiz ederek kararlarını sadece kuyruk doluluğuna göre değil, gelen paketin protokol türüne ve akışların paket bırakma oranına göre de verir. CoAL-AQM, paketler için geçme, işaretleme ve bırakma kararları verirken 0,0 ile 1,0 arasında değişen eylem olasılıklarına göre etiketlenen olasılıksal eylemleri kullanır. Ayrıca CoAL-AQM, belirli bir süre eğitilip daha sonra devreye alınmak yerine, sürekli öğrenme yaklaşımıyla değişen trafik koşullarına daha iyi uyum sağlar. OMNeT++ simülasyon ortamında deneysel çalışmalar yürütülmüş ve CoAL-AQM'nin klasik algoritmalara göre daha iyi performans gösterdiği görülmüştür. CoAL-AQM, değişen yoğunluklardaki trafik senaryolarında performans üstünlüğünü korumuştur. Bu tez çalışması, kuyruk yönetimi sorunlarına farklı durum, eylem ve ödül mekanizmalarıyla Güçlendirme Öğrenmesi tabanlı AQM yaklaşımlarıyla daha iyi kuyruk yönetimi yaklaşımlarının sağlanabileceğini göstermektedir. CoAL-AQM, parametre ayarlaması gerektirmeden farklı koşullara uyum sağlayabilen ve gecikme, verim ve paket kaybı oranını dengeleyebilen bir AQM çözümü sunmaktadır.