DeepSeek RAM Krizini Çözecek!
DeepSeek ve Pekin Üniversitesi, yapay zeka alanındaki donanım darboğazını aşmak amacıyla Engram adlı yenilikçi bir eğitim yöntemi geliştirdi. Bu yöntem, bellek depolama alanını hesaplama süreçlerinden ayrı tutarak sistemlerin çok daha verimli bir şekilde çalışmasını sağlıyor. Günümüzdeki büyük dil modelleri, bilgiye erişebilmek için oldukça pahalı olan yüksek bant genişliğine sahip bellekler (HBM) talep etmektedir. Bu durum, DRAM fiyatlarının sadece 10 haftada 5 katına çıkmasının başlıca sebebi olarak gösterilmektedir.
Yapay Zekada Pahalı Donanım Devri Bitiyor mu? DeepSeek Engram’ı Tanıttı
Geliştirilen sistem, modellerin GPU belleğini gereksiz yere doldurmadan ihtiyaç duyduğu bilgileri “arayıp bulmasını” (lookup) sağlıyor. Bu sayede sistemin kapasitesi, basit işlemler yerine karmaşık akıl yürütme görevleri için daha etkin bir biçimde kullanılabiliyor. 27 milyar parametreli bir model üzerinde yapılan testler, Engram yönteminin endüstri standartlarında belirgin performans artışları sağladığını göstermiştir.
Engram, statik bilgi erişimini anlık işlem yoğunluğundan bağımsız hale getiriyor. Bu yöntem, Phison gibi uygun maliyetli SSD çözümleri ve yeni CXL standartlarıyla entegre ederek toplam bellek kapasitesini artırmayı mümkün kılıyor. Bu sayede yapay zeka sistemleri, pahalı bellek birimlerini kullanmadan hızlı ve verimli bir şekilde çalışabiliyor.
Araştırmalar, parametre bütçesinin %20 ila %25’lik kısmını Engram modülüne ayırmanın, geleneksel modellere göre daha yüksek performans sağladığını ortaya koymaktadır. Bu teknik, özellikle HBM belleklere erişimin zor ve maliyetli olduğu alanlarda donanım üzerindeki yükü azaltabilir. Böylece DRAM fiyatlarındaki ani dalgalanmaların önüne geçilmesine yardımcı olabilir.
Sizce bu tür yazılım tabanlı verimlilik çözümleri, son dönemde artan donanım fiyatlarının düşmesini sağlayabilir mi?
