Colibrì ile Devrim: 1.5 TB'lık Yapay Zeka Modeli 25 GB RAM ile Çalıştı

Ev ortamında yapay zeka modellerini çalıştırmak, yüksek abonelik ücretleri ve veri gizliliği endişeleri nedeniyle giderek popülerleşiyor. Ancak profesyonel veri merkezlerinde kullanılan donanımların maliyeti, bireysel kullanıcılar için erişilemez düzeyde. Bu engeli aşmak isteyen İtalyan mühendis Vincenzo (JustVugg), geliştirdiği Colibrì adlı kavram kanıtlama (proof-of-concept) projesiyle, 1.5 TB boyutundaki devasa GLM-5.2 modelini sadece 25 GB RAM ve 1 GB/s hızındaki bir sanal NVMe sürücü ile çalıştırmayı başardı.

MoE Mimarisi ve Dilimleme Yöntemi

Colibrì'nin başarısının temelinde, GLM-5.2 modelinin kullandığı Mixture-of-Experts (MoE) yani 'Uzmanlar Karışımı' mimarisi yatıyor. Bu mimaride model, farklı konulara yanıt veren yüzlerce alt uzman modelden oluşur. Normal şartlarda bu modellerin tamamının veya büyük bir kısmının GPU belleğine yüklenmesi gerekirken; Colibrì, her bir token (kelime parçacığı) için gerekli olan uzmanları RAM'e sırayla yükleyip boşaltan bir yöntem kullanıyor.

Performans ve Donanım Darboğazları

Yöntem teorik olarak devrimsel olsa da, mevcut donanım kısıtlamaları nedeniyle ciddi bir hız kaybı yaşanıyor. Vincenzo'nun kurulumunda hız, saniyede ortalama 0.05 ile 0.1 token arasında seyrediyor. Bu hız, gerçek zamanlı sohbetler için henüz yeterli değil; zira standart bir kullanım için saniyede 20-30 token hızı gerekiyor. Sistemdeki temel darboğazlar şu şekilde sıralanıyor:

• NVMe Depolama Hızı: Verilerin sürekli yüklenip boşaltılması nedeniyle ilk ve en büyük engel.
• RAM Kapasitesi: Depolama hızı arttığında, bellek bant genişliği kısıtlayıcı faktör haline geliyor.
• İşlemci (CPU) Gücü: RAM ve depolama optimize edildiğinde, daha fazla CPU çekirdeğine ihtiyaç duyuluyor.

Yerel Yapay Zeka Kurulumları İçin Yeni Bir Yol

Colibrì şu an için sadece CPU üzerinde çalışan bir kavram kanıtlama aşamasında ve GPU desteği henüz bulunmuyor. Ancak GLM-5.2 gibi frontier-level (sınır seviye) kapasiteye sahip, Anthropic ve OpenAI modelleriyle yarışabilen bir yapay zekanın ev tipi donanımlarda çalışabilmesi, yerel yapay zeka ekosistemi için kritik bir adım olarak değerlendiriliyor. Geliştirici, şu anda topluluktan gelen benchmark verilerini toplayarak sistem üzerindeki hataları gidermeye devam ediyor.