# Ozet
Subquadratic adlı şirket, yapay zeka alanında devrim yaratabilecek bir model geliştirdiğini iddia ediyor. Bu model, milyonlarca token içeren uzun metinleri, kod tabanlarını, yasal sözleşmeleri ve finansal belgeleri, geleneksel yöntemlere kıyasla yaklaşık 1000 kat daha az hesaplama gücüyle işleyebiliyor. Modelin temel yeniliği, her token çiftini karşılaştırmak yerine, sadece anlam açısından önemli ilişkileri seçerek hesaplama maliyetini lineer ölçeklemeye indirgemesi. Bu yaklaşım, uzun bağlamlı metinlerdeki karmaşık bağlantıları anlamada büyük avantaj sağlıyor.

Model, 12 milyon tokenlık bağlam uzunluğunda %98 doğrulukla çalışabiliyor ve bu uzunlukta yalnızca tüm token çiftlerinin %0.13'üne dikkat ediyor. Bu, mevcut en iyi verimlilik teknikleriyle karşılaştırıldığında çok büyük bir gelişme. Ayrıca, modelin genel yetenekleri de güçlü; bilimsel sınavlarda, kodlama testlerinde ve finansal otomasyon görevlerinde rekabetçi performans sergiliyor. Ancak, uzun bağlamlı modellerde sıkça görülen bilgi kaybı ve karmaşık görevlerdeki zorluklar nedeniyle bazı şüpheler devam ediyor. Şirket, modelini seçilmiş iş ortaklarına sunmaya başladı ve yıl sonunda daha geniş çapta erişime açmayı planlıyor.

## Ana Fikirler
- Geleneksel transformer modellerinde dikkat mekanizması hesaplama maliyeti, token sayısının karesiyle artıyor.
- Subquadratic'in SSA (subquadratic sparse attention) teknolojisi, sadece anlam açısından önemli token ilişkilerini seçerek hesaplama maliyetini lineer ölçeklemeye indiriyor.
- Model, 12 milyon tokenlık bağlamda %98 doğrulukla çalışabiliyor ve bu bağlam uzunluğunda %0.13 oranında token çifti dikkate alınıyor.
- SSA, hem dikkat hem de seçim aşamalarında lineer ölçeklenme sağlıyor, bu da diğer yöntemlerin yaşadığı maliyet tuzaklarını önlüyor.
- SubQ 1.1 Small modeli, bilim, kodlama ve finansal otomasyon gibi alanlarda rekabetçi performans gösteriyor.
- Model, uzun bağlamlı görevlerde bilgi kaybını minimize etmek için dikkatli şekilde eğitildi.
- Şirket, modeli seçilmiş iş ortaklarına sunmaya başladı, yıl sonunda genel erişim planlanıyor.
- Uzun bağlamlı modellerdeki önceki başarısızlıklar ve şüpheler nedeniyle topluluk tepkisi karışık.
- Subquadratic, mevcut AI altyapısındaki bağlam sınırlamalarını ortadan kaldırarak iş süreçlerinde büyük değişiklik potansiyeli taşıyor.
- Modelin gerçek dünya kullanımı ve geniş ölçekli benimsenmesi, başarının gerçek göstergesi olacak.

## Uygulanabilir Notlar
- Uzun bağlamlı metin işleme gerektiren projelerde SSA teknolojisi takip edilmeli.
- Mevcut AI sistemlerinde kullanılan retrieval ve chunking altyapılarının yerini, daha bütünsel bağlam işleyebilen modeller alabilir.
- Subquadratic’in modelini deneyimleyen iş ortaklarının geri bildirimleri yakından izlenmeli.
- Finansal, hukuki ve yazılım alanlarında büyük doküman setleriyle çalışan ekipler için bu teknoloji potansiyel olarak maliyet ve verimlilik avantajı sunabilir.
- Modelin gerçek dünya verileriyle test edilmesi ve farklı bağlamlarda performansının değerlendirilmesi önemli.
- Uzun bağlamlı modellerde bilgi kaybı ve tutarlılık sorunlarına karşı dikkatli olunmalı, eğitim ve ince ayar süreçleri optimize edilmeli.

## Anahtar Kavramlar
- Transformer Dikkati (Attention)
- Token
- Bağlam Uzunluğu (Context Window)
- SSA (Subquadratic Sparse Attention)
- Lineer Ölçekleme (Linear Scaling)
- Retrieval Sistemleri
- Chunking
- Flash Attention 2
- Needle in a Haystack Testi
- API Otomasyon Benchmarks