Trend Olan Konular
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
Şuna bir 👌🏻 göz at.
5 Mar 11:58
@RunAnywhereAI'de sadece 48 saatte MetalRT'yi kurduk: @Apple'yi kendi oyunlarında yenerek şu anda Apple Silicon için piyasadaki EN SÜRTÜĞİ LLM çıkarım motorunu sunduk.
- 570 tok/s kod çözme @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s kod çözme @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms Zaman-ilk-token-Komut
- 1.19× Apple'ın kendi MLX'inden daha hızlı (aynı model dosyaları)
- 1,67× ortalama llama.cpp'den daha hızlı
Apple MLX, llama.cpp, uzu (TryMirai tarafından) ve Ollama'yı dört farklı 4-bit modelde, cihaz içi optimize edilmiş LFM2.5-1.2B dahil olmak üzere, tek bir M4 Max'te ezdik.
Bu sefer için heyecanlıyım!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
282
Her zamanki gibi Qwen ekibinden hibrit minik modellerin gerçekten etkileyici bir gösterimi!
İnsanlar, cihaz içi dağıtımda hız, gecikme ve bellek açısından @liquidai'nin LFM'leriyle nasıl karşılaştırıldıklarını soruyor.
İşte Apple M3 Ultra hakkında hızlı bir profil değerlendirmesi:
> LFM2.5-1.2B, Qwen3.5-0.8B'den %52 daha hızlı kod çözme özelliğine sahiptir.
> LFM2-700M, kod çözmede Qwen3.5-0.8B'den %71 daha hızlıdır
> LFM2-2.6B, kodlama sırasında Qwen3.5-2B ile aynı hıza sahiptir
> LFM2-700M, Qwen3.5-0.8B'ye göre %46 daha az zirve bellek kullanır
> LFM2-2.6B, Qwen3.5-2B'ye göre %21 daha az zirve bellek kullanır
> aynı parametre boyutuna sahip lfms ön doldurma genellikle Qwen3.5'ten %12 daha hızlıdır
LFM2 serisini, bir işlemci için kalite ödün vermeden en verimli mimariyi bulmamızı sağlayan donanım-döngü meta yapay zeka tasarım yaklaşımımızla tasarladık.
Bu test Apple M3 Ultra ile yapılıyor, 512 GB birleşik bellek
Yapılandırma:
> 512 prompt token, 128 nesil token,
> Konfigürasyon başına 5 deneme
> Çerçevesi: MLX (mlx-lm / mlx-vlm)
2 Mar 21:18
🚀 Qwen 3.5 Küçük Model Serisi'nin Tanıtımı
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Daha fazla zeka, daha az hesaplama.
Bu küçük modeller aynı Qwen3.5 temeli üzerine inşa edilmiştir — yerel multimodal, geliştirilmiş mimari, ölçekli RL:
• 0.8B / 2B → küçük, hızlı, kenar cihaz için harika
• 4B→ hafif ajanlar için şaşırtıcı derecede güçlü bir multimodal taban
• 9B → kompakt, ancak çok daha büyük modellerle aradaki farkı kapatıyor
Ve evet — Base modellerini de piyasaya süreceğiz.
Umarız bu araştırma, deney ve gerçek dünya endüstriyel yeniliklerini daha iyi destekler.
Sarılma Yüz:
ModelScope:
209
En İyiler
Sıralama
Takip Listesi