Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
sprawdź to 👌🏻
5 mar, 11:58
W zaledwie 48 godzin w @RunAnywhereAI zbudowaliśmy MetalRT: pokonując @Apple w ich własnej grze i dostarczając NAJSZYBSZY silnik wnioskowania LLM na rynku dla Apple Silicon w tej chwili.
- 570 tok/s dekodowanie @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s dekodowanie @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms czas do pierwszego tokena
- 1.19× szybszy niż własny MLX Apple'a (identyczne pliki modelu)
- 1.67× szybszy niż llama.cpp w średniej
Zdominowaliśmy Apple MLX, llama.cpp, uzu(by TryMirai) i Ollama w czterech różnych modelach 4-bit, w tym zoptymalizowanym na urządzeniu LFM2.5-1.2B na pojedynczym M4 Max.
Podekscytowani tym!
293
Naprawdę imponujące wydanie hybrydowych małych modeli od zespołu Qwen, jak zawsze!
Ludzie pytają, jak wypadają pod względem prędkości, opóźnienia i pamięci w porównaniu do LFMs od @liquidai do wdrożenia na urządzeniach?
Oto szybkie profilowanie na Apple M3 Ultra:
> LFM2.5-1.2B jest o 52% szybszy w dekodowaniu niż Qwen3.5-0.8B.
> LFM2-700M jest o 71% szybszy niż Qwen3.5-0.8B w dekodowaniu
> LFM2-2.6B ma tę samą prędkość co Qwen3.5-2B w dekodowaniu
> LFM2-700M używa o 46% mniej pamięci szczytowej niż Qwen3.5-0.8B
> LFM2-2.6B używa o 21% mniej pamięci szczytowej niż Qwen3.5-2B
> lfms prefill z tym samym rozmiarem parametrów jest zazwyczaj o 12% szybszy niż Qwen3.5
Zaprojektowaliśmy serię LFM2 z naszym podejściem do projektowania meta AI z hardware-in-the-loop, które pozwala nam znaleźć najbardziej efektywną architekturę dla danego procesora bez poświęcania jakości.
Test został przeprowadzony na Apple M3 Ultra, 512 GB pamięci zintegrowanej
Konfiguracja:
> 512 tokenów prompt, 128 tokenów generacji,
> 5 prób na konfigurację
> Framework: MLX (mlx-lm / mlx-vlm)
2 mar, 21:18
🚀 Introducing the Qwen 3.5 Small Model Series
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ More intelligence, less compute.
These small models are built on the same Qwen3.5 foundation — native multimodal, improved architecture, scaled RL:
• 0.8B / 2B → tiny, fast, great for edge device
• 4B → a surprisingly strong multimodal base for lightweight agents
• 9B → compact, but already closing the gap with much larger models
And yes — we’re also releasing the Base models as well.
We hope this better supports research, experimentation, and real-world industrial innovation.
Hugging Face:
ModelScope:
215
Najlepsze
Ranking
Ulubione