Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
žít život na hraně @runanywhereai (YC W26)
MetalRT se právě stal prvním kompletním AI inferenčním enginem pro Apple Silicon: LLM + STT + TTS od @RunAnywhereAI.
Už jsme měli nejrychlejší dekódování LLM (658 tok/s).
Teď jsme rozdrtili i STT a TTS, porazili jsme MLX ve všech ohledech.
Dnešní čísla na M4 Max:
- Hodinový podcast přepsán za ~5 sekund
- 3hodinové setkání přepsáno za ~15 sekund
- Živé titulky bez postřehnutelného zpoždění
- 714x rychlejší než v reálném čase pro STT
- 4,6x rychlejší než Apple MLX v převodu řeči na text
Všechny tři způsoby. Jeden jednotný motor.
A to jsou jen jednotlivé komponenty. Kompletní AI pipeline pro hlas, na které stavíme, bude NEJRYCHLEJŠÍ v historii Apple Silicon. Brzy vydávám.
Kompletní benchmarky, grafy a podrobnosti najdete v komentářích.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5. 3. 11:58
Za pouhých 48 hodin v @RunAnywhereAI jsme vytvořili MetalRT: porazili jsme @Apple v jejich vlastní hře a dodali NEJRYCHLEJŠÍ LLM inferenční engine na trhu pro Apple Silicon právě teď.
- 570 tok/s dekódování @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s dekódování @Alibaba_Qwen Qwen3-0.6B, 4-bitový
- 6.6 ms Čas do prvního tokenu
- 1.19× rychlejší než Apple vlastní MLX (identické modelové soubory)
- 1,67× v průměru rychlejší než llama.cpp
Rozdrtili jsme Apple MLX, llama.cpp, Uzu (od TryMirai) a Ollama ve čtyřech různých 4bitových modelech, včetně optimalizovaného LFM2.5-1.2B na jednom M4 Max.
Těším se na tohle!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
25
Vybudovali jsme budoucnost hlasové AI na vašem Macu. RCLI je tu @RunAnywhereAI!
Naše optimalizovaná end-to-end hlasová + RAG pipeline: hovor → okamžité řízení + doc odpovědi, latence ~131ms,
- vše LOKÁLNÍ
- vše OPEN SOURCE
- všichni ZDARMA.
43 akcí, žádný cloud, vaše data navždy soukromá.
Siri: "Nech mě o tom přemýšlet..."
RCLI: 131 ms hlasový přenos. Hotovo. Další.
Zažijte to – instalujte a ovládajte svůj stroj:
curl -fsSL | Bash
Další úroveň přichází: podpora MetalRT (nejrychlejší dekódování Apple Silicon inference 658 tok/s, rychlé ASR a TTS).
Tvůj Mac se chystá dosáhnout warpové rychlosti!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8. 3. 04:42
Tento startup představuje vážnou hrozbu pro Siri ☠️
Jmenuje se @RunAnywhereAI a právě vydala RCLI: 100% lokálního hlasového asistenta, který už teď překonává jeho rychlost a soukromí. 131 ms od začátku do konce (hlas → mluvená odpověď)
⭐️Control 43 nativních macOS akcí (Spotify, Windows, FaceTime, připomínky...).
⭐️Okamžitý RAG na vaše PDF a dokumenty.
⭐️Vše offline, žádný cloud, žádné API klíče.
To není všechno.
Co bude dál... Mami.
Zakladatel právě představil MetalRT (jeho nový TTS engine vyrobený s Metalem a tím, co vidíte ve videu), který dosahuje 291 ms pro 5 slov a je 8,4x rychlejší než v reálném čase.
Až vyjde ta aktualizace... Siri bude brečet.
Mezitím REPOOO 👇
182
MetalRT nabízí nejrychlejší TTS inferenci na Apple Silicon.
Klíčové výsledky M3 Max:
- Latence 291 ms pro 5 slov, 8,4x RTF, 2,8x rychlejší než mlx
- Nejvyšší zaznamenaná latence: 291 ms
- Peak RTF: 8,8x na delších vstupech
To umožňuje okamžitý převod textu na řeč přímo na zařízení.
NEJRYCHLEJŠÍ AI pipeline pro hlas na Apple Silicon brzy přijde poháněn @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
232
Top
Hodnocení
Oblíbené