Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
Lever livet på kanten @runanywhereai (YC W26)
MetalRT har nettopp blitt den første komplette AI-inferensmotoren for Apple Silicon: LLM + STT + TTS av @RunAnywhereAI.
Vi hadde allerede den raskeste LLM-dekodingen (658 tok/s).
Nå har vi knust både STT og TTS også, og slått MLX på alle områder.
Dagens tall om M4 Max:
- 1-times podkast transkribert på ~5 sekunder
- 3-timers møte transkribert på ~15 sekunder
- Live teksting med null merkbar forsinkelse
- 714 ganger raskere enn sanntid for STT
- 4,6 ganger raskere enn Apples MLX på tale-til-tekst
Alle tre modalitetene. Én samlet motor.
Og dette er bare de individuelle komponentene. Den komplette stemme-AI-pipelinen vi bygger på vil være den RASKESTE noensinne på Apple Silicon. Lanseres snart.
Fullstendige benchmarks, diagrammer og detaljer i kommentarfeltet.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5. mars, 11:58
På bare 48 timer hos @RunAnywhereAI bygde vi MetalRT: slo @Apple i deres eget spill og leverte den RASKESTE LLM-inferensmotoren på markedet for Apple Silicon akkurat nå.
- 570 tok/s dekoding @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s dekoding @Alibaba_Qwen Qwen3-0,6B, 4-bit
- 6,6 ms tid til første token
- 1.19× raskere enn Apples egen MLX (identiske modellfiler)
- 1,67× raskere enn llama.cpp i gjennomsnitt
Vi knuste Apple MLX, llama.cpp, uzu (av TryMirai) og Ollama på tvers av fire forskjellige 4-bits modeller, inkludert den on-device optimaliserte LFM2.5-1.2B på en enkelt M4 Max.
Gleder meg til denne!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
16
Vi bygde fremtiden for stemme-AI på Mac-en din. RCLI er her @RunAnywhereAI!
Vår optimaliserte ende-til-ende stemme + RAG-pipeline: samtale → umiddelbar kontroll + dokumentsvar, ~131 ms forsinkelse,
- alle LOKALE
- helt ÅPEN KILDEKODE
- alt GRATIS.
43 handlinger, ingen sky, dataene dine for alltid private.
Siri: "La meg tenke på det..."
RCLI: 131 ms voice-to-action. Ferdig. Neste.
Opplev det—installer og kommando maskinen din:
curl -fsSL | Bash
Neste nivå på vei: MetalRT-støtte (raskeste Apple Silicon-inferens, 658 tok/s dekoding, rask ASR og TTS).
Mac-en din er i ferd med å nå warp-hastighet!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8. mars, 04:42
Denne oppstarten utgjør en alvorlig trussel mot Siri ☠️
Den heter @RunAnywhereAI og har nettopp lansert RCLI: en 100 % lokal stemmeassistent som allerede slår den i hastighet og personvern. 131 ms ende-til-ende (stemme → muntlig respons)
⭐️Kontroller 43 native macOS-handlinger (Spotify, Windows, FaceTime, påminnelser...).
⭐️Umiddelbar RAG på PDF-ene og dokumentene dine.
⭐️Alt offline, ingen sky, ingen API-nøkler.
Det er ikke alt.
Hva er det neste... Mamma.
Grunnleggeren har nettopp avduket MetalRT (hans nye TTS-motor laget med Metal og det du ser i videoen) som oppnår 291 ms for 5 ord og 8,4 ganger raskere enn sanntid.
Når den oppdateringen kommer ut... Siri kommer til å gråte.
I mellomtiden, REPOOO 👇
169
MetalRT leverer den raskeste TTS-inferensen på Apple Silicon.
Nøkkelresultater på M3 Max:
- 291 ms latens for 5 ord, 8,4x RTF, 2,8x raskere enn mlx
- Laveste registrert latens: 291 ms
- Topp RTF: 8,8x på lengre innganger
Dette muliggjør umiddelbar tekst-til-tale direkte på enheten.
RASKESTE stemme-AI-pipeline på Apple-silisium kommer snart, drevet av @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
222
Topp
Rangering
Favoritter