Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
trăind viața la limită @runanywhereai (YC W26)
MetalRT tocmai a devenit primul motor complet de inferență AI pentru Apple Silicon: LLM + STT + TTS de @RunAnywhereAI.
Aveam deja cea mai rapidă decodare LLM (658 tok/s).
Acum am dominat și STT și TTS, depășind MLX pe toate planurile.
Cifrele de astăzi despre M4 Max:
- Podcast de 1 oră transcris în ~5 secunde
- Ședință de 3 ore transcrisă în ~15 secunde
- Subtitrări live cu întârziere perceptibilă zero
- De 714 ori mai rapid decât în timp real pentru STT
- De 4,6 ori mai rapid decât MLX de la Apple la speech-to-text
Toate cele trei modalități. Un singur motor unificat.
Și acestea sunt doar componentele individuale. Întregul pipeline AI vocal pe care îl construim va fi cel MAI RAPID de până acum pe Apple Silicon. Lansarea va fi curând.
Repere complete, grafice și detalii în comentarii.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5 mar., 11:58
În doar 48 de ore la @RunAnywhereAI am construit MetalRT: învingându-i pe @Apple la propriul lor joc și livrând cel MAI RAPID motor de inferență LLM de pe piață pentru Apple Silicon în acest moment.
- Decodare 570 tok/s @liquidai LFM 2.5-1.2B pe 4 biți
- Decodare 658 tok/s @Alibaba_Qwen Qwen3-0.6B, 4 biți
- 6,6 ms timp până la primul jeton
- 1.19× mai rapid decât propriul MLX al Apple (fișiere model identice)
- 1,67× mai rapid decât llama.cpp în medie
Am zdrobit Apple MLX, llama.cpp, uzu (de la TryMirai) și Ollama în patru modele diferite pe 4 biți, inclusiv LFM2.5-1.2B optimizat pe dispozitiv pe un singur M4 Max.
Sunt entuziasmat pentru acesta!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
13
Am construit viitorul AI-ului vocal pe Mac-ul tău. RCLI este aici @RunAnywhereAI!
Pipeline-ul nostru optimizat de voce end-to-end + RAG: vorbire → control instant + răspunsuri documentare, latență ~131ms,
- toate LOCALE
- toate sunt OPEN SOURCE
- toate GRATUITE.
43 de acțiuni, fără cloud, datele tale pentru totdeauna private.
Siri: "Lasă-mă să mă gândesc la asta..."
RCLI: 131 ms voice-to-action. Gata. Următorul.
Experimentează-l — instalează și comandă calculatorul:
curl -fsSL | Bash
Următorul nivel în curs: suport MetalRT (cea mai rapidă decodare Apple Silicon inference 658 tok/s, ASR și TTS puternice).
Mac-ul tău e pe cale să atingă viteza warp!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8 mar., 04:42
Acest startup reprezintă o amenințare serioasă pentru Siri ☠️
Se numește @RunAnywhereAI și tocmai a lansat RCLI: un asistent vocal 100% local care deja îl depășește în viteză și confidențialitate. 131 ms de la un capăt la altul (voce → răspuns vorbit)
⭐️Controlează 43 de acțiuni native macOS (Spotify, Windows, FaceTime, memento-uri...).
⭐️Instant RAG pe PDF-urile și documentele tale.
⭐️Totul offline, fără cloud, fără chei API.
Asta nu e tot.
Ce urmează... Mami.
Fondatorul tocmai a dezvăluit MetalRT (noul său motor TTS făcut cu Metal și ceea ce vezi în videoclip) care atinge 291 ms pentru 5 cuvinte și de 8,4 ori mai rapid decât în timp real.
Când va apărea acea actualizare... Siri o să plângă.
Între timp, REPOOO 👇
165
MetalRT oferă cea mai rapidă inferență TTS pe Apple Silicon.
Rezultate cheie pentru M3 Max:
- 291 ms latență pentru 5 cuvinte, 8,4x RTF, 2,8x mai rapid decât mlx
- Cea mai mică latență înregistrată: 291 ms
- RTF de vârf: 8,8x la intrări mai lungi
Acest lucru permite text-to-speech cu senzație instantanee direct pe dispozitiv.
Cea mai rapidă conductă de AI vocală pe Apple Silicon va veni în curând, alimentată de @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
219
Limită superioară
Clasament
Favorite