Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
Das Leben am Rand @runanywhereai leben (YC W26)
MetalRT ist gerade die erste vollständige KI-Inferenz-Engine für Apple Silicon geworden: LLM + STT + TTS von @RunAnywhereAI.
Wir hatten bereits die schnellste LLM-Dekodierung (658 tok/s).
Jetzt haben wir auch STT und TTS übertroffen und MLX in allen Bereichen geschlagen.
Die heutigen Zahlen auf M4 Max:
- 1-stündiger Podcast in ~5 Sekunden transkribiert
- 3-stündige Besprechung in ~15 Sekunden transkribiert
- Live-Untertitelung mit null wahrnehmbarer Verzögerung
- 714x schneller als Echtzeit für STT
- 4,6x schneller als Apples MLX bei Sprache-zu-Text
Alle drei Modalitäten. Eine einheitliche Engine.
Und das sind nur die einzelnen Komponenten. Die vollständige Sprach-KI-Pipeline, die wir darauf aufbauen, wird die SCHNELLSTE aller Zeiten auf Apple Silicon sein. Bald verfügbar.
Vollständige Benchmarks, Diagramme und Details in den Kommentaren.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5. März, 11:58
In nur 48 Stunden haben wir bei @RunAnywhereAI MetalRT entwickelt: Wir haben @Apple in ihrem eigenen Spiel geschlagen und die SCHNELLSTE LLM-Inferenz-Engine auf dem Markt für Apple Silicon geliefert.
- 570 tok/s Dekodierung @liquidai LFM 2.5-1.2B 4-Bit
- 658 tok/s Dekodierung @Alibaba_Qwen Qwen3-0.6B, 4-Bit
- 6,6 ms Zeit bis zum ersten Token
- 1,19× schneller als Apples eigenes MLX (identische Modell-Dateien)
- 1,67× schneller als llama.cpp im Durchschnitt
Wir haben Apple MLX, llama.cpp, uzu (von TryMirai) und Ollama über vier verschiedene 4-Bit-Modelle hinweg geschlagen, einschließlich des auf dem Gerät optimierten LFM2.5-1.2B auf einem einzelnen M4 Max.
Ich bin auf dieses hier gespannt!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
19
Wir haben die Zukunft der Sprach-KI auf deinem Mac entwickelt. RCLI ist hier @RunAnywhereAI!
Unsere optimierte End-to-End Sprach- + RAG-Pipeline: sprechen → sofortige Kontrolle + Dokumentantworten, ~131ms Latenz,
- alles LOKAL
- alles OPEN SOURCE
- alles KOSTENLOS.
43 Aktionen, keine Cloud, deine Daten für immer privat.
Siri: „Lass mich darüber nachdenken…“
RCLI: 131 ms Sprach-zu-Aktion. Erledigt. Nächster.
Erlebe es—installiere & steuere deine Maschine:
curl -fsSL | bash
Nächste Stufe kommt: MetalRT-Unterstützung (schnellste Apple Silicon Inferenz 658 tok/s Dekodierung, blitzschnelles ASR und TTS).
Dein Mac wird gleich Warpgeschwindigkeit erreichen!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8. März, 04:42
Dieses Startup ist eine ernsthafte Bedrohung für Siri ☠️
Es heißt @RunAnywhereAI und hat gerade RCLI veröffentlicht: einen 100% lokalen Sprachassistenten, der bereits in Geschwindigkeit und Datenschutz überlegen ist. 131 ms End-to-End (Sprache → gesprochene Antwort)
⭐️Steuert 43 native macOS-Aktionen (Spotify, Fenster, FaceTime, Erinnerungen…).
⭐️Sofortige RAG in deinen PDFs und Dokumenten.
⭐️Alles offline, ohne Cloud, ohne API-Schlüssel.
Das ist noch nicht alles.
Was kommt... mamita.
Der Gründer hat gerade MetalRT enthüllt (seine neue TTS-Engine, die mit Metal und dem, was du im Video siehst, erstellt wurde), die 291 ms für 5 Wörter erreicht und 8,4x schneller ist als die Echtzeit.
Wenn dieses Update herauskommt… wird Siri weinen.
In der Zwischenzeit, REPOOO 👇
175
MetalRT liefert die schnellste TTS-Inferenz auf Apple Silicon.
Wichtige Ergebnisse auf M3 Max:
- 291 ms Latenz für 5 Wörter, 8,4x RTF, 2,8x schneller als mlx
- Niedrigste aufgezeichnete Latenz: 291 ms
- Spitzen-RTF: 8,8x bei längeren Eingaben
Dies ermöglicht ein sofortiges Text-zu-Sprache-Gefühl direkt auf dem Gerät.
Schnellste Voice-AI-Pipeline auf Apple Silicon kommt bald, betrieben von @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
225
Top
Ranking
Favoriten