Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
życie na krawędzi @runanywhereai (YC W26)
MetalRT właśnie stał się pierwszym kompletnym silnikiem inferencji AI dla Apple Silicon: LLM + STT + TTS od @RunAnywhereAI.
Już mieliśmy najszybsze dekodowanie LLM (658 tok/s).
Teraz zdominowaliśmy również STT i TTS, pokonując MLX w każdej kategorii.
Dzisiejsze wyniki na M4 Max:
- 1-godzinny podcast transkrybowany w ~5 sekund
- 3-godzinne spotkanie transkrybowane w ~15 sekund
- Napisy na żywo bez zauważalnego opóźnienia
- 714x szybsze niż rzeczywisty czas dla STT
- 4.6x szybsze niż MLX Apple w przetwarzaniu mowy na tekst
Wszystkie trzy tryby. Jeden zintegrowany silnik.
A to tylko poszczególne komponenty. Cała pipeline AI głosowego, którą budujemy, będzie NAJSZYBSZA w historii na Apple Silicon. Wkrótce wprowadzenie.
Pełne benchmarki, wykresy i szczegóły w komentarzach.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5 mar, 11:58
W zaledwie 48 godzin w @RunAnywhereAI zbudowaliśmy MetalRT: pokonując @Apple w ich własnej grze i dostarczając NAJSZYBSZY silnik wnioskowania LLM na rynku dla Apple Silicon w tej chwili.
- 570 tok/s dekodowanie @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s dekodowanie @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms czas do pierwszego tokena
- 1.19× szybszy niż własny MLX Apple'a (identyczne pliki modelu)
- 1.67× szybszy niż llama.cpp w średniej
Zdominowaliśmy Apple MLX, llama.cpp, uzu(by TryMirai) i Ollama w czterech różnych modelach 4-bit, w tym zoptymalizowanym na urządzeniu LFM2.5-1.2B na pojedynczym M4 Max.
Podekscytowani tym!
11
Zbudowaliśmy przyszłość AI głosowego na Twoim Macu. RCLI jest tutaj @RunAnywhereAI!
Nasza zoptymalizowana end-to-end pipeline głos + RAG: mów → natychmiastowa kontrola + odpowiedzi na dokumenty, ~131ms opóźnienia,
- wszystko LOKALNE
- wszystko OPEN SOURCE
- wszystko DARMOWE.
43 akcje, brak chmury, Twoje dane na zawsze prywatne.
Siri: „Pozwól, że o tym pomyślę…”
RCLI: 131 ms głos-do-akcji. Zrobione. Następne.
Doświadcz tego—zainstaluj i wydaj polecenia swojemu urządzeniu:
curl -fsSL | bash
Następny poziom nadchodzi: wsparcie dla MetalRT (najszybsza inferencja Apple Silicon 658 tok/s dekodowanie, błyskawiczne ASR i TTS).
Twój Mac zaraz osiągnie prędkość warp!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8 mar, 04:42
Ta startup jest poważnym zagrożeniem dla Siri ☠️
Nazywa się @RunAnywhereAI i właśnie wypuściła RCLI: 100% lokalny asystent głosowy, który już wygrywa z nią pod względem szybkości i prywatności. 131 ms end-to-end (głos → odpowiedź głosowa)
⭐️Kontroluje 43 natywne akcje macOS (Spotify, okna, FaceTime, przypomnienia…).
⭐️Natychmiastowy RAG w twoich PDF-ach i dokumentach.
⭐️Wszystko offline, bez chmury, bez kluczy API.
To nie wszystko.
To, co nadchodzi... mamo.
Założyciel właśnie ujawnił MetalRT (swój nowy silnik TTS stworzony z Metal i to, co widzisz w wideo), który osiąga 291 ms dla 5 słów i jest 8.4x szybszy niż czas rzeczywisty.
Kiedy ta aktualizacja wyjdzie… Siri będzie płakać.
Na razie, REPOOO 👇
151
MetalRT zapewnia najszybsze wnioskowanie TTS na Apple Silicon.
Kluczowe wyniki na M3 Max:
- 291 ms opóźnienia dla 5 słów, 8.4x RTF, 2.8x szybciej niż mlx
- Najniższe zarejestrowane opóźnienie: 291 ms
- Szczytowy RTF: 8.8x przy dłuższych wejściach
To umożliwia natychmiastowe odczucie tekstu na mowę bezpośrednio na urządzeniu.
NAJSZYBSZA pipeline AI głosowego na Apple Silicon wkrótce, zasilana przez @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
217
Najlepsze
Ranking
Ulubione