Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
viver a vida no limite @runanywhereai (YC W26)
O MetalRT acaba de se tornar o primeiro motor de inferência de IA completo para Apple Silicon: LLM + STT + TTS por @RunAnywhereAI.
Já tínhamos a decodificação LLM mais rápida (658 tok/s).
Agora também superamos o STT e o TTS, batendo o MLX em todos os aspectos.
Os números de hoje no M4 Max:
- Podcast de 1 hora transcrito em ~5 segundos
- Reunião de 3 horas transcrita em ~15 segundos
- Legendas ao vivo com zero atraso perceptível
- 714x mais rápido que o tempo real para STT
- 4.6x mais rápido que o MLX da Apple em fala-para-texto
Todas as três modalidades. Um motor unificado.
E isso é apenas os componentes individuais. O pipeline completo de IA de voz que estamos construindo em cima será o MAIS RÁPIDO de sempre no Apple Silicon. Lançamento em breve.
Benchmarks completos, gráficos e detalhes nos comentários.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5/03, 11:58
Em apenas 48 horas na @RunAnywhereAI, construímos o MetalRT: superando a @Apple no seu próprio jogo e entregando o MOTOR de inferência LLM MAIS RÁPIDO do mercado para Apple Silicon neste momento.
- 570 tok/s decodificação @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s decodificação @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms tempo até o primeiro token
- 1.19× mais rápido que o próprio MLX da Apple (arquivos de modelo idênticos)
- 1.67× mais rápido que llama.cpp em média
Destruímos a Apple MLX, llama.cpp, uzu(by TryMirai) e Ollama em quatro modelos diferentes de 4-bit, incluindo o LFM2.5-1.2B otimizado para dispositivo em um único M4 Max.
Empolgado por este!
18
Construímos o futuro da IA de voz no seu Mac. O RCLI está aqui @RunAnywhereAI!
O nosso pipeline otimizado de voz + RAG de ponta a ponta: falar → controlo instantâneo + respostas de documentos, ~131ms de latência,
- tudo LOCAL
- tudo CÓDIGO ABERTO
- tudo GRÁTIS.
43 ações, sem nuvem, os seus dados para sempre privados.
Siri: “Deixe-me pensar sobre isso…”
RCLI: 131 ms de voz para ação. Feito. Próximo.
Experimente—instale e comande a sua máquina:
curl -fsSL | bash
Próximo nível a chegar: suporte a MetalRT (a inferência mais rápida em Apple Silicon 658 tok/s de decodificação, ASR e TTS impressionantes).
O seu Mac está prestes a atingir velocidade de dobra!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8/03, 04:42
Esta startup é uma séria ameaça para a Siri ☠️
Chama-se @RunAnywhereAI e acaba de lançar o RCLI: um assistente de voz 100% local que já a supera em velocidade e privacidade. 131 ms de ponta a ponta (voz → resposta falada)
⭐️Controla 43 ações nativas do macOS (Spotify, janelas, FaceTime, lembretes…).
⭐️RAG instantâneo nos teus PDFs e documentos.
⭐️Tudo offline, sem nuvem, sem chaves de API.
Isso não é tudo.
O que vem por aí... mamita.
O fundador acaba de revelar o MetalRT (seu novo motor TTS feito com Metal e o que vês no vídeo) que consegue 291 ms para 5 palavras e 8.4x mais rápido que o tempo real.
Quando essa atualização sair… a Siri vai chorar.
Enquanto isso, REPOOO 👇
174
O MetalRT oferece a inferência TTS mais rápida em Apple Silicon.
Resultados principais no M3 Max:
- 291 ms de latência para 5 palavras, 8.4x RTF, 2.8x mais rápido que mlx
- Menor latência registrada: 291 ms
- RTF máximo: 8.8x em entradas mais longas
Isto permite uma conversão de texto em fala que parece instantânea diretamente no dispositivo.
A pipeline de IA de voz mais RÁPIDA em Apple Silicon está a chegar em breve, alimentada por @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
224
Top
Classificação
Favoritos