Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Sanchit monga
Жизнь на грани @runanywhereai (YC W26)
MetalRT только что стал первым полным движком для вывода ИИ для Apple Silicon: LLM + STT + TTS от @RunAnywhereAI.
У нас уже был самый быстрый декодер LLM (658 ток/с).
Теперь мы также победили STT и TTS, обойдя MLX по всем параметрам.
Сегодняшние показатели на M4 Max:
- 1-часовой подкаст расшифрован за ~5 секунд
- 3-часовая встреча расшифрована за ~15 секунд
- Живые субтитры без заметной задержки
- 714x быстрее реального времени для STT
- 4.6x быстрее, чем MLX от Apple по преобразованию речи в текст
Все три модальности. Один унифицированный движок.
И это только отдельные компоненты. Полный голосовой ИИ-пipeline, который мы строим, будет САМЫМ БЫСТРЫМ на Apple Silicon. Запуск скоро.
Полные бенчмарки, графики и детали в комментариях.
#AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI
5 мар., 11:58
Всего за 48 часов в @RunAnywhereAI мы создали MetalRT: обогнав @Apple в их же игре и предоставив САМЫЙ БЫСТРЫЙ движок вывода LLM на рынке для Apple Silicon прямо сейчас.
- 570 ток/с декодирование @liquidai LFM 2.5-1.2B 4-бит
- 658 ток/с декодирование @Alibaba_Qwen Qwen3-0.6B, 4-бит
- 6.6 мс время до первого токена
- 1.19× быстрее, чем собственный MLX от Apple (идентичные файлы модели)
- 1.67× быстрее, чем llama.cpp в среднем
Мы обошли Apple MLX, llama.cpp, uzu (от TryMirai) и Ollama по четырем различным 4-битным моделям, включая оптимизированную для устройства LFM2.5-1.2B на одном M4 Max.
В восторге от этого!
15
Мы построили будущее голосового ИИ на вашем Mac. RCLI здесь @RunAnywhereAI!
Наш оптимизированный конвейер голос + RAG от начала до конца: разговор → мгновенное управление + ответы на документы, ~131 мс задержки,
- все ЛОКАЛЬНО
- все ОТКРЫТЫЙ ИСТОЧНИК
- все БЕСПЛАТНО.
43 действия, без облака, ваши данные навсегда приватны.
Siri: "Дайте мне подумать об этом..."
RCLI: 131 мс голос-к-действию. Готово. Следующий.
Попробуйте это — установите и управляйте своим устройством:
curl -fsSL | bash
Следующий уровень на подходе: поддержка MetalRT (самая быстрая инференция Apple Silicon 658 ток/с декодирование, молниеносный ASR и TTS).
Ваш Mac готов к сверхсветовой скорости!
#OnDevice #MetalRT #YCW26 #NoMoreWaiting
8 мар., 04:42
Этот стартап представляет собой серьезную угрозу для Siri ☠️
Он называется @RunAnywhereAI и только что выпустил RCLI: 100% локальный голосовой помощник, который уже обгоняет Siri по скорости и конфиденциальности. 131 мс от начала до конца (голос → ответ).
⭐️ Управляет 43 нативными действиями macOS (Spotify, окна, FaceTime, напоминания…).
⭐️ Мгновенный RAG в ваших PDF и документах.
⭐️ Все оффлайн, без облака, без API ключей.
Это еще не все.
То, что нас ждет... мамочка.
Основатель только что раскрыл MetalRT (новый TTS движок, созданный с помощью Metal и того, что вы видите на видео), который достигает 291 мс для 5 слов и в 8.4 раза быстрее реального времени.
Когда выйдет это обновление… Siri будет плакать.
А пока, REPOOO 👇
168
MetalRT обеспечивает самую быструю TTS-инференцию на Apple Silicon.
Ключевые результаты на M3 Max:
- 291 мс задержки для 5 слов, 8.4x RTF, на 2.8x быстрее, чем mlx
- Зафиксированная минимальная задержка: 291 мс
- Пиковый RTF: 8.8x на более длинных входах
Это позволяет мгновенно воспринимаемую текстовую речь непосредственно на устройстве.
САМЫЙ БЫСТРЫЙ голосовой ИИ-пайплайн на Apple Silicon скоро будет запущен при поддержке @RunAnywhereAI
#AppleSilicon #TTS #MetalRT #OnDeviceAI #runanywhere
221
Топ
Рейтинг
Избранное