Транскрибция голоса

Думаю, как ускорить написание текстов. Заманчиво, просто диктовать компьютеру. Но очень много ошибок.

Вот попробовал https://docs.google.com/
Ошибок много, что и следовало ожидать.

Должны были приехать люди из Новгорода бабушка с внуком Пусть бы я Интернет знакомый с внуком поэтому А меня очень хотела видеть женщине скушаливки поэтому я перенёс поездку кушаливку на седьмое восьмого города Мама вот приехал я та женщина с Новгорода была заупокойными в сверла памяти и потом мальчик захотел в аквапарк Мы поехали в аквапарк вообще была идея его туда отправить а сами пойти гулять ребёнка без сопровождения взрослых Там же проход через душевые как и у него в бассейне вот мы пошли через душевые А договор Договорились встретиться на выходе выходим её нет У нас мальчиком стоим А это мои знакомые Нет ну что делать Куда деваться Мы долго ждали потом стали звать по громкой связи в общем поняли там всех на уши все бегали искали Спасатели Ну куда мог человек пропасть вокруг центре в конце концов нашли и она целый час просто стояла и ждала когда мы будем в другом месте а вот сейчас я их проводил встретился с Золушкой и сестрой ходили на бордовский вечер хорошо

Предложил нейросети исправить ошибки и расставить знаки препинания.



Должны были приехать люди из Новгорода: бабушка с внуком. Пусть бы я Интернет знакомый с внуком, поэтому меня очень хотела видеть женщина из Кушаливки. Поэтому я перенёс поездку в Кушаливку на седьмое-восьмое. Мама вот приехала, а та женщина из Новгорода была заупокойными в сверла памяти. Потом мальчик захотел в аквапарк. Мы поехали в аквапарк. Вообще была идея его туда отправить, а самим пойти гулять. Ребёнка без сопровождения взрослых там же проход через душевые, как и у него в бассейне. Вот мы пошли через душевые. Договорились встретиться на выходе. Выходим — её нет. У нас мальчиком стоим. А это мои знакомые. Нет, ну что делать? Куда деваться? Мы долго ждали, потом стали звать по громкой связи. В общем, подняли всех на уши, все бегали, искали. Спасатели... Ну куда мог человек пропасть вокруг центра? В конце концов нашли, и она целый час просто стояла и ждала, когда мы будем в другом месте. А вот сейчас я их проводил, встретился с Золушкой и сестрой, ходили на бордовский вечер. Хорошо.

Н-да. От совершенства далеко...

​16 инструментов для распознавания речи

Как искусственный интеллект может ускорить и повысить качество работы с речью
https://te-st.org/wp-content/uploads...e-ai-tools.png
https://te-st.org/wp-content/uploads...-1-320x320.jpg
Денис ЯгодинВРЕМЯ НА ЧТЕНИЕ 10 МИН
17 ИЮЛЯ 2024
СКАЧАТЬ В PDF

[COLOR=var(--text-color-primary)]Активисты и медиа часто сталкиваются с необходимостью оперативно обрабатывать и анализировать большой объем аудиозаписей. Интервью, пресс-конференции, подкасты – всё это требует точной и желательно быстрой обработки. Но как успеть за потоком информации, когда каждая секунда на счету?
Представьте: вы только что записали интервью по горячей теме. Часы тикают, редакционный дедлайн приближается. Раньше вы бы провели бессонную ночь, расшифровывая каждое слово. Теперь? Нажимаете кнопку, и искусственный интеллект превращает голос в текст быстрее, чем вы успеваете налить кофе.
Это технологии Speech-to-Text (STT) – они не просто экономят время, но и позволяют эффективно анализировать и обрабатывать речевые данные. В этой статье разберем что такое STT и как выбрать правильный инструмент для вашей работы.
Что такое распознавание речи (технология Speech-to-Text)?

Технология Speech-to-Text (STT) или другими словами транскрипция – это процесс преобразования устной речи в текст. Основой этой технологии являются алгоритмы машинного обучения и нейронные сети, которые анализируют оцифрованные звуковые волны и преобразуют их в текст. Двадцать лет назад STT напоминало капризного собеседника. Оно требовало идеальной дикции, тишины и долгой «дрессировки». Пользователи тратили часы, обучая систему своему голосу, только чтобы получить текст, напоминающий послание инопланетян.
От неуклюжего новичка до стенографиста – за 20 лет STT прошла впечатляющий путь. Сегодня STT – технологический полиглот. Она понимает десятки языков, справляется с акцентами и даже распознает, кто говорит в толпе. OpenAI Whisper, например, может работать как локальное приложение на вашем компьютере, превращая речь в текст, сохраняя при этом ваши секреты.
Расшифровка записанной речи

Транскрипционные сервисы позволяют автоматически и часто очень быстро преобразовывать аудиозаписи в текстовые документы, что значительно упрощает обработку интервью, выступлений и подкастов. Среди множества доступных инструментов можно выделить Sonix, Rev, Riverside, Gladia и Whisper. Кроме того, встроенные функции транскрибирования присутствуют в популярных платформах для видеоконференций, как Zoom, Google Meet и Microsoft Teams, но они уступают специализированным сервисам и мы их оставим за скобками этого материала.
Sonix – точность и гибкость в мире многоязычной транскрипции

Сервис способен обрабатывать аудио на множестве языков, автоматически идентифицируя говорящих (диаризация). Уникальная функция «встроенный редактор Sonix» позволяет настраивать интерфейс, редактировать и форматировать распознанный текст. Sonix также предлагает интеграцию с Zoom для автоматической записи и транскрибирования встреч и делает это лучше встроенных инструментов Zoom.
Rev – признанный эксперт в области транскрипции

Этот сервис уже давно на рынке и работает с большими корпорациями, поэтому хорошо подойдет для проектов с большим объемом аудио.Также Rev предлагает как AI-транскрипцию, так и услуги человека-транскрибера, обеспечивая гибкость в зависимости от требований к точности. Отличительная черта Rev — возможность создания глоссария для специфических терминов, что повышает точность при работе с узкоспециализированным контентом.
Riverside – комплексное решение для записи и транскрипции

Уникальная особенность – возможность редактирования текста транскрипции, что автоматически синхронизируется с аудио/видео файлом. Это особенно полезно для создания подкастов, где требуется точная синхронизация текста и медиа. Например, вы можете работать с подкастом как с текстовым документом: удаляя, добавляя или перемещая слова в транскрипте, вы автоматически вносите соответствующие изменения в аудиофайл. Такой метод позволяет легко удалять оговорки, повторы или нежелательные фрагменты. Riverside также предлагает инструменты для улучшения звука и удаления фоновых шумов, что повышает качество как аудио, так и транскрипций.
Whisper – многоязычная транскрипция для конфиденциальных данных

Whisper от OpenAI — это open source модель распознавания речи, поддерживающая множество языков и работающая локально. Это обеспечивает приватность и адаптивность, что важно для работы с конфиденциальной информацией. Whisper обучен на более чем 680 000 часах многоязычных данных, что делает его одним из самых универсальных инструментов на рынке. Но для работы с Whisper придется поставить его на компьютер, а для этого понадобятся хотя бы базовые знания python. Скандинавский медиаконгломерат Schibsted использует технологию Whisper для своего бесплатного сервиса транскрибирования Jojo (доступен на MacOS). Также у них есть бесплатное решение с открытым кодом, которое можно установить на свой сервер для безопасной обработки аудиозаписей командой.
Gladia – быстрая многоязычная транскрипция с щедрым бесплатным планом

Этот сервис привлекает щедрым бесплатным планом (10 часов обработки в месяц) и качеством распознавания. Сервис автоматически определяет язык и распределяет роли говорящих, что критично для оперативных новостных сводок и многоязычных проектов. Gladia использует усовершенствованную версию модели Whisper, названную Whisper-Zero, которая практически полностью устраняет проблему галлюцинаций при транскрипции, обеспечивая повышенную точность на 10-15% по сравнению с оригинальным Whisper. Также Gladia работает с видеофайлами (не больше 500 мб) и ссылками на youtube.
В работе журналистов и активистов часто встречаются аудиоматериалы низкого качества — зашумленные, приглушенные или искаженные из-за плохих условий записи. Для решения этой проблемы есть бесплатный онлайн-сервис Enhanced Speech от Adobe, использующий ИИ для улучшения качества речи. Он способен превратить некачественную запись в материал студийного звучания, поддерживает файлы mp3 и wav длительностью до часа и размером до 1 ГБ. Enhanced Speech эффективно фильтрует шумы, настраивает высоту тона и громкость, что полезно при работе с архивными записями или полевыми интервью.

Сервис	Бесплатный план	Платный план (ежемесячно)	Языки
Sonix	30 минут	$10/час или $22/месяц	русский + 49 языков
Rev	Нет	$1.50/мин	русский + 35 языков
Riverside	функция транскрибирования доступна в платной версии	$15/месяц	русский + 100 языков
Gladia	10 часов	0.612$/за час	русский + 98 языков
Whisper	Open source	Бесплатно	русский + 96 языков

AI-стенографисты

AI помощники для встреч автоматизируют записи, анализ и управление встречами. Они не только снимают нагрузку с участников, позволяя сосредоточиться на обсуждениях, но и помогают сохранять и организовывать информацию для дальнейшего использования. Выбор конкретного помощника зависит от специфических нужд команды: от глубокой аналитики и поиска до простого и бесплатного решения для записи встреч
Fireflies.ai – умный ассистент для конспектов онлайн встреч

Не только транскрибирует разговоры, но и создает конспекты, выделяя ключевые темы и инсайты. Удобная функция поиска по истории встреч позволяет находить релевантную информацию, что важно для долгосрочных проектов и комплексных кампаний. Интеграция с популярными инструментами для совместной работы (Zoom, Google Meet, MS Teams, Skype) позволяет использоать Fireflies.ai в управлении знаниями организации. Более того, система способна автоматически выделять действия и задачи из контекста разговора, существенно упрощая написание follow-up после встреч.
Avoma – анализ коммуникаций для предсказания результатов переговоров

Алгоритмы Avoma не просто фиксируют слова, но и анализируют тон, эмоции и динамику обсуждений. Это позволяет выявлять паттерны коммуникации, оценивать эффективность выступлений и даже (как заявляют разработчики) предсказывать результаты переговоров. Также интересна функция, которая отслеживает упоминания организаций и контекст упоминаний, что особенно полезно для стратегического планирования кампаний.
tl;dv – семантический навигатор по архивам аудиозаписей

tl;dv (too long; didn’t view) не только транскрибирует речь, но и создает семантическую карту разговора, позволяя осуществлять контекстный поиск по ключевым фразам и концепциям. Это удобно, когда необходимо быстро находить конкретные цитаты или темы в обширных архивах аудиозаписей. Функция создания коротких видеоклипов из длинных записей позволяет легко делиться ключевыми моментами встреч, что идеально подходит для создания контента в социальных медиа и внутренних коммуникаций.
Fathom — бесплатная высококачественная транскрипция и анализ встреч

Fathom стоит особняком в мире AI-ассистентов, предлагая высококачественные функции транскрипции и анализа встреч совершенно бесплатно для индивидуальных пользователей. Несмотря на отсутствие платы, у Fathom такие же как у конкурентов функции для точного распознавания речи и создания структурированных конспектов. Это делает его идеальным выбором для небольших организаций и независимых активистов, позволяя им использовать преимущества AI без финансовых затрат. Уникальная функция Fathom — возможность настройки оповещений на ключевые слова, что позволяет мгновенно реагировать на важные темы в режиме реального времени.
При выборе онлайн ассистента для встреч будьте осторожны с предоставлением им доступа к своему рабочему и личному календарю. Эти инструменты по умолчанию подключаются к календарям и если видят в нем встречу, где указана ссылка на Zoom, Google Meet или другие сервисы, то автоматически приходят на встречу, чем могут напугать ее участников.

Инструмент	Подходит для	Платформы	Бесплатный план
Fireflies	Работа в команде и отслеживание тем	Zoom, Meet, Teams, Webex, GoTo Meeting, Skype, Dialpad	800 минут хранения встреч
Avoma	Аналитика разговоров	Zoom, Meet, Teams, Blue Jeans, GoTo Meeting, Uber Conference, Lifesize	1200 минут в месяц, хранение до 3 месяцев
tl;dv	Поиск по встречам	Zoom, Meet, Teams	Неограниченная транскрипция для Zoom и Meet
Fathom	Небольших организаций с маленьким бюджетом	Zoom, Meet, Teams	Бесплатная версия для индивидуальных пользователей

Голосовой набор текста

Программы для диктовки позволяют преобразовывать устную речь в текст в реальном времени, что значительно упрощает создание заметок, статей и других документов. Рассмотрим некоторые из самых популярных программ для диктовки, доступных сегодня.
Встроенные решения от бигтеха

В современные мобильные и компьютерные системы и офисные продукты уже встроены такие инструменты. Например, Windows Speech Recognition, встроенный в Windows 11, поддерживает 11 языков и работает во всех приложениях системы. Apple Dictation, работающая на базе Siri, доступен на macOS, iOS и iPadOS, поддерживая 59 языков и диалектов. При этом обеспечивает автономную работу без интернета.
У Google есть инструменты Gboard и Google Docs Voice Typing. Мобильная клавиатура с функцией диктовки Gboard, доступная на Android и iOS, предлагает высокую точность распознавания при длительном использовании (во время которого обучается на вашем общении с ней, но это можно отключить) и интегрируется с веб-поиском и переводом. Google Docs Voice Typing, функция голосового ввода, встроенная в Google Docs, менее точная, чем GBoard , но из-за интеграции с экосистемой Google Workspace это привлекательный выбор.
Dragon и Otter – ветеран и новатор в распознавании речи

Dragon by Nuance, пионер в области распознавания речи, предлагает специализированные пакеты для различных отраслей, в том числе позволяет настраивать словарь и создавать текстовые шаблоны. А Otter, сервис, который также может выступать в роли AI-ассистента для онлайн встреч, не только транскрибирует речь, но и разделяет говорящих, извлекает ключевые слова и генерирует заметки. Для диктовки также можно использовать сервис Gladia, который мы упоминали ранее, или вы можете записать речь на диктофон и использовать любой из сервисов транскрибирования.
Xenova Realtime Whisper – Whisper в браузере для мгновенной транскрипции

Еще один новый инструмент Xenova Realtime Whisper (требуется поддержка WebGPU в браузере) использует модель OpenAI Whisper для распознавания речи в реальном времени прямо в браузере. Это открытая модель и воспользоваться ей можно на сайте репозитория ML моделей Huggingace. Это удобный инструмент для быстрой диктовки прямо в браузере, а при необходимости в конфиденциальности, эту модель можно установить локально на компьютер (но без знаний python не обойтись).

Программа	Подходит для	Платформы	Бесплатный план
Apple Dictation	Бесплатная диктовка на устройствах Apple	iOS, macOS, iPadOS, Apple Watch	Включен в macOS, iOS, iPadOS и Apple Watch
Windows 11 Speech Recognition	Бесплатная диктовка на Windows	Windows 11	Включен в Windows 11 или в подписку Microsoft 365
Dragon by Nuance	Настраиваемое приложение для диктовки	iOS, Android, Windows, macOS	$15/мес для Dragon Anywhere (iOS и Android); от $200 до $500 для настольных версий
Gboard	Бесплатная мобильная диктовка	iOS, Android	Бесплатно
Google Docs voice typing	Диктовка в Google Документы	Любая платформа с доступом к Google Docs	Бесплатно
Xenova Realtime Whisper WebGPU	Диктовка с высоким уровнем конфиденциальности (если установить на компьютер)	Веб-приложение	Бесплатно
Gladia	Диктовка в браузере с разделением ролей	Веб-приложение	Бесплатно

Заключение

Технологии Speech-to-Text (STT) значительно повышают эффективность обработки и анализа устной информации. При выборе инструмента STT важно учитывать конкретные задачи и условия работы. Для транскрибирования интервью и подкастов Sonix предлагает высокую точность, в то время как Rev обеспечивает быструю обработку и позволяет подключать человека для работы с транскриптами. Тем, кто ищет бесплатные решения, стоит обратить внимание на Whisper для локального использования или Gladia, предоставляющую 10 бесплатных часов в месяц.
В сфере автоматизации встреч и анализа разговоров Fireflies.ai выделяется возможностями работа в команде и отслеживания тем, а Avoma предлагает глубокий анализ дискуссий. Бесплатные опции включают tl;dv с неограниченной транскрипцией для Zoom и Google Meet, а также полностью бесплатный для индивидуальных пользователей Fathom. Эти инструменты особенно полезны для повышения продуктивности онлайн-встреч и извлечения ценных инсайтов из обсуждений.
Для диктовки текста в реальном времени пользователи Apple могут воспользоваться встроенной функцией Apple Dictation, а пользователи Windows — Speech Recognition в Windows 11. Dragon by Nuance предлагает высокую точность и настраиваемость для профессионального использования. Бесплатные мобильные решения включают Gboard для Android и iOS, а также Google Docs voice typing, доступный через веб-интерфейс. В особых случаях, когда требуется улучшение качества аудио, можно обратиться к Enhanced Speech от Adobe или новый бесплатный продукт от Eleven Labs Voice Isolator, а для работы в браузере с высоким уровнем конфиденциальности подойдет Xenova Realtime Whisper.
Использование этих инструментов STT позволит оптимизировать свою работу, сэкономить время и усилия при обработке устной информации. Но при выборе технологии важно учитывать не только функциональность, но и аспекты безопасности и конфиденциальности, особенно при работе с чувствительными данными.

Попробовал Gladia

Результат ужасен

00:00:02
30 июня.
00:00:05
Я был на маленькой кушлевке.
00:00:08
Блин.
00:00:09
Ой
00:00:12
1 июля
00:00:16
в центре и на проспекте. Что было в Чесноборном, я толком не помню.
00:00:24
Может быть, в тот день...
00:00:26
Аааааа
00:00:31
Может быть, нам стоит сходить в театр в этот день? О
00:00:34
Ой
00:00:36
Мы хотели поехать в Таврический 2 июля. Сад был закрыт, деревья убраны.
00:00:44
Мы пошли в музей Суворова.
00:00:50
Я познакомилась с очень странной женщиной 75 лет, спортсменкой, о которой мы говорили.
00:00:58
Я сказал, что она наблюдает за товарищем Кисачием через забор, и я хочу взять у нее номер телефона.
00:01:05
Я сказал ему, что не дружу с мечами. Меа, я в середине своего опуса.
00:01:11
Ну, Влада отвезли в больницу.
00:01:19
ты
00:01:21
ты
00:01:21
ты
00:01:23
ты
00:01:24
ты
00:01:27
Спасибо.
00:01:30
Так.
00:01:33
ты
00:01:36
ты
00:01:37
ты
00:01:52
Хорошо.
00:02:00
ты
00:02:13
ты
00:02:15
ты
00:02:27
ты
00:02:42
Ты
00:02:42
Мм-хмм
00:02:46
Спасибо.
00:02:46
ты
00:02:54
ты
00:03:02
ты
00:03:05
ты
00:03:07
ты
00:03:11
ты
00:03:12
Спасибо.
00:03:21
ты
00:03:22
ты
00:03:24
Спасибо.
00:03:36
Спасибо
00:03:37
ты
00:03:38
Спасибо.
00:03:55
Спасибо.
00:03:58
ты
00:04:08
Хорошо.
00:04:11
ты
00:04:12
ты
00:04:12
ты
00:04:17
Спасибо.
00:04:17
Хорошо.
00:04:19
Спасибо.
00:04:24
ты
00:04:24
ты
00:04:33
ты
00:04:38
ты
00:04:46
ты
00:04:49
ты
00:05:13
ты
00:05:17
ты
00:06:10
ты
00:06:11
ты
00:06:13
ты
00:06:15
ты
00:06:16
ты
00:06:20
Спасибо.
00:06:23
Спасибо.
00:06:28
ты
00:07:30
Конечно.
00:09:44
ты
00:09:44
ты
00:09:46
ты
00:09:49
Спасибо.
00:09:57
ты
00:09:58
Спасибо. ты
00:10:03
М-м-м.
00:10:07
Спасибо.
00:10:43
Спасибо.
00:10:54
ты
00:10:55
ты
00:11:01
ты
00:11:04
ты
00:11:12
ты
00:11:13
Ты
00:11:20
ты
00:11:21
ты
00:11:29
ты
00:11:31
Прохладный.
00:11:35
ты
00:11:38
ты
00:11:41
ты
00:11:44
ты
00:11:54
ты
00:12:00
you
00:12:17
you
00:12:18
you
00:12:19
ты
00:12:20
ты
00:12:27
ты
00:12:34
ты
00:12:42
ты
00:12:45
ты
00:12:50
ты
00:12:53
ты
00:12:55
ты
00:12:56
ты
00:13:18
Спасибо
00:13:19
ты
00:13:20
Спасибо
00:13:24
ты
00:13:24
ты
00:13:25
ты
00:13:29
ты
00:13:30
ты
00:13:35
ты
00:13:37
ты
00:13:43
ты
00:13:59
Спасибо.
00:14:02
ты
00:14:07
Спасибо.
00:14:07
Хорошо.
00:14:09
ты
00:14:10
ты
00:14:16
Спасибо
00:14:17
ты
00:14:23
ТАМУ!
00:14:25
ты
00:14:30
ты
00:14:31
Хм
00:14:37
Спасибо.
00:14:42
ты
00:14:43
ты
00:14:47
ты
00:15:02
Спасибо.
00:15:07
ты
00:15:08
ты
00:15:19
Спасибо.
00:15:25
ты
00:15:32
ты
00:15:32
ты
00:15:33
Хорошо.
00:15:34
Хорошо.
00:15:38
ты
00:15:43
ты
00:15:44
ты
00:15:46
ты
00:15:56
ты
00:15:57
ты
00:15:59
ты
00:16:07
Галочка,
00:16:15
Спасибо.
00:16:22
ты
00:16:29
ты
00:16:32
Пока.
00:16:36
ты
00:16:37
ты
00:16:38
Хорошо.
00:16:47
ты
00:16:49
ты
00:16:51
ты
00:16:55
ты
00:16:58
Спасибо.
00:17:03
ты
00:17:10
ты
00:17:11
ты
00:17:19
ты
00:17:21
ты
00:17:27
ты
00:17:28
ты
00:17:38
Хорошо.
00:17:40
ты
00:17:41
ты
00:17:43
Спасибо.
00:17:49
ты
00:17:51
ты
00:17:51
Хорошо.
00:17:53
ты
00:17:55
Галочка,
00:18:01
ты
00:18:17
ты
00:18:20
Хорошо.
00:18:22
ты
00:18:23
ты
00:18:27
ты
00:18:28
ты
00:18:31
ты