Обсуждение словарей

Подскажите пожалуйста где можно достать словари для Ольки и как их вообще подключать?

Цитата :: Подскажите пожалуйста где можно достать словари для Ольки и как их вообще подключать?

http://ifolder.ru/8796587 пробный словарь вылаженный товарищем Stroodder на одном из форумов. Подключается следующим образом:
кидаеш его на любой диск желательно в корень главное чтоб в пути небыло русских символов. В реестре находиш эту ветку

Цитата :: [HKEY_LOCAL_MACHINE\SOFTWARE\Loquendo\LTTS7\LoqSAPI5]

и добавляеш эту строку

Цитата :: "Lex.1049"="e:/ggg.lex"

путь к словарю указываешь свой. В любой читалке под SAPI5 должон работать.
Если есть решение проще? прошу поправить.

trubodur пишет:

В реестре находиш эту ветку

Цитата :: [HKEY_LOCAL_MACHINE\SOFTWARE\Loquendo\LTTS7\LoqSAPI5]

и добавляеш эту строку

Цитата :: "Lex.1049"="e:/ggg.lex"

путь к словарю указываешь свой. В любой читалке под SAPI5 должон работать.

Пожалуйста,объясните ламеру : Lex.1049 - это строка,а e:/ggg.lex это путь к файлу(типа для примера). Или строка "Lex.1049"="e:/ggg.lex" , а путь писать всё равно свой.Просто я от реестра ужасно далёкий.

Цитата :: Lex.1049 - это строка,а e:/ggg.lex это путь к файлу(типа для примера)

ага все так и есть

Спасибо , словарь подключил. Дальше уже пошли личные симпатии - послушал я Ольгу и вернулся к Алёне,у неё голос всё-таки помягче будет.

там появился редактор словарей для ольки

Stroodder пишет:: Выложил редактор словаря http://ifolder.ru/9060496 для Ольги. На боевое тестирование времени пока нет, поэтому о найденных глюках пишите в личку или на форуме.
http://forum.ru-board.com/topic.cgi?forum=5&topic=21094&start=280#18

кто пользуется отпишитесь как оно? а то в системе пока кроме аленки ничего нет а интересно как дела у нее с редактированием словаря. Question

V.I.P. Сообщений : 97 Репутация : 7

Привет всем. Я уже перезалить успел Smile

ссылку на редактор поместил в раздел причиндалов для Ольги.

Скачал себе и опробовал все движки(Николя, Алёну, Катерину, Ольгу). Ну Николай, классика, поэтому про него промолчу. Имхо, Ольга лучше остальных включая и самого Николая, и слова не "жуёт", и звук почетче без звонов, хрипов нет, читает быстро красиво. Поэтому, имхо нужно для неё словарь разрабатовать!)

Цитата :: "Lex.1049"="e:/ggg.lex"

Буква диска должна быть большой. Долго не мог понять, почему не получается. оказалось - просто регистр поменять E:/ggg.lex

Сложилось впечатление, что размер файла словаря обрабатываемый ольгой-движком имеет определенный предел.
Кто-нибудь уточнял границу?

Скажите где брать словарь для этого голоса?

SNY пишет:: Скачал себе и опробовал все движки(Николя, Алёну, Катерину, Ольгу). Ну Николай, классика, поэтому про него промолчу. Имхо, Ольга лучше остальных включая и самого Николая, и слова не "жуёт", и звук почетче без звонов, хрипов нет, читает быстро красиво. Поэтому, имхо нужно для неё словарь разрабатовать!)

Кажется Ольга действительно идет после Николая на втором мете, а есть ли для нее словарь с расширением (.dic) для балаболки?

Цитата :: а есть ли для нее словарь с расширением (.dic) для балаболки?

в новой версии балаболки есть небольшой словарик омографов для ольги

Stroodder пишет:: Ну я выложил лишь словари фильтры, словари dic - любые словари, разработанные для Николая. Например словари отсюда: vector-ski.ru/vecs/govorilka/dic.htm

Скажите, а словарь от Николая полностью подходит к Ольге, т.е. ошибки произношения те же?

david
Словарь от Николая абсолютно НЕ подходит к Ольге. То есть определённый процент слов они оба читают неправильно и в этом случае словари Николая полезны. Но подавляющее большинство тех слов Ольга читает правильно. Достаточно запустить конвертирование Николаевского exc_rus.txt в LoqLexer и посмотреть на количество отсеянных слов. Кроме того, у Ольги свои причуды, которых не было у Николая (следовательно некоторых слов никогда не встретишь в словарях Николая).
А *.dic, насколько я знаю, не конвертируются пока ничем. Так что вот - огромная избыточность с таким подходом, этот факт надо учесть. Зато некий quick start для работы с Ольгой.

V.I.P. Сообщений : 97 Репутация : 7

Да, корректней всего править родной словарь или лучше сразу составлять новый на основе *.dic Хотя многие словари, напр. ёфикации, даты, числа времени можно использовать неглядя. А вообще, если не акдемизировать, то избыточность не так уж и страшна в словарях dic. Современные машины кушают многомегабайтные словари и не давятся, главное, чтобы коллизий в таких словарях не было. Вобщем есть возможность использовать два подхода работы с Ольгой, а кто уж чем будет пользоваться это дело каждого Smile

. Правда есть еще и третий подход на основе файла rex, но он практически дублирует словари программы, поэтому особого удобства в нем не вижу, кроме опять же академизированности.

Словарь от Николая мало подходит для Ольги. Прочитал файл License.xUSSR.txt от FAR. Со словарем больше ошибок, чем без него. Почему указание ударения в слове "используете" не исправляет произношения?

V.I.P. Сообщений : 97 Репутация : 7

Есть большой словарь Зализняка для Ольги. Удалены дубликаты, удалены слова, которые Ольга произносит правильно. Плюсы - собсно Зализняк Smile

, минусы - ударение многих омографов проставляются в редковстречающейся форме, обработка автоматическая, поэтому могут быть казусы (хотя скорей всего это будет нечасто). Если кому-нибудь нужно - выложу.

З.Ы. Ищу наиболее полный перечень омографов рус. яз, если кто-нибудь поможет буду признателен.

V.I.P. Сообщений : 97 Репутация : 7

lev55
Правила не прослушивал (много их), частые варианты типа комУ/кОму, ужЕ/Уже придется убирать вручную, короче говоря нужно будет обработать напильником под себя. Smile

Проблемные случаи с "го"="во" и "ечно"="ешна" отсеял алгоритмом.
Спасибо за ссылки.

Выложил словарь в двух форматах - lex и dic здесь.

Добавлено: А где достать версию Pro словаря для solarix?

V.I.P. Сообщений : 137 Репутация : 16

Stroodder

Цитата :: Есть большой словарь Зализняка для Ольги

А зачем он нужен, если есть Книгодел (на форуме отдельная тема есть)? Проставляющий ударение правильно в 99% омонимов? И словарь больше и алгоритмы для определения омонимов есть... И обработка автоматическая...

Ольга очень часто не воспринимает некоторые слова из словарей SAPI. кто нибудь уловолил логигику отказов?

V.I.P. Сообщений : 97 Репутация : 7

rquester
А зачем нужна "Балаболка" и лишние SAPI-движки, такие как Николай, Ольга и Алена - ведь есть же "Книгодел"...? Smile

Вообще этой темы касались, повторяться не хочется.

V.I.P. Сообщений : 137 Репутация : 16

Stroodder

Цитата :: А зачем нужна "Балаболка" и лишние SAPI-движки, такие как Николай, Ольга и Алена - ведь есть же "Книгодел"...?

Особой необходимости именно в Балаболке нет - есть куча программ с близкой функциональностью, хотя, возможно, она одна из лучших. А так, скажем, Ударятель точно также может синтезировать речь с помощью имеющихся движков и записывать mp3/ogg/wav.
Вот голосовые движки нужны - на данный момент, даже если взять все имеющиеся голоса (вне зависимости от качества и стоимости), их будет недостаточно для того, чтобы, скажем озвучивать субтитры разными голосами (грубо говоря, нужно около 20 голосов, 10 мужских и 10 женских). Так что, в любом случае, кроме Книгодела нужны еще голосовые движки. Да и поддержка SAPI удобна для программ (которые ни словарей, ни предобработки не делают)...
Если конкретно вернуться той версии словарей, что Вы выложили - я бы сказал, что она бесполезна, как бы не обрабатывали ее напильником - омонимы будут мешать в любом случае. А омонимов в русском языке вообще и в словаре Зализняка в частности очень много... Если даже удалить лишние (которые встречаются редко) слова, то все равно останется очень много омонимов, от которых не избавиться (дома/дома...). А дополнительной информации в Вашем словаре нет.
В Книгоделе используется сложный алгоритм, который приводит к практически полностью правильным версиям текста, по крайней мере, близко к максимально возможным при автоматической обработке... Плюс режим поиска новых слов...

V.I.P. Сообщений : 137 Репутация : 16

Цитата :: и программа Ваша тоже никогда не заработает с таким подходом...

Она уже работает, давая очень малое количество ошибок. Новая (еще не выложенная) версия, кстати, еще лучше (различает и все/всё).
То, что вы предлагаете (aot) будет работать хуже. Так как там (насколько я увидел по словарям) универсальный алгоритм для разных языков. То есть нормально не работающий нигде. И уж точно заменять работающую программу на этот бред я не буду...
Да и вообще там Вы вроде не помощь предлагали, а предлагали изменить дизайн Smile

V.I.P. Сообщений : 97 Репутация : 7

rquester
Конечно приятно общаться с гением, но по сути с таким подходом получается, что словари вообще не нужны.
Безошибочность алгоритма - бред, 99%, да и 80% пожалуй нет в Вашей программе, это голословные утверждения. "Книгодел", как я помню, даже "в годы великой отечественной войны" ошибался с омографами, ставил "вОйны", хотя синтаксический разбор этой части один из самых однозначных в плане обработки. Не думайте, пожалуйста, что Вы один занимаетесь автом. обработкой текста, у других людей есть свои взгляды на вещи и свои способы работы над проблемой.

V.I.P. Сообщений : 97 Репутация : 7

lev55
Да, я оттуда и качал, в SDK не увидел ygres.exe, папка "exe" пустая. Пока скомпилировать из исходников его не получилось, уж больно много сырцов, что к чему относится не разобрался еще, и еще, как я понял, надо boost качать для компиляции. Я видимо не так понял про словари, на сайте написано о каких-то бесплатных словарях, а где тогда платные? Или их можно самому скомпилить из исходников? Мне в частности словарь синтаксиса нужен пока что, а там поглядим Smile

Цитата :: Кое что понятно..., но об этом ли речь ...?

Есть некоторые строки в словаре, которые движок просто не замечает.
Примеры бесполезны, так как системы в этой ошибке я не нашел. Возможно размер словаря имеет значение в их появлении.

V.I.P. Сообщений : 137 Репутация : 16

Stroodder

Цитата :: Безошибочность алгоритма - бред, 99%, да и 80% пожалуй нет в Вашей программе, это голословные утверждения.

Во-первых, даже если чуть меньше 80% - это лучше чем 50%, во-вторых, утверждения не голословные, а подтвержденные реальными данными (если не верите - запустите программу на какой-нибудь текст (в режиме только омонимов) и поищите по знаку <все омонимы. Посчитайте число ошибочных. Просто не все слова являющиеся омонимами кажутся нам таковыми. Например ка<кая/кака<я.

Цитата :: "Книгодел", как я помню, даже "в годы великой отечественной войны" ошибался с омографами, ставил "вОйны", хотя синтаксический разбор этой части один из самых однозначных в плане обработки.

Сейчас эта проблема есть, в новой версии я это исправил (не только в этом варианте).

Цитата :: Не думайте, пожалуйста, что Вы один занимаетесь автом. обработкой текста, у других людей есть свои взгляды на вещи и свои способы работы над проблемой.

Да это пожалуйста... Просто я сказал про конкретную версию конкретного словаря, что она бесполезна... Высказал личное мнение на основе своего опыта синтаксического разбора...

lev55

Цитата :: Как-раз с дизайном у меня туго.
Дизайн предлогал muk79.

Да, но вы его поддержали, а потом когда я сказал, что менять дизайн бессмысленно - обиделись.

Цитата :: Пока моим хакерским методом, 8 книг -3 ошибки. (я этого Вам не предлогаю)

Не знаю, у меня и мой алгоритм примерно такой же результат даёт...

Цитата :: Проблема в другом, вместо КАВО\ЧИВО произносится КОГО\ЧЕГО. (у меня)
Вообще-то Вы не слышате, что Вам пишут...

В новой версии будет словарь замен - там достаточно записать кого+=каво+
В текущей версии можно просто создать noakc.dic в который занести слова кого+ и чего+ (в отсортированом виде), тогда они будут произноситься движком как он привык.
Кроме того будут отдельные настройки замены слов на "как слышатся".

V.I.P. Сообщений : 97 Репутация : 7

lev55 пишет:: Нельзя-ли тоже самое отсюда? http://depositfiles.com/files/mct16uslr

Так я его и перегонял, падежи есть, словоформы, которые Ольга читает корректно отфильтрованы, те, которые нет - остались в словаре. Но, повторюсь, словарь скорее академического или прикладного интереса, чтобы его использовать в читалке нужно выбирать омографы.

Спасибо за файлы, пока так и не понял почему у меня не компилится из исходников, прекомпиляция идет нормально, заключительный этап ругается, но, думаю разберусь. А пока попробую Вашими файлами словари поковырять.

Судя по молчанию, следует считать, что проблемы с обработкой Ольгой словарей у форуччан отсутствуют?

V.I.P. Сообщений : 97 Репутация : 7

lev55
Посмотрю завтра, возможно регекс перекрыл некоторые.
В ПМ пару примеров отсутствующих статей словаря можете выслать?

Lexus
Глюк "непрочтения" некоторых правил скорей всего в алгоритме сортировки списка по алфавиту, а точнее статей, начинающихся со знаков, не думал, что Ольга так ревнива к символам. Надо будет LoqLexer подкручивать. А вот насчет проблем с *.dic - не знаю...

Проблемы с *.lex. и это сильно огорчает. Правило нормально читается в словаре из несколько десятков правил. Если же зарядить в приличном по объему словаре те же правила, начинаются глюки. пробовал сортировать как у lоquendo - те же проблемы. Наверное косяки движка.
Если проблема не решится, то создание словарей движка теряет всякий смысл.

V.I.P. Сообщений : 97 Репутация : 7

Lexus
Сортировать программой Raptor пробовали?

Stroodder

Цитата :: Сортировать программой Raptor пробовали?

Нет. Исполльзовал методы из

Код:: CreateObject("System.Collections.ArrayList" )

Нормально сортирует. Но проблем не решает.

Цитата :: lev55

*.dic - это из другой песни.

V.I.P. Сообщений : 97 Репутация : 7

Lexus
Если в lex никак не решается, то выход имхо один - словари dic (я их и использую в основном).
lev55
...Удалено...
Насчет слов с буквой "ё" - тут можно просто применить парсер, без использования функций движка. Но тут уж слова типа "все", "осел" будут всегда читаться с буквой "ё" - тоже проблема.... Надо ли?

Вы в Солярисе словари самостоятельно компилировали? Словаря N-грамм нет случайно?

Цитата :: Если в lex никак не решается, то выход имхо один - словари dic (я их и использую в основном).

В dic фонемную тр. не вставишь.

V.I.P. Сообщений : 97 Репутация : 7

lev55
Посмотрел подробней. Нету форм "поду'мав" и "дви'гает" в словаре Зализняка...

Lexus
Но ведь слов, требующих правки фонем не превалирующее количество, думаю вполне небольшой словарь получится. Вообще фонемы использую в основном для корректировки акцента или "истерик".

Цитата :: фонемы использую в основном для корректировки акцента

Если использовать ^' автоматом составить словарь на все случаи не получается. Да и, внутренний словарь по скорости чтения вне конкуренции. есть еще плюсы.

На буковском форуме один товарищ как-то порывался отправить баг репорт на фирму. Потерялся он где-то.

V.I.P. Сообщений : 97 Репутация : 7

Lexus
Ну в lex на все случаи тоже не получится автоматом. Автообработка, а точнее сказать конвертация, всего-навсего помогает избавиться от основной массы ошибок, выявлении слабых сторон движка и концентрации над другими проблемами.
К примеру "Народный словарь" Николая можно было бы обработать процентов на 60-70, более того, найти изменения в произношении последних версий движка. Но, видимо, кому-то нравится биться над одним и тем же и платить деньги за очковтирательство.

З.Ы. Сегодня ветка на абуке стала, к сожалению, сугубо пиарной и обсуждать идеи там, по большому счету некому и не с кем.

Заметил, что и моя сортировка не совпадает с Loquendo. Наверное стоит копать дальше в этом направлении.

V.I.P. Сообщений : 1228 Репутация : 986

lev55 пишет:: Так вот, задал вопрос в ветке Балаболка, получилось, как у Задорнова:
- Этот автобус идёт до рынка?
- Вам не надо на рынок, лучше езжайте в супермаркет, там лучше.
А на самом деле, мой знакомый живёт в доме на против рынка и мне надо к нему.

Не смешно.

V.I.P. Сообщений : 97 Репутация : 7

lev55
У меня некорректный словарь компилится, я его потом даже к своему отладчику (подобие Lexicon-pro) привинтить не могу - dll не принимает, а родной словарь кушает на раз. Словари вопроса не решат, надо с компиляцией/декомпиляцией разобраться, чтобы пополнять его. М/б сурсы неполные у меня, хотя установил все, что было на сайте. А где Вы взяли родной дистрибутив syntax.bin ??? Ткните носом на ссыль, пожалуйста, может там еще что-нибудь недостающее откопаю.
На сайте "Соляриса" скачал исходники: там почему-то две ссылки на разные сырцы, нашел те, где лежат утилиты компиляции и декомпиляции, но и там нету некоторых заголовочных файлов, а выдирать их вручную адова работа будет - много.

lev55 пишет:: интересный грамматический движок geocities.com/SiliconValley/Bit/1116/index.html

MAD.dll я уже как-то привинчивал для нормализации слов, дальше не копал, больше подошла MCR.dll.

V.I.P. Сообщений : 97 Репутация : 7

lev55
Mystem для морфо из небольших систем пока что имхо рулит, там и эвристика есть, жаль только что не в dll сделана.

Доброго всем дня!

Помогите подключить словарь.

Я взял словарь exc_rus.txt переконвертировал его программай LoqLexer v.1.0.2. Всё прошло хорошо. Полученный файл exc_rus.lex я поместил в корень диска C:
В реестре, следуя приведённому выше описанию, в [HKEY_LOCAL_MACHINE\SOFTWARE\Loquendo\LTTS7\LoqSAPI5] добавил новый строковый параметр Lex.1049 и придал ему значение C:/exc_rus.lex
Для проверки в словарь добавил проверочное слово, но после запуска встроенной читалки Loquendo TTS7 Voice Experience проверочное слово не изменилось. Из чего я делаю вывод что словарь не подключился.
Вопрос. Что я сделал не правильно? Как подключить словарь?

Дополнение. Как выяснилось, словарь не работает только с родной читалкой Loquendo TTS7 Voice Experience. В тесте TTSApp (SAPI5) и в Балаболке проверочное слово распознается верно. Хотелось бы чтобы правильно заработала и родная читалка Loquendo TTS7 Voice Experience. У меня такое впечатление что в этой читалке голос Ольги чище чем в Балаболке.

Заранее признателен за помощь.

V.I.P. Сообщений : 97 Репутация : 7

lev55
Да нет, я не про то Smile

Dll более гибко. Но и за консоль разработчикам спасибо конечно, можно и так использовать.
Про ударения в MCR.dll не понял, каким образом для ударений ее можно юзать? Я такой функции в ней не видел, только засвеченные строчки на сайте в описании. Или Вы про сравнение, своими средствами, результата работы этой библиотеки со словарем ударений говорите?

AlTu
в начало текста в программу вставьте строчку: \lexicon(load=0,c:/exc_rus.lex)

Stroodder пишет:: в начало текста в программу вставьте строчку: \lexicon(load=0,c:/exc_rus.lex)

Спасибо! Всё заработало.

lev55 пишет:

Цитата :: Есть такая проблемма:
Слова у которых в конце стоят знаки припинания очень часто произносятся не правильно ( борьба, - встречи, - выступлений, ) и т.д.
Убирать запятую не хотелось бы -

почему-то произносит эти слова в редакторе LogLexer как:

Цитата :: ( борьба, - встречи, - выступлений, )

правильно но чтобы сохранить в словаре и не вылезало окно " Исключение не содержит изменений!" нужно поменять букву на заглавную

"борьба," = "\SAMPA=(bVr'b"A#)"
"встречи," = "\SAMPA=(fstr'"eTS'i#)"
"выступлений," = "\SAMPA=(v1stupl'"en'Ij#)"
вот еще что-то похожее на эту тему "товарищ капитан"=tVv"ar'iS'#k@p'it"an# произносит "товарис капитан" если поставить циферку 1 или 2 между i и S (tVv"ar'i1S'#k@p'it"an#) то будет читать правильно. Но проблема осталась с этим словом "товарищ" вот еще к примеру "товарищ мой" и т.д.

думаю что таких глюков у Ольги предостаточно

Если есть решение проще, быстрее? прошу поправить.

Может Ольгу логопеду покзть? :x

V.I.P. Сообщений : 97 Репутация : 7

lev55
however63
Насчет запятых можно сделать ход конем. Правда, в этом случае потеряем интонацию и добавим монотонность.
Суть в том, чтобы заменить "," на ";", но, т.к. продолжительность препинания зависит от параметра в реестре, нужно будет и его поправить, чтобы пауза на месте запятой не затягивалась.
Тут выложил файлы, по которым, думаю, будет понятна идея. dic - в "Балаболку", reg - как обычно два клика. Желательно в "Балаболке" (или в др. программах с этой функцией) в настройках паузы м/у предложениями установить 300.
Конечно, длительностью пауз "LongPauseLength" в reg и в программе-читалке м/у предложениями можно поиграться и подстроить под себя.
P.S. После правки в реестре читалку нужно перезапускать.

V.I.P. Сообщений : 97 Репутация : 7

lev55

Спасибо. Предлагаю продолжить тут, ато мы чего-то увлеклись...

ALL
Всем, кому интересна тема автообработки текста, добро пожаловать туда же. Чем больше мыслей - тем универсальней результат. Smile

Хм. Как я понимаю, на данный момент под Ольгу нет качественных словарей? То что для Диалго, так в Ольге ошибок еще больше становиться, чем без этих словарей. В общем, либо я не догоняю чего-то, но есть хоть один словарь нормальный, или нет?