Устройства или методы цифровых вычислений или обработки данных, специально предназначенные для специфических функций: ..автоматический анализ, например, синтаксический разбор, коррекция орфографических ошибок – G06F 17/27

Изобретение относится к области информационных технологий, а именно к индексации текста. Техническим результатом является повышение точности построения индексов текстов на естественных языках. В способе автоматизированной семантической индексации текста на естественном языке сегментируют текст на элементарные единицы первого уровня (слова) и на предложения. Формируют единицы второго уровня (нормализованные словоформы). Подсчитывают частоту встречаемости каждой единицы первого уровня для соседних единиц первого уровня и объединяют последовательности слов в единицы третьего уровня (устойчивые сочетания слов). Выявляют в каждом предложении семантически значимый объект и его атрибут (единицы четвертого уровня). Выявляют в каждом предложении семантически значимые отношения между семантически значимыми объектами, а также между семантически значимыми объектами и атрибутами. Выявляют частоты встречаемости единиц второго и третьего уровней. Формируют для каждого семантически значимого отношения множество триад (единицы пятого уровня). Индексируют на множестве сформированных триад по отдельности все связанные семантически значимыми отношениями семантически значимые объекты с их частотами встречаемости, все атрибуты с их частотами встречаемости и все сформированные триады. 5 з.п. ф-лы, 2 ил., 23 табл.

Изобретение относится к способам синтаксического анализа языков программирования высокого уровня и может найти применение для создания компиляторов и/или интерпретаторов языков программирования с изменяемой (расширяемой) грамматикой, предназначенных для создания проблемно-ориентированных языков. Техническим результатом является обеспечение возможности динамической модификации таблиц компиляции, положенных в основу синтаксического анализатора, путем расширения грамматики языка программирования. Способ синтаксического анализа языка программирования основан на табличном LR синтаксическом анализе. При этом канонические таблицы LR синтаксического анализатора динамически перестраиваются во время компиляции с помощью заданных отдельно для каждого уровня иерархии вложенности грамматических правил языка программирования директив расширения грамматики, предназначенных для введения новых грамматических конструкций. После чего компилятор продолжает анализ программы с использованием перестроенных LR таблиц. 4 з.п. ф-лы.

Изобретение относится к способу обработки естественного языка с использованием системы языковой обработки, в частности, электронной системы перевода, в котором письменный или устный текст вводится в систему языковой обработки. Техническим результатом является усовершенствование и дополнительное развитие способа обработки естественного языка, который позволяет правильно обрабатывать семантику текста или прочие данные, например входную речь и т.п. Способ включает в себя этап синтаксического анализа текста. Затем выполняется этап извлечения компонентов текста и их взаимоотношений в тексте. Граф или графическое представление текста генерируется или используется как представление смысла текста, не зависящее от языка. Этот граф или графическое представление используется для осуществления моделирования, представления знания и обработки в системе языковой обработки. Причем на этапе обработки формируют суждение о представлении в модели смыслового мира, таким образом проверяя согласованность извлеченной семантики текста. 3 н. и 26 з.п. ф-лы, 15 ил.

Изобретение относится к способу классификации документов по категориям. Техническим результатом является повышение скорости классификации и сокращение потребного объема памяти. Для достижения этого результата в способе классификации документов по категориям строят онтологию в виде совокупности категорий. Выявляют для каждой категории термины, т.е. последовательности слов, характерные для текстов данной категории, и определяют вес каждого из выявленных терминов в процессе считывания электронных версий документов из обучающей коллекции документов. Формируют профиль для каждой из категорий в виде списка всех терминов во всех категориях онтологии с указанием веса каждого термина в данной категории. Составляют для каждого термина перечень возможных комбинаций из словоформ слов этого термина. Выделяют выявленные термины в каждом подлежащем классификации документе при считывании его электронной версии, учитывая только словоформы из составленного перечня. Формируют для каждого подлежащего классификации документа профили для каждой из категорий на основе выделенных терминов. Находят релевантность данного документа каждой из категорий путем сопоставления профилей этого документа профилям категорий в онтологии. Строят классификационный спектр документа в виде совокупности категорий с релевантностью, найденной для каждой из них. 6 з.п. ф-лы.

Изобретение относится, в общем, к компьютерно-реализованным онлайновым поискам и, в частности, к идентификации семантических взаимоотношений в косвенной речи. Техническим результатом является обеспечение быстрого определения наиболее релевантных результатов. Для достижения технического результата реализован способ построения семантических взаимоотношений между элементами, извлеченными из содержимого документа, чтобы сформировать семантическое представление содержимого. Семантические представления могут содержать элементы, идентифицированные или проанализированные в текстовой части содержания, элементы которого могут ассоциироваться с другими элементами, которые совместно используют семантические взаимоотношения, такие как отношения агента, местоположения или темы. Взаимоотношения могут также строиться посредством ассоциации одного элемента, который находится в связи или около другого элемента, позволяя, таким образом, быстрое и эффективное сравнение ассоциаций, найденных в семантическом представлении, с ассоциациями, полученными из запросов. Семантические взаимоотношения могут определяться, основываясь на семантической информации, такой как потенциальные значения и грамматические функции каждого элемента в пределах текстовой части содержания. 4 н. и 17 з.п. ф-лы, 11 ил.

Изобретение относится к области обработки данных при семантическом анализе текстовых данных и построении семантической модели документов. Техническим результатом является обеспечение возможности обогащения документов метаданными, позволяющими улучшить и увеличить скорость восприятия основной информации, а также обеспечение возможности определять и подсвечивать ключевые термины текста, что позволяет ускорить его чтение и улучшить понимание. Способ построения семантической модели документа состоит из двух основных шагов. На первом из внешних информационных ресурсов, которые содержат описания отдельных объектов предметной области, извлекают онтологию. На втором - связывают текстовую информацию документа с концепциями онтологии и строят семантическую модель документа. В качестве информационных источников используют электронные ресурсы как связанные, так и не связанные структурой гипертекстовых ссылок. Технический результат, в частности, достигается за счет того, что сначала выделяют все термины документа и связывают их с концепциями онтологии таким образом, чтобы каждому термину соответствовала единственная концепция, являющаяся его значением, а затем значения терминов ранжируются по важности к документу. 14 з.п. ф-лы, 6 ил.

Изобретение относится к области обработки данных, а более конкретно к высокопроизводительному и при этом очень гибкому механизму синтаксического анализа/компоновки. Техническим результатом является расширение функциональных возможностей в части обеспечения возможности приема и обработки электронных сообщений в различных форматах, принимаемых с помощью приложения, изолированного от всех внешних форматов, которые используются посредством других внешних форматов. Механизм преобразует сообщения в различных форматах в общий формат, и сообщение общего формата затем обрабатывается посредством приложения бизнес-логики. Синтаксический анализатор исследует сообщение и определяет надлежащую схему для конкретного формата принятого сообщения. Схема - это структура данных в реестре схем, которая включает в себя грамматическую структуру для принимаемого формата, а также указатели на обработчики для преобразования разных полей сообщения во внутренний формат сообщений с помощью грамматической структуры ("грамматика" может включать в себя очередность поля, тип поля, длину, кодирование символов, необязательные и обязательные поля и т.д.). Обработчики компилируются по отдельности. По мере того как форматы изменяются, новые форматы или изменения в старые форматы могут динамически добавляться в механизм синтаксического анализа/компоновки посредством загрузки новой схемы и обработчиков. 2 н. и 9 з.п. ф-лы, 21 ил.

Изобретение относится к области информационных технологий. Текст сегментируют в электронной форме на элементарные единицы. Выявляют устойчивые словосочетания, формируют предложения. Выявляют семантически значимые объекты и семантически значимые отношения между ними. Формируют для каждого семантически значимого отношения множество триад, в которых единственная триада первого типа соответствует связи, устанавливаемой семантически значимым отношением между двумя семантически значимыми объектами. Каждая из триад второго типа соответствует значению конкретного атрибута одного из этих семантически значимых объектов. Каждая из триад третьего типа соответствует значению конкретного атрибута самого семантически значимого отношения. Индексируют на множестве сформированных триад все связанные семантически значимыми отношениями семантически значимые объекты по отдельности. Запоминают в базе данных сформированные триады и полученные индексы вместе со ссылкой на исходный текст, из которого сформированы эти триады. Техническим результатом изобретения является повышение точности и скорости поиска релевантных фактов и документов. 4 н. и 8 з.п. ф-лы, 16 табл., 7 ил.

Изобретение относится к области для определения разборчивости символа. Способы, системы и компьютерные носители для добавления инструкций хинтовки к символу для улучшения битовой карты символа, полученной из очертания символа с определенным размером и выходным разрешением, когда очертание символа преобразуется при сканировании. Извлекают выводимый символ. Определяют, что символ принадлежит семантической классификации символов, и обращаются к инструкциям хинтовки, которые связаны с семантической классификацией символа. Инструкции хинтовки сохраняют семантическое значение символа, в то же время изменяя наличие штриха, расположение штриха или и то, и другое для, по меньшей мере, одного штриха, по меньшей мере, одного признака символа на основании опорных размера и выходного разрешения символа. Если фактические размер и выходное разрешение символа для символа находятся в пределах опорных размера и выходного разрешения символа для инструкции хинтовки, то инструкции хинтовки выполняются. Изобретение позволяет улучшить разборчивость битовой карты масштабированного символа. 5 н. и 35 з.п. ф-лы, 10 ил.

Изобретение относится к обработке естественно-языковых текстов и может быть использовано для автоматизации поиска необходимых документов в большой их коллекции. Изобретение позволяет проводить сравнение фраз по смыслу. При поступлении запроса его содержимое обрабатывают по предложениям, происходит попарное сопоставление предложений массива текстов и поискового запроса, по результатам которого вычисляют релевантность каждого документа массива текстов запросу на основе входящих в документы предложений. Индексирование массива текста происходит по отдельным предложениям. В предложениях вначале распознают точные значения слов и устанавливают семантические связи между ними, затем точные значения слов заменяют их разложением на элементарные значения, которые хранятся для каждого значения в тезаурусе, после чего для каждого предложения строят матрицу, содержащую связи между всеми парами объектов, входящих в предложение, затем составляют инвертированный индекс, где для каждого объекта, входящего в массив текста, указано в каких документах и в каких предложениях сколько раз он встречается. 1 з.п. ф-лы.

Изобретение относится к идентификации перефразирования в тексте. Изобретение позволяет идентифицировать отношения перефразирования в различных текстах, относящихся к одному событию. Получают набор текстовых сегментов из кластера различных статей, написанных об общем событии. Затем набор текстовых сегментов обрабатывают согласно методикам текстового совмещения для идентификации перефразирования на основе текстовых сегментов в тексте. Идентифицированные перефразирования можно использовать в системах машинного перевода. 6 з.п. ф-лы, 5 ил.

Изобретение относится к поиску и выборке информации. Техническим результатом является обеспечение возможности выполнения поиска с использованием запросов, написанных в наборе символов или языке, который отличается от набора символов или языка документов, которые необходимо найти, и получения релевантных результатов поиска. Для этого принимают последовательность неоднозначных компонентов информации от пользователя и переводят в одну или более соответствующие последовательности менее неоднозначных компонентов информации. Эти последовательности менее неоднозначной информации предоставляются как входные данные в поисковую машину. Результаты поиска получаются от поисковой машины и представляются пользователю. Перевод между этими наборами символов и/или языками может быть выполнен посредством исследования использования терминов в выровненном тексте. Вероятности могут быть ассоциативно связаны с каждым возможным переводом. К этим вероятностям могут быть сделаны уточнения посредством исследования взаимодействий пользователя с результатами поиска. 7 н. и 38 з.п. ф-лы, 16 ил.

Изобретение относится к доступу и воспроизведению информации в компьютерной системе, а более конкретно к представлению данных на основе голосового ввода, осуществляемого пользователем. Техническим результатом является расширение функциональных возможностей. Способ воспроизведения информации из документа пользователю на основе запроса заключается в выполнении этапов: воспроизводят данные в документе для пользователя, идентифицируют первый и второй объекты из запроса, осуществляют доступ к документу для идентификации семантических тэгов, связанных с текстом в документе, связывают первый объект с первым семантическим тэгом, соответствующим первой порции хранящегося текста в документе, и второй объект со вторым семантическим тэгом, соответствующим второй порции хранящегося текста в документе, при этом, по меньшей мере, одна из этих первой и второй порций хранящегося текста связана с данными в документе, которые были воспроизведены, идентифицируют третью порцию хранящегося текста, которая связана как с первой порцией, так и со второй порцией, и выборочно воспроизводят в слышимой форме третью порцию хранящегося текста. 3 н. и 30 з.п. ф-лы, 20 ил.

Изобретение относится к вычислительной технике. Техническим результатом является обеспечение возможности проверки правильности документа расширяемого языка разметки (XML), имеющего элементы, связанные с двумя или более схемами, причем элементы каждой схемы могут быть произвольно вложены в элементы другой схемы и каждый набор элементов остается правильным в пределах своей собственной схемы. Элементы второй схемы являются "прозрачными" по отношению к элементам первой схемы, когда текстовый процессор проверяет правильность элементов первой схемы. Элементы второй схемы проверяются на правильность отдельно, так что элементы первой схемы являются "прозрачными" для проверки правильности элементов, соответствующих второй схеме. 3 н. и 13 з.п. ф-лы, 6 ил.

Изобретение относится к способам и системам для сегментации текста. Изобретение позволяет повысить скорость сегментации текста. Обращаются к строке символов (204), определяют длинную лексему (206), фиксируют смежные символы в длинной лексеме (208), определяют лексемы из строки символов, удерживая вместе зафиксированные смежные символы, и определяют множество сочетаний лексем (210), причем число сочетаний лексем сокращают при помощи зафиксированных смежных символов. 2 н. и 20 з.п. ф-лы, 3 ил.

Изобретение относится к вычислительной технике. Техническим результатом является обеспечение селективного импорта и экспорта данных в электронном документе. Программный интерфейс приложения (ПИП) импорта может быть реализован для импорта содержимого из иерархически структурированного документа, такого как XML-файл. ПИП импорта работает совместно с синтаксическим анализатором для просмотра документа и извлечения содержимого из выбранных элементов, узлов, атрибутов и текста. ПИП импорта также использует компонент обратного вызова для обработки извлеченного содержимого. ПИП экспорта также может быть осуществлен для экспорта данных с целью создания иерархически структурированного документа, такого как XML-файл. ПИП экспорта работает совместно с редактором для приема данных и экспорта данных в виде элементов, узлов, атрибутов и текста в иерархически структурированном документе. 2 н. и 18 з.п. ф-лы, 5 ил.

Настоящее изобретение относится к компонентам упорядочивания деревьев в системе реализации предложений. Техническим результатом является обеспечение правильного порядка слов в древовидной структуре. Для этого компонент принимает неупорядоченное синтаксическое дерево и генерирует ранжированный список альтернативно упорядоченных синтаксических деревьев из неупорядоченного синтаксического дерева. Компонент также включает в себя статистические модели структуры составляющих, используемые компонентом упорядочивания деревьев для оценивания альтернативно упорядоченных деревьев. 25 з.п. ф-лы, 11 ил.

Изобретение относится к способам проверки правильности документа расширяемого языка разметки (XML) и выдачи сообщения о нарушениях схемы в режиме реального времени. Техническим результатом является обеспечение проверки правильности документа XML и сообщения о нарушениях схемы в режиме реального времени, когда пользователь редактирует документ. Поддерживается параллельное дерево, которое включает в себя узлы, соответствующие элементам «неродного» XML документа XML. Когда изменения происходят в документе XML, отмечаются элементы «неродного» XML, соответствующие изменениям. Узлы, соответствующие отмеченным элементам «неродного» XML, проверяются на правильность по отношению к схеме XML, которая соответствует разметке «неродного» XML. Об элементах и узлах, соответствующих ошибкам в разметке «неродного» XML, затем сообщают пользователю согласно индикаторам отображения в документе XML и параллельном дереве. 3 н. и 17 з.п. ф-лы, 8 ил.

Изобретение относится к устройствам распознавания написанных знаков. Техническим результатом является автоматическое распознавание знаков препинания с улучшенной точностью. Способ содержит этап приема написанных знаков, которые написаны на сенсорном экране, где сенсорный экран содержит по меньшей мере область написания символов и область написания пунктуации. Затем проводится этап определения соотношения написанных знаков, которые написаны в символьной области написания пунктуации, относительно области написания символов, и выполняется этап распознавания знаков препинания. Этап распознавания выполняется на написанных знаках, когда соотношение превышает пороговое значение, причем выполнение распознавания знаков препинания определяет из набора знаков препинания по меньшей мере один возможный знак препинания, напоминающий написанные знаки. 7 з.п. ф-лы, 5 ил.

Изобретение относиться к области техники распознавания текстовой информации из графического файла. Технический результат изобретения заключается в повышении точности распознавания текста и повышении помехозащищенности распознавания текста. Технический результат достигается за счет того, что предварительно задают порядок обращения к дополнительной информации, назначают оценку качества для каждого вида дополнительной информации, строят различные варианты разбиения изображения выделенных строк на фрагменты, для каждого фрагмента строки строят граф линейного деления, распознают изображения графических элементов, используя классификатор, и каждому варианту распознавания присваивают оценку, выполняют переход от вариантов распознавания графем к вариантам символов алфавита, для каждой цепочки, соединяющей начальную и конечную вершины, строят цепочки, соответствующие всем вариантам распознавания графем и вариантам переходов от распознанных графем к символам алфавита, ранжируют полученные варианты в порядке уменьшения оценки качества распознавания, обрабатывают полученные варианты с привлечением информации о расположении заглавных и строчных букв, если имеются более одного варианта символа по результатам распознавания графического элемента, их обрабатывают с последовательным привлечением дополнительной информации, и/или при необходимости одновременным привлечением всех видов дополнительной информации, каждому полученному варианту назначают оценку качества, варианты символов, имеющие оценку ниже предварительно заданной, отбрасывают, полученные варианты сортируют, используя попарное сравнение, производят дополнительную коррекцию распознавания пробелов, ошибочно распознанных на предыдущих этапах. 8 з.п. ф-лы, 2 ил.

Изобретение относится к вычислительной технике, в частности к системе идентификации готовности текстовых документов в сети распределенной обработки данных. Техническим результатом является повышение быстродействия системы. Система содержит блок приема разделов текстовых документов, блок селекции базовых адресов текстовых документов, блок выбора структуры текстовых документов, блок формирования сигналов записи и считывания базы данных, блок стробирования разделов текстовых документов, блок адресации текстовых документов, блок приема разделов текстовых документов из базы данных сервера, блок коммутации каналов выдачи разделов текстовых документов, блок подсчета числа готовых разделов текстовых документов, компаратор, счетчик. 8 ил.

Изобретение относится к автоматизированному синтезу текстовых документов. Способ включает создание и сохранение унифицированной формы документа, классификацию содержания документа, сохранение постоянной информации в базах данных, внесение постоянной информации в унифицированную форму документа и введение переменной информации в документ. Технический результат в виде снижения вероятности появления ошибок и сокращения трудозатрат достигается благодаря тому, что в переменной информации выделяют переменную унифицированную информацию (устойчивые формулировки), переменную вводимую информацию (конкретизирующие сведения) и переменную неунифицированную информацию (свободные формулировки), причем переменную унифицированную информацию выделяют как совокупность опорных слов, составляющих лексикологический скелет документа, и сохраняют в машиночитаемой базе данных, формируют лексикологическое дерево документа и формируют информационный контур управления документом, а при формировании документа, последовательно проходя по выбранным ветвям сформированного лексикологического дерева документа, выбирают необходимые опорные слова для внедрения соответствующих им формулировок в формируемый документ. 2 з.п. ф-лы, 6 ил.

Изобретение относится к системам классификации текстовых сообщений. Его использование в системах обработки информации и базах данных позволяет получить технический результат в виде обеспечения возможности произвольного задания категорий и определения информативности каждого текстового сообщения. В способе получают текстовые сообщения из информационного канала, осуществляют лингвистическую обработку слов, формируют тезаурус каждого текстового сообщения, осуществляют статистическую обработку слов в тезаурусе сообщения, сохраняют текстовое сообщение и тезаурус в хранилище. Технический результат достигается благодаря тому, что автоматически определяют принадлежность текстового сообщения одной из списка категорий, определяют начальную информативность текстового сообщения, сохраняют ее в хранилище вместе с текстовым сообщением; периодически обновляют значения информативности хранящихся в базе данных текстовых сообщений с учетом прошедшего с момента их появления времени и удаляют те текстовые сообщения, информативность которых опустилась ниже заранее установленного порога; при обработке каждого текстового сообщения обновляют значения классификационных признаков категорий. 1 ил.

Изобретение относится к обработке информационных естественно-языковых текстовых материалов. Его использование позволяет получить технический результат в виде автоматизированной обработки информационных текстовых материалов на основе выделения смысловых категорий в текстах на естественном языке с графическим представлением смысла всего текста в виде когнитивной карты, а также в виде повышения эффективности подготовки обрабатываемых информационных текстовых материалов к аналитической их обработке в условиях персонализированного информационного обеспечения. Этот технический результат достигается тем, что предварительно информационные потребности пользователя по определенной тематике формируют в виде ориентированного графа, а обработку текста ведут в фазе препроцессии, включающей этап морфологического анализа текста, этап поиска устойчивых словосочетаний и этап сегментации текста на предложения, в фазе процессии, включающей этап выделения примеров типовых отношений и этап выделения примеров типов объектов, и в фазе постпроцессии, состоящей из этапа формирования элементарных графов и этапа слияния элементарных графов в когнитивную карту. 28 з.п.ф-лы, 8 ил.