КОНЦЕПТУАЛЬНАЯ ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА

Р.А. Андрейченко, Д.Д. Маркер., Р.В. Чаловский

Научный руководитель - д-р хим. наук, проф. О.И. Бухтояров

Естественным языком называется язык, который использует человек в процессе своего общения. Под концептуальной обработкой естественного языка понимается анализ естественно-языковых текстов с целью извлечения из них смысла, обработка этого смысла, генерация т екстов с заданным смыслом.

Задача концептуальной обработки языка весьма актуальна, т.к. на ее основе можно решить ряд таких важных для человечества задач, как автоматизированный перевод, общение с техническими средствами (ЭВМ, роботы), хранение и обработка неформализованных данных и др.

Среди известных систем, решающих, в той или иной степени, различные проблемы обработ ки ест ественного языка, можно выделить два класса: системы, ориентированные на решение чисто лингвистических задач, и системы, ориентированные на решение задач в каких-либо предметных областях, использующие обработку ЕЯ как вспомогательную задачу.

Системы первого класса в некоторой степени подробности описаны в /31. Ко второму классу относятся, как правило, экспертные системы, которым для решения задачи в какой-либо предметной области необходимо обрабатывать естественный язык, т.к. они ведут на нем диалог с пользователем.

Однако, авторами не найдено упоминания о системах, специально созданных только для концептуальной обработки естественного языка. Создание же такой системы в виде программного компонента позволит решать задачи обработки языка в других системах, уделяя основное внимание главной проблеме, не отвлекаясь на вспомогательную.

Концептуальный подход к решению задачи обработки естественного языка характеризуется следующими аспектами: независимость, комплексность и универсальность. Первый аспект предполагает построение методов обработки естественного языка, не зависящих от тех областей, в которых они будут применяться; второй комплексное решение всех задач обработки языка; последний аспект подразумевает возможность применения разработанных методов в любой подходящей предметной области. Важной характеристикой концептуального подхода является то, что он основан на принципах обработки языка человеком.

Первое, что нужно сделать при решении задачи концептуальной обработки естественного языка, создать или выбрать из имеющихся формальную модель естественного языка. Она должна включать в себя фор му смыслового представления, модель мышления и знания о мире, состоящие из знаний о языке и знаний об объектах и ситуациях.

Форма смысловою представления предназначена для представления в некотором формальном виде, удобном для хранения и обработки, накопленных человеком знаний о мире, которые можно выразить с помощью естественного языка. Для обеспечения требования универсальности концептуального подхода форма представления смысла должна быть независима от конкретного языка и предметной области.

Модель мышления нужна для формального описания методов концептуальной обработки естественного языка: метод анализа решает проблему получения смыслового представления естественно-языкового текста; метод умозаключений осуществляет обработку полученного смысла на основе имеющихся знаний об окружающем мире с целью извлечения неявной информации; метод синтеза выполняет генерацию естественно-языкового текста по имеющемуся смыслу.

Знания о языке используются в процессах анализа и синтеза, знания об объектах и ситуациях - для осуществления умозаключений. Знания о языке, кроме лингвистических, включают и концептуальные знания, определенные методами обработки естественного языка.

Методы модели мышления не ориентированы на обработку какого-то конкретного естественного языка, поэтому эти алгоритмы могут быть применены, в частности, к обработке русского языка.

Области применения реализации концептуального подхода следующие: осуществление естественно-языковых запросов к базам данных, машинный перевод (при поддержке нескольких языков), представление и обработка знаний в трудноформализуемых предметных областях, общение с ЭВМ на естественном языке.

Существуют также некоторые проблемы, которые сейчас стоят в разных аспектах концептуальной обработки языка. В частности, понимание текстов с ошибками, распознавание контекста анализируемого текста, обучение синтезатора, установление ограничений на предметную область для представления в выбранной форме смыслового представления, либо наложение ограничений на саму эту форму.

Система концептуальной обработки естественного языка является компьютерным воплощением модели естественного языка. Реализация такой системы с учетом перечисленных проблем позволит получить качественное и завершенное решение задачи концептуальной обработки естественного языка.