Что можно делать с текстом

1. Машинный перевод
2. Автоматизация подготовки и редактирования текстов
3. Реферирование и комментирование
4. Генерация
5. Искать его
6. Извлекать из него информацию
7. Распознавание и синтез
8. Анализ мнений по текстам
9. Формирование ответов на вопросы
10. Обучение естественному языку

Машинный перевод: начало исследований

Началось примерно в 50-е годы.

1. В 1954 году – ДжорджТаунский эксперимент (состоялся в Нью-Йорке, лол). Продемонстрирован перевод. Словарь состоял из 250 слов. Пословный перевод.
2. В России началось в 1955. При Академии наук СССР состоялся перевод текста по ПриМату. Словарь – 2300 слов. Передано в инст Келдыша. Выполнялся на основе IBM-MarkII. Приостановлено в 60-е годы.
3. В 1967 АкНаук США тоже забила. Новый подъем в 70-е.
4. В 80-е МашПеревод стал экономически выгодным, за счет дешевизны машинного времени.

История:

Первые модели машинного перевода: пословная и пословно-оборотная.

Позже – пофразный перевод: использовался синтаксический анализ.

Анализ «трансфер-синтез»; появление промышленного переводчика SysTrain (США,1970), переводившего научно-технические тексты.

Появление многоязычных систем, использование языков-посредников. В СССР – Нерпа, Фрап и Ампар. Канада – ТаумМедиа для перевода метеосводок.

80-90-е Многояз. системы уже опирались на лексические и терминологические БД + доработки языков-посредников

90-е: исп. статистики и корпусов текстов (Google) и работа в реальном масштабе.

Оценка систем машинного перевода

1. Оценивается понятность и адекватность перевода
2. Грамматическая правильность предложений
3. Семантическая связность текста

Современное состояние машинного перевода

1. Появилось большое количество коммерческих систем (Эбби, ПРОМТ).
2. Удовлетворительного качества перевода до сих по нет
3. Проблема полностью автоматического перевода текста не разрешена
4. Нерешенное: многовариантность синтаксического анализа, необходимость подключения семантики, межфразовые связи в тексте и единое понятийное пространство.

Информационный поиск

Тоже начали заниматься с 50х годов.

Основные понятия:

• Поисковый образ документа на естественном языке или ключевые слова;
• Запрос на поиск документа;
• Результат поиска – релевантные документы;
• Поисковая оптимизация;
• Корпоративные информационные системы;
• Полнотекстовый поиск: анализ всего текста;
• Индексирование документа на естественном языке – выделение ключевых слов/словосочетаний: вручную человеком или автоматически; критерии: частота употребления слов или словосочетаний, лингвистический;
• Показатели качества поиска:

1. Полнота (R) = число найденных правильных результатов/число возможных прав результатов
2. Точность  (P) = правильно найденное/все результаты
3. Мера качества F= (2PR)/P+R;

Инф поиск. Смежные задачи

1. Классификация текста
2. Рубрицирование
3. Кластеризация – создание близких по тематике подмножеств

Для решения этих задач исп методы машинного обучения.

Вопросно-ответные системы – относительно новая задача.

Примерная стратегия построения ответа:

1. Определение типа вопроса и запрашиваемого понятия
2. Построение запроса к Интернет-поисковику (не обязат)
3. Извлечение из найдены документов нужной инфы
4. Построение фразы ответа

Генерация текста: 90-е – 2000-е годы – самый пик

            Особенности задачи:

1. Автоматическое построение описаний на естественном языке инфы, представл в нетекстовой форме: рисунки, базы данных…
2. Требуется нужный пользователю размер текста и аспект описания

Возможные формы ответов:

1. Отчеты по БД
2. Ответ на вопрос пользователя (объяснение устройства, комментарии по новым фактам в БД)

Методы генерации текста:

1. Необходимы компьютерные модели, семантики и дискусы (речь)
2. Теория RST – теория реферических отношений

Этапы (модули) генерации

1. Структура и общее содержание текста
2. Лингвистический модуль (оформление содержания), условность разделения

Примеры систем генерация текста

1. Gossip – канадская разработка – генерация на англ языке аннотации протоколов ОС (анализ с целью защит от несанкц доступа)

3 этапа модулей обработки:

            1. Отбор данных

2. Концептуализация

3. Лингвистический компонент

Автоматизация подготовки текста

1. Автоматический перенос слов
2. Коммерческие системы: проверка орфографии, частичная – синтаксиса и проверка сложности стиля
3. Исследовательские разработки: правка неправильного употребления предлогов, описки и т.п.

Извлечение информации и знаний из текстов

Задачи:

1. Построение словарей терминов и тезаурусов
2. Текстовая аналитика
3. Обучение по текстам: построение онтология          

Примеры областей применения:

1. Военно-морские операции
2. Антитеррористическая деятельность
3. Совместные разработки
4. Экономическая аналитика

Специфика задачи - распознавание и выявление в тексте значимой инфы, объектов, понятий

Технологии изучения инфы:

1. На основе лингвистических правил
2. Машинное обучение

Проблема изучения инфы:

1. Установление тождества

Лингвистические шаблоны позволяют повысить точность определения понятий

Элементы шаблонов:

1. Словоформа, лексема

Извлечение терминов и связей.

Критерии:

1. Статистические (частотные)
2. Лингвистические (шаблоны)

Приложения:

1. Построение глоссария и предметных указателей
2.  Построение онтологии и тезаурусов
3. Навигация по терминам текстов
4. Поддержка терминологич редактирования текстов

Opinion Mining

Похожа на Text Mining. Цели и методы близки к области извлечения инфы и знаний

Задачи:

1. Выделение и суммирование мнений
2. Оценка тональности текста

Язык, текст, основы лингвистики и теории ключевой коммуникации

Язык – знаковая система, предназначенная для порождения, передачи и хранения информации.

Различают человеческие языки:

1. Естественные
2. Искусственные (морзе)
3. Жестовые
4. Формальные (компьютерные)
5. Язык животных

Информация, передаваемая языковыми средствами, всегда воплощается в некотором тексте.

В языке знак служит средством отражения того или иного элемента действительности

Ни одна система не существует изолированно.

Функция языковой системы служит для определения, хранения и обмена информацией.

Лингвистика – наука о естественном человеческом языке. Делится на научную и практическую.

Семиотика – наука о знаках

Грамматический словарь русского языка (словарь Зализняка) — составленный А. А. Зализняком словарь приблизительно 100 тыс. базовых словоформ русского языка с их полным морфологическим описанием. Основополагающий труд по морфологии, где впервые был предложен системный подход к описанию грамматических парадигм, включающих не только изменение буквенного состава слов, но и ударения.

Стили текстов:

- Художественный

- Научно-технический

- Публицистика

Онтология – база знаний специального типа, которая может читаться и пониматься, отчуждаться от разработчика и физически разделяться пользователями.

Онтологии и онтологические системы

Предпосылки возникновения онтологии:

1. Необходимость систематизации знаний для использования
2. Увеличение объемов информации
3. Необходимость сокращения времени на поиск
4. Чрезвычайная зашумленность информационных потоков

Технологии проектирования онтологий

Проектирование предполагает разработку содержания, включающего этапы спецификации, концептуализации, формализации, реализации и поддержки.

Концептуализация обеспечивает структурирование предметных знаний.

Формализация  превращает концептуальную модель в формальную или вычислительную

На этапе Реализации онтология прогается на соответствующем языке представления знаний.

Поддержка включает действия, выполняемые одновременно с разработкой, без которых онтология не может быть построена.

Виды онтологий

1. Онтологии представления: определяет концептуализацию, понятия и отношения, определенных в других типах онтологий, считаются конкретизацией понятий онтологии данного вида. Не зависят от конкретного ПО и могут использоваться для поддержки нескольких альтернативных теорий, но относящихся к одной конкретной области
2. Общие (родовые) онтологии: затрагивают общие фундаментальные аспекты концептуализации (часть, причина, участие, представление)
3. Промежуточные онтологии: содержатся общие понятия, характерные для одной предметной области
4. Онтологии верхнего уровня: самые неподробные
5. Онтологии задач: описывают определенную деятельность, используя словарь, введенный в общих, промежуточных онтологиях, а также онтологиях ПрО.
6. Онтологии приложения: хранят данные о конкретных приложениях

Схема отношений между онтологиями

Операции над онтологиями

Операции можно разбить на 6 групп:

1. Редактирование
2. Алгебра онтологий
3. Интеграция онтологий
4. Агрегирование  и декомпозиция
5. Преобразование
6. Сравнение и оценка

Операции по редактированию:

1. Создание состоит из 4х этапов:
   1. Составление спецификаций (определяют область применения)
   2. Определение задач
   3. Разработка концептуализации (опр основных объектов ПрО)
   4. Формализация представляемых знаний
2. При поддержке исп следующие операции
   1. Модификация
   2. Организация доступа
   3. Сохранение (хранение различны версий онтологии)
   4. Выпуск (помещение онтологии на сервер для онтологий
3. Алгебра онтологий разработана для систем, основанных на знаниях. В основе построения таких систем лежит операция объединения. Композиция инф происходит по схеме:
   1. Поиск терминов, представляющих интерес для конкретной задачи
   2. Для найденных терминов на основании правил строятся отображения для извлечения и соединения контекстов.
   3. Данные в соединяемых онтологиях на основании отображений соединяются в общие для них контексты
   4. Контексты последовательно объединяются в результирующую онтологию

Состоит из операций пересечения, объединения и вычитания.

Онтологии могут использоваться в сфере инф безопасности для защиты данных и сохранения их.

Защита от террористов, ня.

Защита от плохих сайтов, ня.

Защита от наркоты, няша тема, ня.

Наше задание:

1. Составить список слов, относящихся к теме
2. Составить схему онтологии: понятия;

онтология состоит из:

1. Предметная область агентов, обеспечивающих безопасность. Эти агенты гуглят информация и собирают в одном месте. Агент – это фильтр по сути.
2. Анализирующий агент.
3. Агент-координатор (составляет статистику и руководит 2мя предыдущими)
4. Агент поиска
5. Агент-интерфейс
6. Принятие мер

Типы угроз

Какие угрозы в вашей ПрО:

• Реклама
• Дилеры

Неплохо бы пользоваться Protege

Операции по интеграции онтологий

1. Выборка – формирование внутренне согласованной части исх антологии для её включения в новую.
2. Отсечение – удаление несущественных классов
3. Установка соответствий между схожими понятиями. Задает отношения между антологиями посредством установки связи между конкретными понятиями в антологиях.
4. Частичная согласованность – установление соответствий между онтологиями, поддерживающий эквивалентный логический вывод (вычисления), выполнимый для конкретных понятий
5. Унификация. Итог этой операции – появление универсальной онтологии

Декомпозиция и агрегирование

 Возможны следующие подходы к разбиению онтологии на модули:

1. Разделение по области применения
2. Разбиение по решаемой задаче
3. Микротеории – набор высказываний, ограниченный областью применения
4. Разбиение по контексту
5. Составление (агрегирование) – конструирование онтологий

Операции по преобразованию

1. Переформулирование – операция по преобразованию представлений к одной теории.
2. Построение таксономий – древовидных структур. Формирование иерархической структуры
3. Перевод – использование различных языков формализации

Операции по сравнению, проверке и оценке

Сравнение – установление степени соответствия между онтологиями (сравнение концептуальных структур и операций). Нужно ля определения степени переводимости одной онтологии в другую.

Концептуальные структуры могут находиться в след отношениях:

1. Согласующиеся
2. Соответствующие – одинаковые эл-ты в структуре.
3. Конфликтующие – имеют одно имя, но разное содержание
4. Противоречивые

Проверка – проверяет корректность и непротиворечивость

Оценка – выносится решение о соответствии онтологии её цели

Основные задачи, решаемые с помощью онтологии

Сферы применения:

1. Поисковые системы
2. Системы обучения
3. Научные исследования
4. Системный анализ ПрО
5. Интегрирование данных и знаний
6. Создание и использование баз знаний
7. Создание систем, реализующих механизмы рассуждений
8. Организация поиска по смыслу в текстовой информации
9. Семантический поиск в Инете
10. Представление смысла в метаданных об информационных ресурсе

Инструменты и инженерия антологии

Наиболее известные инструменты инженерии антологии:

OntoLingua – среда разработки, обеспечивающая коллективное использование, набор средств для создания и библиотеку модулей.

OntoEdit – среда разработки для проектирования приспособления и импорта моделей знаний для прикладных систем. Поддерживает многоязычность и множественное наследование

OilEd – рдактор онтологии, позволяющий строить при помощи Oil (Ontology inference layer). Ориентирован на www-представление.

Protégé – интегрированная среда редактирования баз знаний. Представляет наращиваемую архитектуру для создания основанных на знаниях систем пользователя.

Web-DESO – система, предназначенная для запила онтологии, описывающих некоторую ПрО.

Shcherbak.net

Методология организации знаний в онтологиях

METHONTOLOGY – включает процедуры жизн цикла, в основе системы знаний приняты:

а) глосорий терминов

б) Деревья классификации концептов

в) диаграмма бинарных отношений

OIL – основана на понятии классов и определении их подклассов и атрибутов

Loom – описываемые знания состоят из определений, правил, фактов и стандартов

JFACC – создана на основе Loom. Использовалась, как онтология для планирования полетов и составлена из разделов:

            1)Система

            2)Время

            3)Объекты

            4)Планы возд компании

            5)Оружие

            6)Обеспечение топливом

            7)Авиация

            8)Воздушные силы

            9)Грамматика

DOOM – онтология состоит из терминов, обозначающих понятия, связи между ними и ограничениями.

PICSEL – Модель рассматривается, как отнесение к опр категориям объектов ПрО (с точки зрения юзверя)

ONIONS (лучки, ня) – модель базируется на понятиях уровня (события и протяженность; события включают в себя процессы, состояние, временные интервалы; протяженность содержит объекты и области), которые затем делятся на понятия, относящиеся к конкретной ПрО

Особенности реализации естественно-языковых система

Архитектура их построения

Структура диалога может рассматриваться на 3х уровнях:

1. Глобальный: определяются общие св-ва решаемых пользователем задач
2. Тематический: структура диалога завит от конкретно решаемой задачи
3. Локальный уровень: рассматриваются конкретные шаги диалога (пара «действие-реакция»). Основные параметры структуры диалога на этом уровне:

А) Инициатор шага и вид инициирования (вид действия)

Б) Способ влияния действия на реакцию

В) Способ спецификации задач (подзадачи), решаемой на данном шаге.

Низкая эффективность традиционных средств общения в большинстве случаев вызвано тем, что не учитываются важнейшие особенности процесса общения. Они сводятся к след проблемам:

1. Изменяемость
2. Несовпадение взглядов на мир
3. Связанность общения
4. Неправильность высказывания пользователя

Традиционные ср-ва общения не позволяют обеспечить взаимодействие конечных юзверей с объектом. Чтобы быть полноправным участником общения, ЕЯсистема должна выполнять некоторые обязат. ф-ции:

1. Ведение диалога
2. Понимание – процесс интерпретации введенного
3. Обработка высказываний
4. Генерация – формирование выходных высказываний

Обобщенная схема естественно-языковых систем​

Здесь должна быть общая характеристика анализаторов ЕЯ-систем

Интерпретации заключаются в следующем – отображение входного высказывания на знание системы.

Выделяются 2 основных этапа:

1. Буквальная интерпретация
2. Интерпретация на намерения говорящего

Знания ЕЯ-систем

Знания можно классифицировать:

1. Собственно, знания
2. Способ представления знаний

Уровни представления знаний

1. Нулевые знания
2. Мета-знания
3. Уровни детальности
4. Логическая организация
5. Физическая организация

Программные средства создания ЕЯ-систем

Самые рапср:  язык Лисп, Mycim, FRL, Пролог, OPS, Рефал

Основные классы ЕЯ-систем

1. Вопросно-ответные системы
2. Системы машинного перевода
3. Диалоговые системы
4. Системы общения с БД
5. Система обработки связанного текста