Разработка языка описания нейроимитатора для обмена данными

Рассмотрим вопросы, связанные с разработкой унифицированного формата представления нейросетевой информации для хранения и обмена между модулями информационной системы. Основное назначения формата – унифицированное представление информации о настроенных нейросетевых моделях, достаточной для их корректного применения в информационных системах для решения прикладных задачах.

Для обеспечения работы с нейросетевыми моделями, представленными в унифицированном формате, необходима разработка специализированных программных средств, преобразующих информацию во внутренний формат представления программ – нейроимитаторов, решающих определенные задачи в конкретных информационных системах.

Составляющей информационного обмена между информационной системой и нейросетевым компонентом является файл параметров функционирования нейроимитатора. Он содержит информацию, необходимую для корректной обработки запроса. В состав выходной информации нейроимитатора входит файл результатов работы, файл отчета о процессе настройки, файл нейросетевой модели, протокол работы нейроимитатора. В файле результатов содержатся значения целевых параметров задачи, полученные моделью на основе входных данных, предоставленных ИС. Эта информация используется непосредственно в дальнейшей работе ИС. Файл отчета о процессе обучения содержит информацию о структуре использованных моделей, ошибках на обучающей и тестовой выборках, число тактов обучения и т.д. Файл нейросетевой модели содержит представление обученной нейросети во внутреннем формате, а также всю необходимую информацию для ее дальнейшего использования. С помощью программы преобразования форматов нейросетевая модель представляется в унифицированном формате и далее может быть добавлена в архив моделей или передана другой программе. Файл протокола работы позволяет ИС контролировать процесс функционирования нейроимитатора, диагностировать возникающие сбои и корректно их обрабатывать.

Предлагаемый вариант унифицированного формата описания нейросетевых моделей разработан на основе изучения работ отечественных и зарубежных исследователей [41,57,110,230,232,243,247,248,249,254,255], а также собственного опыта разработки программной системы моделирования нейронных сетей [178,179]. Предлагаемый унифицированный формат можно рассматривать как вариант подхода к описанию, охватывающий наиболее распространенные методы и модели нейроинформатики. При этом практически важным является вопрос обеспечения открытости и расширяемости предлагаемого формата. Обеспечена открытость описания в следующих направлениях: общая структура описания; состав параметров в описании используемых методов или элементов модели; состав используемых методов и функций.

В качестве средства создания электронного формата описания нейросетевых моделей был выбран язык XML (Extensible Markup Language). Это язык разметки документов, позволяющий представлять структурированную информацию, используя для этого произвольный набор инструкций. XML описывает класс объектов данных, называемых XML – документами. Этот язык используется в качестве средства для описания грамматики других языков и контроля за правильностью составления документов. XML является подмножеством стандартизованного общего языка разметки (SGML), утвержденного Международной Организацией Стандартов (ISO), стандарт ISO 8879:1986. В настоящее время существует первая версия стандарта XML, утвержденная международной организацией по стандартизации спецификаций для Интернет World Wide Web Consortium в 1998 году [289].

Этот выбор обусловлен следующими причинами:

- XML предоставляет стандартизованное и универсальное средство построения структурированного описания данных;

- язык XML предоставляет гибкий и унифицированный подход для представления информации и обеспечивает расширяемость описания;

- имеются разработанные стандартизованные методы доступа к информации в формате XML, не зависящие от конкретного содержания данных, а также программные средства, реализующие интерфейс междуXML – документом и программными системами.

Несмотря на то, что этот язык является новым, уже существует значительное количество приложений технологии XML в самых различных областях, в том числе для представления математических выражений (язык MathML [280]), описания вероятностных сетей (язык BNXML) и статистических моделей анализа данных (язык PMML) [281]. Описание XML и ссылки на ресурсы сети Интернет, посвященные его применению, можно найти в [281,282,283].

Технология XML поддерживается и развивается такими фирмами, как Microsoft, Netscape, Sun, IBM. Ожидается, что развитие этой технологии повысит эффективность представления и передачи информации в глобальной сети Интернет.

Описание нейросетевой модели при помощи унифицированного формата состоит из следующих разделов: описание решаемой задачи, описание структуры данных и методов их предварительной обработки, описание структуры, параметров и правил функционирования нейронной сети, описание методов интерпретации ответов сети.

Компонент описания «Задача» содержит информацию об области использования нейросетевой модели, ее наименовании и назначении, описывает решаемую нейронной сетью задачу. Информация этого раздела служит для идентификации модели, организации поиска и отбора моделей в электронных архивах, резервирования авторских прав разработчика нейросети.

Раздел «Данные» включает в себя информацию о структуре данных, используемых нейросетью, сведения об обучающей выборке, которая использовалась для настройки нейросети, а также информацию о методах предварительной обработки данных, применяемых в задаче.

Раздел описания «Нейронная сеть» является основным и содержит данные о структуре нейросетевой модели, ее параметрах, правила ее функционирования. Эта информация позволяет однозначно восстановить нейросетевую модель и использовать ее для получения отклика на вектор входных данных.

В описание интерпретатора входит информация о методах преобразования выходных сигналов сети для получения содержательного ответа в терминах предметной области. Этот раздел необходим для обеспечения корректного использования нейросетевых моделей.

Введенные разделы «Данные», «Нейронная сеть», «Интерпретатор» по содержанию частично соответствуют описанию компонентов нейрокомпьютера «Обучающая выборка», «Предобработчик», «Сеть», «Интерпретатор» [110]. При этом в описании не отражены компоненты «Учитель», «Оценка», «Исполнитель», так как они относятся к процессу настройки нейросетевой модели.

Основными элементами формата представления нейросетевой модели являются [285]: описания параметров самой модели и ее составных частей; описания функциональных блоков модели – блоков предобработки, нейронов, блоков интерпретации; описания разделов – элементы, определяющие структуру формата.

Кроме проверки на формальное соответствие грамматике языка, в документе могут присутствовать средства контроля над содержанием документа, за соблюдением правил, определяющих необходимые соотношения между элементами и формирующих структуру документа. Для того, чтобы обеспечить проверку корректности XML – документов, необходимо использовать анализаторы, производящие такую проверку и называемые верифицирующими. На сегодняшний день существует два способа контроля правильности XML – документа: DTD – определения (Document Type Definition) и схемы данных (Semantic Schema) [282].

Приведенное средство представления нейросетевых моделей позволяет сформировать описание многослойных нейронных сетей прямого распространения произвольной топологии с различными типами нейронов.

Технология применения унифицированного формата нейросетевых моделей в прикладных системах моделирования нейронных сетей представлена на рис. 4.18. Непосредственный доступ к файлам описания производит стандартная проблемно–независимая программа – анализатор (XML-parser). Основные его функции: чтение / запись файлов XML, построение внутреннего представления информации в виде дерева объектов, проверка синтаксической правильности и корректности содержания на основе DTD – описания, предоставление доступа к элементам описания с помощью набора методов и объектов.

Специальный модуль интерпретации нейросетевого описания получает доступ ко всем элементам модели с помощью стандартных методов программы – анализатора. На основе внутреннего словаря он содержательно интерпретирует элементы описания, генерирует структуру модели, ставит в соответствие элементам нейросетевой модели конкретные значения, проверяет возможность реализации данной модели имеющимися средствами. Далее, сгенерированная нейросетевая модель используется нейроимитатором, или конвертируется в набор файлов внутреннего формата системы.

Рис. 4.18. Схема обработки файлов унифицированного описания нейросетевых моделей

При записи файлов унифицированного формата происходит обратная последовательность действий. Модуль интерпретации получает нейросетевую модель во внутреннем формате системы. С помощью стандартных методов анализатора создается новый документ с необходимой структурой, элементам модели присваиваются текущие значения. Затем производится запись нового документа. Таким образом, для обеспечения поддержки унифицированного формата разработчику нейросетевого компонента необходимо создать модуль интерпретации и конвертации нейросетевого описания во внутренний формат представления информации нейроимитатора. При этом нет необходимости разрабатывать интерфейс с файлами унифицированного описания: в настоящее время существует несколько универсальных анализаторов, написанных на популярных языках программирования (см. например [281]).

Реализация унифицированного описания нейросетевых моделей на основе средств открывает следующие возможности для использования в ИС:

1. Хранение и документирование нейросетевых моделей во внутренних архивах ИС. Описание нейросетевых моделей в предлагаемом формате позволяет организовать архивы моделей, при этом каждое описание содержит информацию, позволяющую определить задачу, которую решает модель, контекст ее использования, оценить качество настройки модели. Структура описания модели позволяет документировать модель для облегчения ее дальнейшего использования. Формат описания может быть прочитан с помощью любой программы, имеющей доступ к документам XML. Файл описания нейросети может быть прочитан пользователем с помощью любого текстового процессора, так как в нем информация представлена в текстовом виде. Выборка моделей из архива может быть организована по одному или совокупности полей описания. Это позволяет организовать систему управления архивами моделей, осуществляющую запись, поиск и извлечение моделей в соответствие с заданными критериями.

2. Передача нейросетевых моделей в рамках информационной системы. Предлагаемый формат обеспечивает независимость представления нейросети от средств ее создания. Это позволяет организовать автоматизированный обмен нейросетевыми моделями между различными средствами работы с ними: архивами, программами создания, интерпретации, визуализации и т.д.

3. Обмен нейросетевыми моделями с внешними системами. Информационная система может получать нейросетевые модели извне, например, от удаленных систем.

3. Разновидности нейронных сетей [31]