Коллективное поведение агентов

Классификация агентов

Для классификации агентных программ исполь­зуются два основных признака: 1) степень развития внутреннего представления о внешнем мире; 2) способ принятия решения.

Простейшим видом агента является простой рефлексный агент. Подобные агенты выбирают действия на основе текущего восприятия состояния среды, игнорируя всю остальную историю восприятия. Простые рефлексные агенты чрезвычайно просты, но обладают ограниченным интеллектом.

Рисунок 11.1 – Структура простого рефлексного агента.

В условиях частичной наблюдаемости необходимо, чтобы агент отслеживал изменение среды. Это означает, что агент должен обладать множеством внутренних состояний, смена которых зависит от истории восприятия.

На рис. 11.2 приведена структура агента, действующего с учетом внутреннего состояния. Текущее восприятие комбинируется с прежним внутренним состоянием, в результате совершаются действия и происходит смена внутреннего состояния.

Рисунок 11.2 – Агент, действующий с учётом внутреннего состояния.

Знаний о текущем состоянии среды не всегда достаточно для принятия решения. Тогда агенту требуется не только описание текущего состояния, но и информация о цели, которая описывает желаемые ситуации. Структура агента, действующего на основе цели, показана на рисунке 11.3. Он следит за состоянием среды, а также за множеством целей, которых он пытается достичь, и выбирает действие, направленное на достижение этих целей.

Рисунок 11.3 – Структура агента, действующего на основе целей.

Часто имеют место ситуации, когда для принятия решения недостаточно информации только о целях. Во-первых, если имеются конфликтующие цели, такие, что могут быть достигнуты только некоторые из них (например, или скорость, или безопасность). Во-вторых, если имеется несколько целей, к которым может стремиться агент, но каждая из них может быть достигнута с некоторой вероятностью успеха. В этом случае в программу агента вводится функция полезности которая ставит в соответствие состояниям агента вещественное число, имеющее смысл ожидаемой полезности данного состояния. Агент выбирает действие, которое ведет к наилучшей ожидаемой полезности.

Рисунок 11.4 – Структура агента, основанного на модели и на полезности.

В особый класс выделяют обучающихся агентов. Обучение имеет важное преимущество: оно позволяет агенту функционировать в первоначально неизвестных ему вариантах среды и становиться более компетентным по сравнению с тем, что могли бы позволить только его начальные знания.

В структуре обучающегося агента выделяют на четыре концептуальных компонента, как показано на рисунке 11.5. Производительным компонентом может являться любая из рассмотренных ранее структур агентных программ. Обучающий компонент использует информацию обратной связи от критика с оценкой того, как действует агент, и определяет, каким образом должен быть модифицирован производительный компонент для того, чтобы он успешнее действовал в будущем.

Рисунок 11.5 – Структура обучающегося агента.

Критик сообщает обучающему компоненту, насколько хорошо действует агент с учетом постоянного стандарта производительности, поскольку сами результаты восприятия не дают никаких указаний на то, успешно ли действует агент. Этот стандарт следует рассматривать как полностью внешний по отношению к агенту, поскольку агент не должен иметь возможности его модифицировать. Например, шахматная программа может получить результаты восприятия укатывающие на то, что она поставила мат своему противнику, но ей требуется стандарт производительности, который позволил бы определить, что это – хороший результат, так как сами данные восприятия ничего об этом не говорят.

Последним компонентом обучающегося агента является генератор проблем. Его задача состоит в том, чтобы предлагать действия, которые должны привести к получению нового и информативного опыта. Дело в том, что если производительный компонент предоставлен самому себе, то продолжает выполнять действия, которые являются наилучшими с точки зрения того, что он знает. Но если агент готов к тому, чтобы немного поэкспериментировать и в краткосрочной перспективе выполнять действия, которые, возможно, окажутся не совсем оптимальными, то он может обнаружить лучшие действия в перспективы.

Взаимодействие между агентами – главная черта MAC, отличающая их от других интеллектуаль­ных систем. Главными характеристиками любого взаимодействия являют­ся направленность, избирательность, интенсивность и динамич­ность. В контексте MAC эти понятия можно интерпретировать следующим образом:

• направленность – положительная или отрицательная; коо­перация или конкуренция; сотрудничество или конфронтация; координация или субординация и т. п.;

• избирательность – взаимодействие происходит между аген­тами, которые каким-либо образом соответствуют друг другу и поставленной задаче. При этом агенты могут быть связаны в од­ном отношении и независимы в другом;

• интенсивность – взаимодействие между агентами не сво­дится к наличию или отсутствию, а характеризуется определен­ной силой;

• динамичность – наличие, сила и направленность взаимо­действий могут изменяться с течением времени.

К базовым видам взаимодействия между агентами относятся:

• кооперация (сотрудничество);

• конкуренция (конфронтация, конфликт);

• компромисс (учет интересов других агентов);

• конформизм (отказ от своих интересов в пользу других);

• уклонение от взаимодействия.

Взаимодействие агентов обусловлено рядом причин, важнейшими среди которых являются следующие.

Совместимость целей (общая цель). Эта причина обычно по­рождает взаимодействие по типу кооперации или сотрудничест­ва. При этом следует выяснить, не ведет ли взаимодействие к снижению жизнеспособностиотдельных агентов. Несовмести­мость целей или убеждений обычно порождает конфликты, по­зитивная роль которых заключается в стимулировании процессов развития. Известная модель хищник-жертва представляет собой пример одновременного взаимодействия по двум типам коопера­ция-конфронтация.

Общие ресурсы. Ресурсами будем называть любые средства, используемые для достижения агентами своих целей. Ограниченность ре­сурсов, которые используются многими агентами, обычно по­рождает конфликты. Одним их самых простых и эффективных способов разрешения подобных конфликтов является право силь­ного:сильный агент отбирает ресурсы у слабых. Более тонкие способы разрешения конфликтов обеспечивают переговоры, направленные на достижение компромиссов, в которых учитыва­ются интересы всех агентов. Задачи распределения долей рынка, затрат и прибылей совмест­ных предприятий можно рассматривать как примеры взаимодей­ствия, обусловленного общими ресурсами.

Необходимость привлечения недостающего опыта. Каждый агент обладает ограниченным набором знаний, необходимых ему для реализации собственных и общих целей. В связи с этим ему приходится взаимодействовать с другими агентами. При этом возможны различные ситуации: а) агент способен выполнить за­дачу самостоятельно; б) агент может обойтись без посторонней помощи, но кооперация позволит решить задачу более эффек­тивным способом; в) агент не способен решить задачу в одиноч­ку. В зависимости от ситуации агенты выбирают тип взаимодей­ствия и могут проявлять разную степень заинтересованности в сотрудничестве.

Взаимные обязательства. Обязательства являются одним из инструментов, позволяющих упорядочить хаотические взаимо­действия агентов. Они позволяют предвидеть поведение других агентов, прогнозировать будущее и планировать собственные действия. Можно выделить следующие группы обязательств: а) обязательства перед другими агентами; б) обязательства агента перед группой; в) обязательства группы перед агентом; г) обяза­тельства агента перед самим собой. Формальное представление целей, обязательств, желаний и намерений, а также всех осталь­ных характеристик составляет основу ментальной модели интел­лектуального агента, которая обеспечивает его мотивированное поведение в автономном режиме.

Перечисленные причины в различных сочетаниях могут при­водить к разным формам взаимодействия между агентами, на­пример:

• простое сотрудничество, которое предполагает интеграцию опыта отдельных агентов (распределение задач, обмен знаниями и т. п.) без специальных мер по координации их действий;

• координируемое сотрудничество, когда агенты вынуждены согласовывать свои действия (иногда привлекая специального агента-координатора) для того, чтобы эффективно использовать ресурсы и собственный опыт;

• непродуктивное сотрудничество, когда агенты совместно используют ресурсы или решают общую проблему, не обменива­ясь опытом и мешая друг другу (как лебедь, рак и щука в басне И.А. Крылова).