Определение понятия устойчивости положения равновесия было дано в конце XIX века в работах русского ученого А. М. Ляпунова. Рассмотрим это определение.
Для упрощения выкладок условимся в дальнейшем обобщенные координаты q 1, q 2,..., q sотсчитывать от положения равновесия системы:
, где 
Положение равновесия называется устойчивым, если для любого сколь угодно малого числа
можно найти такое другое число
, что в том случае, когда начальные значения обобщенных координат и скоростей не будут превышать
:

значения обобщенных координат и скоростей при дальнейшем движении системы не превысят 

Иными словами, положение равновесия системы q 1 = q 2 =...= q s =0 называется устойчивым, если всегда можно найти такие достаточно малые начальные значения
, при которых движение системы
не будет выходить из любой заданной сколь угодно малой окрестности положения равновесия
. Для системы с одной степенью свободы устойчивое движение системы можно наглядно изобразить в фазовой плоскости (рис.77). Для устойчивого положения равновесия движение изображающей точки, начинающееся в области
, не будет в дальнейшем выходить за пределы области
.
Рис.77
Положение равновесия называется асимптотически устойчивым, если с течением времени система будет приближаться к положению равновесия, то есть

Определение условий устойчивости положения равновесия представляет собой достаточно сложную задачу, поэтому ограничимся простейшим случаем: исследованием устойчивости равновесия консервативных систем.
Достаточные условия устойчивости положений равновесия для таких систем определяются теоремой Лагранжа - Дирихле: положение равновесия консервативной механической системы устойчиво, если в положении равновесия потенциальная энергия системы имеет изолированный минимум.
Потенциальная энергия механической системы определяется с точностью до постоянной. Выберем эту постоянную так, чтобы в положении равновесия потенциальная энергия равнялась нулю:
.
Тогда для системы с одной степенью свободы достаточным условием существования изолированного минимума, наряду с необходимым условием (2), будет условие

Так как в положении равновесия потенциальная энергия имеет изолированный минимум и
, то в некоторой конечной окрестности этого положения
.
Функции, имеющие постоянный знак и равные нулю только при нулевых значениях всех своих аргументов, называются знакоопределенными. Следовательно, для того, чтобы положение равновесия механической системы было устойчивым необходимо и достаточно, чтобы в окрестности этого положения потенциальная энергия была положительно определенной функцией обобщенных координат.
Для линейных систем и для систем, которые можно свести к линейным при малых отклонениях от положения равновесия (линеаризовать), потенциальную энергию можно представить в виде квадратичной формы обобщенных координат
(3)
где
- обобщенные коэффициенты жесткости.
Обобщенные коэффициенты
являются постоянными числами, которые могут быть определены непосредственно из разложения потенциальной энергии в ряд или по значениям вторых производных от потенциальной энергии по обобщенным координатам в положении равновесия:
(4)
Из формулы (4) следует, что обобщенные коэффициенты жесткости симметричны относительно индексов
.
Для того, чтобы выполнялись достаточные условия устойчивости положения равновесия, потенциальная энергия должна быть положительно определенной квадратичной формой своих обобщенных координат.
В математике существует критерий Сильвестра, дающий необходимые и достаточные условия положительной определенности квадратичных форм: квадратичная форма (3) будет положительно определенной, если определитель, составленный из ее коэффициентов, и все его главные диагональные миноры будут положительными, т.е. если коэффициенты
будут удовлетворять условиям
,
,
.....

В частности, для линейной системы с двумя степенями свободы потенциальная энергия и условия критерия Сильвестра будут иметь вид


Аналогичным образом можно провести исследование положений относительного равновесия, если вместо потенциальной энергии ввести в рассмотрение потенциальную энергию приведенной системы.