При испытаниях (опытах, наблюдениях) мы в большинстве случаев имеем дело не со всей совокупностью значений случайной величины, а с некоторой выборкой этих значений.
Среднее арифметическое этой выборки стремится к математическому ожиданию с увеличением ее объема.
Однако это свойство отличается от понятия сходимости, принятого в математическом анализе. Как известно, в детерминированной постановке сходимость означает безусловное приближение математической величины к некоторому пределу при неограниченном увеличении числа членов ряда этой величины.
В теории вероятностей стремление среднего арифметического случайной величины к ее математическому ожиданию обусловлено той или иной степенью вероятности этого. Причем, чем больше объем выборки, тем выше эта вероятность.
Это положение отражено в фундаментальном законе больших чисел, сформулированном Я. Бернулли и в более общем виде – П.Л. Чебышевым.