Список замеченных опечаток 4 страница

44

дополнительных причин, в частности наличие случайных ответов.

Отсюда был сделан вывод, что хотя выявление и характеристика способа решения диагностических задач и не могут при практическом применении диагностики явиться основой начисления баллов, в процессе разработки и обоснования диагностических методик они могут и должны быть использованы в качестве важного средства установления валидности, т. е. соответствия количественной оценки по результату оценке, проявляющейся в степени овладения тем типом умственного действия, к которому адресована данная методика.

Процесс разработки и проверки диагностических методик строился в нашей лаборатории следующим образом. Исходя из выделенных нами показателей уровня умственного развития, при разработке каждой методики мы стремились подобрать серию задач, адресованных одному из типов умственных действий, т. е. задач, построенных таким образом, что существенные для их решения условия могут быть выделены только в результате выполнения этого действия. В поисках таких задач мы либо обращались к ранее выполненным экспериментальным исследованиям, специально направленным на изучение соответствующего перцептивного или интеллектуального действия, либо проводили подобные исследования заново. Таким образом, диагностическая валидность методик, их соответствие отобранным показателям умственного развития во всех случаях были заранее установлены экспериментально. Каждая серия задач предусматривала возможность не только полного решения, которое свидетельствовало бы о высшем уровне овладения умственным действием, но и различного рода частичных решений, соотносимых с более элементарными, предварительными уровнями, выделенными нами на основе предшествующего теоретического и экспериментального анализа.

Подобранным задачам придавалась форма, соответствующая условиям проведения работы с детьми разных дошкольных возрастных групп. В силу ряда причин практического характера, после первоначальных проб, проведенных на детях от 3 до 7 лет, мы сосредоточились на разработке методик для четырех- и пятилетнего возраста, затем перешли к разработке методик для шестилетних

45

детей и только после этого для самых младших, трехлетних дошкольников.

Во всех случаях мы использовали задания, требующие выполнения ребенком того или иного практического действия, основанного на соответствующей перцептивной или интеллектуальной ориентировке. Методики, рассчитанные на словесные ответы испытуемых, нами не применялись. Это диктовалось следующими соображениями. Хотя развитие восприятия и мышления в дошкольном возрасте тесно связано с овладением речью, однозначной связи между уровнем речевого и умственного развития ребенка не существует. Поэтому неудачные словесные ответы детей на те или иные вопросы могут быть связаны как с отставанием в умственном развитии, так и с недостаточным развитием самой речи, с неумением выразить словесно необходимую мысль. Поскольку нас интересовала степень развития перцептивных и интеллектуальных действий, использование «вербальных» методик внесло бы дополнительные трудности, связанные с необходимостью анализа причин ошибочных ответов, отнесения их за счет недостатков умственного или речевого развития. В то же время методики, составленные из заданий «практического» типа, ни в коей мере не исключали использование детьми словесных форм рассуждения в процессе их выполнения, хотя и не фиксировали их специально. Это, конечно, не означает, что в дошкольном возрасте вообще не могут быть применены методики, направленные на диагностику овладения речью и собственно речевым мышлением. Однако подобная задача должна рассматриваться как самостоятельная, и ее решение требует проведения дополнительных исследований.

Для детей 4—5 лет разрабатывались одни и те же пять методик, соответствующие пяти выделанным показателям. Задачи включались в привычные и доступные детям виды деятельности — игровую и продуктивную. При разработке методик для детей 6 лет один из показателей — степень овладения наиболее элементарным перцептивным действием идентификации — был опущен и вместо соответствующей методики была введена новая, направленная на выявление степени овладения предпосылками учебной деятельности. Остальным методикам была придана новая форма, приспособленная для группового обследования детей и приближающая условия использования

46

методик к условиям выполнения учебных заданий.

Разработка методик для детей трехлетнего возраста шла в направлении подбора заданий, соответствующих наиболее элементарным уровням овладения умственными действиями каждого из пяти выделенных нами типов, а в отдельных случаях (для действий логического мышления) — предпосылками овладения ими. При этом заданиям придавалась предметно-действенная форма, допускающая использование различного рода внешних проб.

Каждая методика включала набор однородных или постепенно усложняющихся задач, достаточный для такого накопления баллов, которое допускает последующую числовую обработку результатов. При установлении количества задач, входящих в набор, мы пытались учитывать, с одной стороны, необходимость обеспечения надежности методик, увеличивающейся с увеличением этого количества, и, с другой стороны, недопустимость слишком большой длительности обследования и его утомительности для детей, потери ими интереса к выполнению заданий.

При составлении каждой методики устанавливались критерии количественной оценки решения входящих в нее задач по результату и способы выведения общей количественной оценки. Мы старались добиться максимальной объективности и простоты системы оценок, хотя в ряде случаев это было связано с известными трудностями, так как требовалось оценивать не только полную, но и частичную успешность решения.

К каждой методике составлялась инструкция, в которой мы подробно оговаривали порядок и все условия ее применения (способы предъявления задач, инструкцию, которая дается ребенку, меру возможной помощи, форму протокола и т. д.).

После разработки методик и инструкций следовала первоначальная экспериментальная проверка методик на сравнительно небольших группах детей (20—30 человек) соответствующего возраста. В ходе такой проверки устанавливались понимание детьми задания, их отношение к его выполнению, степень успешности решения предложенных задач, характер возникающих у детей затруднений, степень утомляемости и др. Данные, полученные

47

при проверке, подвергались первоначальной статистической обработке (подсчетам M, σ и R), позволявшей дать ориентировочную оценку некоторых параметров методики (ее трудности, дискриминабельности и надежности). В случае надобности в методику вносились те или иные изменения, после чего проверка повторялась. Это могло происходить неоднократно, вплоть до получения удовлетворительных результатов по всем параметрам.

Полученные таким путем варианты диагностических методик подвергались массовой проверке (на значительном количестве детей), преследующей цель накопления материала, достаточного для обоснования статистической оценки качества каждой методики, а в отдельных случаях — также и предварительной стандартизации всей системы методик1.

При составлении стандартизационных групп мы исходили из иных принципов, чем те, которые приняты в зарубежной науке. Эти принципы определялись особым подходам к пониманию возрастной нормы, вытекающим из общего понимания закономерностей психического развития ребенка и задач диагностики, изложенного в главе I.

Основным (если не единственным) фактором умственного развития для зарубежных составителей тестов является возраст. Это далеко не всегда провозглашается теоретически, но чрезвычайно четко проявляется в практике стандартизации и установления норм. Стандартизационные группы подбираются строго по признаку равенства возраста (с колебаниями, не большими чем ± 2 месяца); нормы выводятся для детей каждого полугодия, а часто и для каждой четверти года жизни (4—4,25; 4,5—4,75—5 лет). Если, однако, признать, что умственное развитие определяется не возрастом самим по себе, а условиями жизни в обществе, воспитанием и обучением, подобная фетишизация возрастного фактора теряет всякий смысл. В многочисленных экспериментальных исследованиях советских авторов, посвященных разным сторонам умственного развития ребенка, неоднократно обнаруживалось, что достигнутый уровень лишь в самой

48

общей тенденции связан с возрастом, как таковым (да и то, по-видимому, не прямо, а косвенно — через накопление опыта и изменение условий развития), решающее же значение имеют особенности воспитания и обучения.

Опираясь на эти данные, мы решили в качестве основной единицы для установления норм избрать возрастную группу детского сада, независимо от календарного возраста входящих в нее детей. Поскольку детские сады нашей страны работают по единой государственной программе (с небольшими вариациями для разных союзных республик), именно группа детского сада создает наиболее однородные условия воспитания детей. И это типичные условия, поскольку детскими садами уже сейчас охвачено около половины дошкольников, а в ближайшие годы охват детей дошкольными детскими учреждениями будет неуклонно возрастать. Вместе с тем уровень развития детей, достигаемый в условиях детского сада, может с полным основанием являться, да и реально является, тем уровнем, на который ориентируется семья в отношении детей, не посещающих детские сады. Различного рода руководства и методические материалы для родителей, выпускаемые нашей печатью, исходят именно из программы воспитания в детском саду, приспосабливая ее требования к условиям семьи.

Справедливость выбора возрастной группы детского сада, а не календарного возраста ребенка в качестве исходного пункта для установления норм подтвердилась впоследствии, когда, уже после разработки соответствующих методик, мы провели сравнение уровня умственного развития детей одного и того же календарного возраста, воспитывающихся в разных группах детского сада (средней и старшей), и детей с полугодовой разницей в возрасте, воспитывающихся в одной и той же группе.

Нами было отобрано 48 детей в возрасте от 5 до 5,5 лет, 11 из которых являлись воспитанниками старшей группы, а 37 — воспитанниками средней группы. Обследование этих детей при помощи пяти диагностических методик показало, что по результатам четырех методик имеется различие средних в пользу воспитанников старшей группы, статистически значимое при p≤0,001, и по результатам одной методики — различие, не достигающее 95% уровня значимости (т. е. p≤0,05). Затем результаты тех же 37 детей из средней группы были сопоставлены

49

с результатами 64 детей в возрасте от 4,5 до 5 лет, также воспитывавшимися в средней группе. На этот раз только по данным одной из пяти методик обнаружилось статистически значимое различие в пользу пятилетних детей, по данным двух методик различие было незначительным, по данным еще одной методики его не обнаружилось вовсе, и, наконец, одна методика выявила фактически значимое различие в пользу младших четырехлетних детей. Итак, сравнение показало, что влияние воспитательных условий явно перекрывает влияние возраста в пределах полугода, причем последнее является вообще незначительным.

Эти соображения привели нас к решению формировать стандартизационные группы из детей, воспитывающихся в определенной возрастной группе детского сада. При этом мы сочли допустимым брать только городские детские сады, где воспитательная работы по программе ведется на более высоком уровне, считая, что именно этот уровень воспитательной работы может рассматриваться в качестве достаточного для полноценной реализации программы, и в ближайшие годы к нему подтянутся и сельские детские учреждения1.

При этом мы учитывали, что дети из сельских дошкольных учреждений и дети из семьи при последующем практическом применении диагностики окажутся в невыгодном положении, так как их оценки будут сопоставляться с несколько завышенной для них нормой. Однако для нас это не выступало в качестве недостатка, поскольку задачей нашей диагностики отнюдь не являлось определение индивидуальных способностей детей «вообще», в отрыве от условий их воспитания.

По материалам, полученным при стандартизации, вычислялись M, σ и R и производился перевод «сырых» очков по каждой методике в нормализованную стандартную шкалу.

Для вычисления коэффициента надежности методики

50

(R) при обработке результатов как экспериментальных, так и массовых проверок применялся, как правило, метод расчета линейной корреляции между оценками, полученными детьми за решение задач, входящих в две половины методики, с последующим внесением соответствующей поправки. В ряде случаев применялось также повторное обследование тех же детей и расчет линейной корреляции между результатами двух проверок.

В качестве нормализованной стандартной шкалы нами применялась шкала с M=10 и σ=3 (D. Wechsler, 1967). Перевод «сырых» очков в эту шкалу производился на основе расчета кумулятивного процента детей, соответствующего каждому пункту исходной шкалы «сырых» баллов, и последующего использования следующей таблицы, выражающей соответствие кумулятивного процента стандартным оценкам на основе свойств нормальной кривой распределения.

Кумулятивный процент Стандартные баллы Кумулятивный процент Стандартные баллы
0,1—0,2   44,1—55,9  
0,3—0,5   56,0—67,3  
0,6—1,5   67,4—80,2  
1,6—3,2   80,3—87,4  
3,3—6,0   87,5—92,6  
6,1—12,5   92,7—96,7  
12,6—19,7   96,8—98,4  
19,8—29,1   98,5—99,2  
29,2—44,0   99,3—99,7  
    99,8—99,9  

Перевод данных, полученных при массовой проверке методик, в эту шкалу не только приводит к возможности сопоставления оценок, полученных детьми по разным методикам, и возможности их суммирования, но также является дополнительным средством проверки дискриминабельности методик: если методика является слишком легкой и не дифференцирует сильных детей, конечный участок стандартной шкалы остается незаполненным (высшая оценка в «сырых» баллах соответствует не 19, а 15—16 стандартным баллам). Слишком трудная методика, не дифференцирующая слабых детей, наоборот, оставляет незаполненным начальный участок стандартной шкалы (наиболее низкая, нулевая оценка в «сырых» очках соответствует не 1, а более высокому

51

стандартному баллу). Возможно и сочетание обоих случаев, свидетельствующее о недостаточном разбросе «сырых» баллов. Наконец, слишком значительное количество детей, получивших одинаковые оценки в «сырых» баллах, и недостаточное количество получивших другие оценки выражается в незаполненности тех или иных промежуточных участков стандартной шкалы.

После перевода данных по отдельным методикам в стандартную шкалу выводилась шкала общих суммарных показателей по всей системе методик, направленных на выявление уровня умственного развития детей, использовавшаяся затем для установления валидности системы и для других целей. Мы, однако, решили не выражать общие показатели в общепринятой шкале IQ, а употребить ту же стандартную шкалу, которая применялась для отдельных методик с M=10 и σ=3. Использовалась обычная процедура суммирования стандартных очков и последующей повторной их нормализации.

При подсчете общих показателей в систему не включалась методика, предназначенная для выявления степени овладения предпосылками учебной деятельности в подготовительной к школе группе детского сада. Данные по этой методике всегда учитывались отдельно, и к ней прилагались несколько иные критерии, чем к остальным методикам. Задание, которое давалось детям в этом случае, было прямо адресовано к определенной группе умений, причем предполагалось, что эти умения необходимы ребенку для перехода к систематическому учению, хотя в настоящее время они формируются не в полной мере и далеко не у всех детей. Такое определение содержания задания не позволяло, в частности, в полной мере применять к методике обычный критерий дискриминабельности, так как получение какой-либо частью детей высшего балла было заведомо возможно и желательно, а это снижало дифференцирующую силу методики, не допуская разграничения наиболее продвинутых дошкольников.

В случаях, если результаты массовой проверки обнаруживали недостатки той или иной методики, остававшиеся скрытыми при экспериментальных проверках в силу незначительности использовавшихся в них выборок (пониженная надежность, дискриминабельность и др.), методика подвергалась дальнейшей переработке, затем

52

снова экспериментальным проверкам и далее поступала в новую массовую проверку, проводившуюся с применением нескольких или всех методик. В результате массовые проверки системы методик производились нами неоднократно в разных вариантах. Соответственно, каждый раз осуществлялась стандартизация, имевшая, однако, предварительный характер. Окончательная стандартизация системы методик для детей всех возрастных групп производилась в октябре 1974 г. и в мае — июне 1975 г. На основе этих стандартизаций были получены нормативные стандартные шкалы для обследования детей в начале и конце учебного года.

В процессе переработки отдельных методик, которая производилась многократно, применялись как содержательный анализ задач, входящих в методику, так и (в случае необходимости) статистическая оценка их трудности и дискриминабельности с использованием расчета соответствующих коэффициентов.

Наиболее пристальное внимание уделялось нами установлению валидности разрабатываемых методик. При содержательном качественном подходе к диагностике проблема валидности приобретает новый смысл. Речь уже идет не только о том, отражает ли система методик в целом общий уровень умственного развития ребенка, но и о том, соответствует ли каждая методика вложенному в нее содержанию, т. е. действительно ли она «схватывает» степень овладения тем видом умственного действия, на выявление которого направлена.

Как уже говорилось выше, при конструировании методик мы пользовались заданиями, которые служили ранее материалом экспериментальных исследований, направленных на изучение соответствующих умственных действий ребенка. Таким образом, уже в самом истоке создания диагностики умственного развития была как бы заложена основа валидности методик, опирающаяся на прочный научный фундамент. Особенно важным моментом здесь являлось то, что в исследованиях, служивших для нас отправной точкой, адекватность заданий соответствующим умственным действиям доказывалась при помощи формирующих экспериментов, демонстрирующих закономерный рост успешности выполнения задания при целенаправленном формировании умственного действия определенного типа.

53

Однако в процессе разработки и экспериментальной проверки методик задания подвергались существенному изменению. В связи с этим неизбежно возникал вопрос, сохранилось ли исходное соответствие методики и того умственного действия, к которому она адресована, выражает ли числовая оценка степень овладения этим действием. Для ответа на этот вопрос мы решили использовать метод, основанный на обсуждавшемся ранее соотношении способа и результата решения ребенком диагностических задач. Поскольку способ решения, т. е. вид ориентировки в условиях задания, которую осуществляет ребенок, в достаточной мере выражает степень овладения соответствующим умственным действием, в качестве критерия валидности методики в указанном выше смысле была принята степень, в которой количественная оценка решения диагностических задач по результату зависит от способа решения. Для применения этого критерия был разработан метод, условно названный качественным анализом методики.

После экспериментальной и массовой проверки методики проводился дополнительный анализ материала с точки зрения применявшихся детьми способов выполнения задания. Количество способов, психологическая характеристика каждого из них и оценка его места по отношению к другим способам определялись на основе анализа и сопоставления всех решений и выделения их основных типов в соответствии с имеющимися теоретическими и экспериментальными данными об уровнях овладения соответствующим видом умственного действия, т. е. в известном смысле повторялась та «проекция» предварительной теоретически-экспериментальной конструкции в диагностическую практику, которая осуществлялась при построении серии задач, но теперь она повторялась как бы «снизу вверх» на реальном материале, полученном при решении этих задач детьми.

Следующий этап работы представлял собой распределение всех испытуемых по группам, соответствующим каждому из выделенных способов (и предположительно — каждому из уровней овладения данным видом умственного действия). Этот этап содержал свои трудности, так как далеко не все дети обнаруживают один и тот же способ при решении всех задач, входящих в серию, а применение более «высокого» способа с рядом

54

ошибок иногда трудно отличить от безошибочного применения более «низкого» способа. Поэтому не только выделение способов, но и разбивка испытуемых на группы в соответствии с уже выделенными способами являлась весьма сложной исследовательской задачей, которая решалась по-разному в зависимости от специфики каждой методики.

После формирования групп испытуемых по способу производилось определение статистически значимой разности средних оценок по результату между этими группами, различающимися по способу. Разность оценивалась по критерию t Стьюдента. В качестве критерия достаточной валидности методики с точки зрения «соответствия количественных результатов качественным» применялось наличие достоверной разницы средних при p≤0,051.

Указанный прием установления валидности отдельных методик применялся нами ко всем методикам, направленным на установление уровня умственного развития, но не применялся к методике, направленной на установление степени овладения предпосылками учебной деятельности, поскольку в ней способ и результат выполнения задания практически совпадали.

Наряду с описанным способом проверки валидности путем внутреннего анализа отдельных методик, нами применялись и другие общепринятые методы установления диагностической и прогностической валидности, основанные либо на сравнении результатов применения одних и тех же методик при обследовании детей, воспитывающихся в разных условиях, либо на привлечении тех или иных «внешних» критериев.

Изложение хода и результатов описанных видов работы содержится в последующих главах. Главы III—VIII посвящены разработке и проверке отдельных методик, глава IX — проверке обоснованности всего их комплекса.

55

ГЛАВА III

Диагностика степени овладения действием идентификации

Разработку методики, направленной на определение степени овладения действием идентификации, мы начали с определения конкретного вида задания, который требовал бы такого действия и вместе с тем допускал возможность выявления разных условий его выполнения. В качестве такого задания мы применили выбор цветового объекта по образцу.

Задание на выбор цвета по образцу давалось детям многими авторами, изучавшими развитие восприятия цвета (В. П. Бражас, 1911; З. М. Истомина, 1960; Ж. И. Шиф, 1962, и др.). В исследовании Л. А. Венгера и И. Д. Венева (1968) выполнение детьми-дошкольниками такого задания было специально изучено с точки зрения зависимости его результатов от особенностей перцептивных действий идентификации, которыми владеет ребенок.

Это исследование показало, что выполнение идентификации при выборе по образцу ни в коей мере не может рассматриваться как результат непосредственного сравнения образца с объектом, но представляет собой поисковую деятельность, заключающуюся в серии сопоставлений фиксированного в представлении ребенка при помощи ранее усвоенных эталонов свойства образца с соответствующими свойствами объектов, предъявленных для выбора. Этот поиск может иметь различную степень планомерности и организованности.

Авторы провели формирующие эксперименты, в которых дети обучались приемам сличения цвета обследуемых объектов с эталонами, и показали, что успешность выбора по образцу в результате такого обучения резко повышается. В указанном исследовании было также отмечено, что эффективность действия идентификации при выполнении задания на выбор по образцу существенно изменяется в зависимости от условий выбора, в частности от цвета образцов и обследуемых объектов (выбор

56

цветовых объектов средней светлоты и максимальной насыщенности осуществляется значительно лучше, чем выбор цветовых объектов малой насыщенности и высокой светлоты).

Дальнейшее изучение выполнения детьми действия идентификации при выполнении задания на выбор цветовых объектов по образцу проводилось в нашем исследовании (Н. Б. Венгер, 1970), посвященном усвоению и использованию дошкольниками системы цветовых эталонов. Применявшийся нами вариант задания состоял в том, что детям предлагалось производить поиск цветового объекта, идентичного образцу, в цветовой матрице из 49 элементов, в которой по вертикали последовательно изменялся цветовой тон (в порядке расположения цветов в спектре), а по горизонтали — светлота и насыщенность1.

Матрица размещалась на панели прибора, имевшего 49 круглых клавиш диаметром 2,2 см (при расстоянии между соседними клавишами 1 см). Цветовые элементы, сделанные из специальной бумаги, были наклеены в соответствующем порядке на клавиши.

Кроме клавиш на нашем приборе имелась сигнальная лампочка, которая могла быть подсоединена к любой из клавиш и зажигалась при нажиме на нее.

Образцы, предъявлявшиеся детям, представляли цветные кружки такого же размера, как элементы матрицы. Каждый из них был наклеен на квадратный листок светло-серого металла, совпадающего по цвету с панелью.

Поиск заданного элемента состоял в том, что ребенок нажимал на клавишу, цвет которой, по его мнению, совпадал с цветом образца. Если выбор был сделан правильно, зажигалась сигнальная лампочка. В случае ошибки мы побуждали ребенка продолжать поиск до нахождения нужного элемента. Каждая нажатая ребенком клавиша оставалась до конца поиска утопленной, что давало испытуемому возможность видеть пройденный путь, не сопоставлять уже опробованные элементы с образцом.

57

В качестве образцов для поиска применялись следующие 4 цветовых элемента: ж4, з2, г6, о8. При подборе образцов мы сознательно избегали самых легких вариантов, т. е. полноцветных оттенков хорошо знакомого цвета, (например, к8). Давались либо малознакомые цвета (г6, о8), либо слабонасыщенные оттенки знакомого цвета (ж4, з2).

При анализе выполнения детьми задания учитывались количественные и качественные показатели. Количественным показателем являлась суммарная ошибка, вычислявшаяся путем суммирования величин всех ошибок, допущенных ребенком в процессе поиска всех четырех заданных элементов (величина каждой ошибки измерялась количеством градаций, отделявших ошибочно нажатую клавишу от искомой, причем за одну градацию принималось расстояние между соседними клавишами по вертикали или горизонтали). Качественным показателем служила последовательность опробования ребенком элементов в ходе поиска по каждому образцу.

В экспериментах участвовали дети в возрасте от 3 до 7 лет и взрослые испытуемые.

При анализе результатов обнаружилось, что можно выделить 4 основных типа поиска, свойственных детям дошкольного возраста.

К первому типу относится поиск, в котором специфические особенности расположения цветовых элементов в матрице учитываются лишь в самом глобальном виде. Ребенок выделяет (притом далеко не всегда верно) более или менее широкую область, к которой относится заданный элемент. Внутри этой области поиск производится без какого бы то ни было порядка, причем нередко происходит и выход за ее пределы.

Поиск второго типа характеризуется более или менее систематическим перебором элементов. Однако этот перебор происходит без достаточного учета направления, в котором каждый опробованный элемент отличается от образца. Поэтому в процессе поиска ребенок может как систематически приближаться к нужному элементу, так и удаляться от него.

К третьему типу поиска относятся случаи, когда систематический перебор элементов осуществляется только в нужном направлении, иногда с некоторыми отклонениями, которые быстро замечаются и исправляются

58

ребенком. Нередко приближение к нужному элементу осуществляется с двух сторон — поиск строится по типу «вилки».

Наиболее высокий, четвертый тип поиска представляет собой дальнейшее совершенствование третьего. При этом типе поиск включает минимальное количество проб (1—2), приходящихся на элементы, либо соседние с искомыми, либо находящиеся через один от него. Движение осуществляется только в нужную сторону. Поиск по типу «вилки» встречается и здесь, но становится компактным, охватывая только элементы, смежные с искомым.

Сравнение средней величины суммарной ошибки для групп детей, ведущих поиск по каждому типу, показало, что во всех случаях имеется существенное и статистически значимое различие. Таким образом, эффективность выполнения задания оказалась зависящей от качественных особенностей поиска.


Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:  



double arrow
Сейчас читают про: