Шкалы оценки выраженности компонентов комплекса оживления 8 страница

Независимо от того, в каком виде сообщаются диагностические данные, необходимое условие заключается в том, чтобы представить их в описательной форме, а не только в форме числовых данных.

Такие же правила и предосторожности следует соблюдать и при сообщении результатов учителям, школьной администрации, работодателям и другим заинтересованным лицам. Сообщения об уровнях выполнения и качественные описания предпочтительнее специфических числовых данных, за исключением тех случаев, когда результаты передаются психологу-профессионалу. Передаваемые диагностические результаты рекомендуется сопровождать разумными пояснениями, касающимися измеренных психологических характеристик. Так, например, неспециалист может считать, что показатель интеллектуального теста отражает устойчивую способность человека («ум»), предопределяющую уровень его достижений на протяжении всей жизни.

При сообщении диагностических результатов желательно принимать во внимание индивидуальные особенности того человека, которому передается информация, такие как уровень образования, знания психологии, эмоциональные характеристики и некоторые другие. Важно учитывать и характер отношений лица, которому сообщается диагностическая информация, с продиагностированным индивидом. Например, конфликты родителей или учителей с ребенком могут препятствовать спокойному и рассудительному восприятию данных о ребенке.

Еще одна важная проблема касается сообщении диагностических результатов самому индивиду, будь то ребенок или взрослый, В этом случае как и при сообщении данных третьему лицу, применимы те же самые общие меры предосторожности против неправильной интерпретации, о которых говорилось выше. Однако здесь особенно важна индивидуальная эмоциональная реакция на информацию. Поэтому следует не только предоставить ее правильную интерпретацию, но и создать благоприятные возможности для индивидуальной консультации каждого, кто может быть эмоционально обеспокоен такой информацией. Так, например, студент колледжа может быть серьезно озадачен, узнав о том, что он плохо выполнил тест школьных достижений; школьник может стать непослушным, ленивым и безынициативный, узнав, что он намного превосходит своих сверстников по уровню интеллектуального развития.

Такие вредные психологические последствия могут возникать независимо от того, насколько правильной является диагностическая оценка. Поэтому так важно предоставить индивиду возможность обсудить ее с профессионалом, проконсультироваться по поводу выводов, которые можно сделать на ее основе, способов саморазвития или коррекции и пр. Необходимо при этом учитывать отношение индивида к диагностическим результатам. Если он по какой-либо причине отвергает их, не верит психологу, значит диагностическое обследование проведено впустую, а его данные не имеют практическою значения.

Таковы главные проблемы, затрагиваемые в этических кодексах зарубежных психодиагностов. Предлагаемые способы их решения могут быть полезными отечественной психологической диагностике, которая делает первые шаги в направлении создания норм профессиональной этики.

§3. О социально-психологических основаниях этического кодекса психолога-диагноста

Психолог должен придавать большое значение достоинству и ценности бытия каждого отдельного человека. Он принимает на себя обязательство улучшать понимание человеком самого себя и других людей. Следуя этим обязательствам, специалист охраняет благополучие каждого человека, который может быть объектом его изучения. Он не только сам не использует свое профессиональное положение иди связи во вред обследуемого, но также сознательно не позволит воспользоваться плодами своего труда другим с целью, не совместимой с ценностью этих этических эталонов. Испрашивая для себя возможности диагностического обследования, свободы и сообщения результатов психолог принимает на себя ответственность на следующих основаниях:

· компетентности, на которую он претендует;

· объективности в сообщении данных психодиагностического обследования;

· тех открытий в личностном мире индивида, которые он обнаружил, и внимания к социальным запросам и интересам своих коллег и общества.

Среди тех основных принципов, которые могут составлять этический кодекс психолога-диагноста, в первую очередь должны быть выделены следующие:

· благополучие обследуемого индивида;

· ответственность, в основе которой объективность, честность и поддержание высоких норм в своей работе;

· моральные и правовые стандарты, соответствующие моральным требованиям общества;

· корректность и сдержанность в публичных заявлениях;

· конфиденциальность, гарантирующая сохранность информации, об индивиде;

· отношения с обследуемым, основанные на доверительности, информировании его о цели обследования и о последующем, характере использования результатов;

· неразглашение результатов обследования;

· меры предосторожности в обследованиях;

· ограничения в публикациях методик;

· полная и правильная интерпретация диагностических результатов.

В приложении дан этический кодекс психолога-диагноста, принятый Американской психологической ассоциацией, с развернутыми объяснениями каждого принципа, раскрытием его содержания и его обоснованием.

Вопросы

1. Как должны приобретаться диагностические методики?

2. Почему существует требование ограничения распространения методик?

3. Как обеспечивается право клиента на тайну личности?

4. Какие проблемы возникают при диагностировании детей?

5. Каковы правила сообщений диагностических результатов?

Рекомендуемая литература

Анастази А. Психологическое тестирование. – М., 1982. Т. 2. – С. 50–66.

Анастази А., Урбина С. Психологическое тестирование. – СПб., 2001. – С. 585–601.

Толстых А.В. Морально-этические проблемы психологической практики. – М., 1988.

Глава 24. Компьютеризация психологической диагностики

Вычислительная техника с каждым годом оказывает все большее влияние на все этапы психологической диагностики – от разработки и конструирования диагностических методик до их проведения, от подсчета «сырых» баллов до оперативного сообщения результатов и их интерпретации. Универсальность компьютера в области психодиагностики заключается не только в его необычайном быстродействии и мощности, но и в том, что его возможности не связаны ни с какой научной идеологией психологической науки. Рассмотрим современное состояние компьютеризации психологической диагностики, а затем обратимся к тем актуальным ее проблемам, которые еще ждут своего решения.

§1. Компьютеры в функции разработки тестов и предъявления тестовых заданий

Одним из значительных является тот вклад, который вносят компьютеры уже сегодня в разработку новых методов и подходов в психологической диагностике. Успехи в области разработки новых диагностических методик и диагностических процедур сегодня были бы невозможны без гибкости и мощности современных компьютеров, обеспечивающих оперативную обработку информации. Если в диагностической практике западных стран компьютер активно включен; во все ее этапы, то в России работа по созданию и психометрической отладке диагностических методик только разворачивается. Поэтому ее результаты – и это уже становится правилом – сразу же осуществляются в компьютерной форме. Часто в научно-методических центрах при разработке диагностических методик используется сбор данных в режиме диалога с компьютером. Поэтому нормы по тестам накапливаются именно для компьютерной формы проведения тестирования.

Особенно эффективным становится применение компьютера на стадий стандартизации разрабатываемых диагностических методик, где существует необходимость сопоставления и оценки больших массивов данных как для определения надежности и валидности психодиагностических методик, так и для разработки нормативов для различных категорий выборок испытуемых, составляющих генеральную совокупность. Применение компьютеров на этом этапе значительно сокращает и сроки разработки диагностических методики внедрение их в практику.

Одним из существенных недостатков групповой формы тестирования в образовательной сфере является невозможность оперативно фиксировать время выполнения каждого отдельного задания теста каждым членом группы.

Традиционные диагностические методы, применяемые в образовательной сфере (например, ШТУР), как правило, включают ряд шкал, задания которых построены на материале разных предметно-образовательных циклов, таких, в частности, как гуманитарный (литература, история, русский язык), естественно-научный (физика, биология, химия) математический (арифметика, геометрия, алгебра). Однако итоговая оценка, получаемая испытуемым – членом обследованной группы (или класса), – включает лишь общее время выполнения заданий теста, количество правильно выполненных заданий и количество ошибок. Но для качественного заключения об уровне умственного развития ученика и о степени освоения им материала разных предметных циклов чрезвычайно важно иметь еще и показатели времени выполнения каждого отдельного задания теста и времени выполнения заданий отдельных предметных циклов. Эти возможности открываются перед традиционной психологической диагностикой с внедрением в ее практику компьютера.

Освоение этой функции в компьютерной форме привело, в частности, к созданию и активному внедрению в диагностическую практику компьютерного адаптивного тестирования (КAT). В основе этого вида тестирования лежит возможность реализации такого алгоритма предъявления тестового материала, который прямо зависит от индивидуальных особенностей испытуемого. В режиме этого тестирования оперативно оценивается как успешность работы испытуемого с тестовыми заданиями, так и скорость этой работы.

В такой процедуре тестирования для каждого задания теста существует оценка способности, требуемой для его выполнения, с вероятностью 0,5. Это можно объяснить на следующем примере. Если испытуемый решает все задания теста, то уровень трудности этих заданий равен 0. Если же испытуемый не решает ни одного задания теста, то уровень их трудности для испытуемого равен 1. Поэтому для большинства целей тестирования предпочтение отдается заданиям, уровень трудности которых равен или близок 0,5. Уровень трудности каждого задания теста можно определить как его 50%-ный порог, так же как это обычно делается при установлении сенсорных порогов в психофизике. Оценка способности, равная 0,5, и служит тем показателем, который индивид получает за правильное выполнение данного задания. Такой показатель отражает уровень трудности, различительную способность и вероятность выбора (угадывания) правильного ответа для данного задания.

После ответа испытуемого на каждое очередное задание компьютер выбирает для него следующее задание с учетом всей «предыстории» его ответов. Добавление новых заданий в процессе тестирования продолжается до тех пор, пока информационная функция теста не достигнет заранее установленного стандарта.

Таким образом, при обследовании всех испытуемых достигается одинаковый уровень точности измерений. Показатель каждого конкретного испытуемого не только основывается на количестве правильно выполненных заданий, но и отражает уровень трудности и другие психометрические характеристики заданий. Итоговый тестовый показатель выводится на основе оценок успешности и трудности, соответствующих каждому отдельному заданию. Эти показатели оказываются сопоставимы у всех лиц, обследованных с помощью комплекта входящих в тест заданий, независимо от специфического набора заданий, предъявленных каждому испытуемому.

Адаптивное компьютерное тестирование особенно подходит для оценки успешности обучения по индивидуализированным программам. В этом случае учащиеся проходят учебный предмет в удобном для себя темпе и могут поэтому выполнять значительно отличающиеся по трудности тестовые задания при обследовании. Компьютерное тестирование позволяет прекращать проверку, как только ответы испытуемого дают достаточно информации для принятия решения об уровне овладения предметом.

В настоящее время активно исследуются возможности применения компьютеризированного адаптивного тестирования в различных областях и, соответственно, разрабатываются технологии КАТ.

Еще одна важная область применения КАТ – крупномасштабные программы отбора и распределения персонала в промышленности, государственных учреждениях и армии. КАТ особенно адекватно ходит для этих целей по следующим причинам:

· необходимость ориентации в мире профессий, который сегодня стремительно растет в любом обществе;

· необходимость диагностики все более неуклонного роста потока кандидатов в различные сферы общества;

· необходимость охвата широкого разброса уровня способности требуемых для успешности деятельности в разных профессиональных областях;

· лучшая защищенность теста, так как каждый кандидат получает разный набор заданий из большого банка заданий, хранящихся в памяти компьютера.

Постепенно разрабатываются версии КАТ всех важных групповых тестов. Для многих практических приложений, равно как и для имеющих самостоятельное значение исследований природы и источников индивидуальных различий, КАТ дает бесспорные преимущества.

Адаптивное тестирование является таким подходом к компьютерной диагностике, который позволяет привнести в стандартные групповые тесты элементы индивидуализации, учет индивидуальных особенностей каждого конкретного испытуемого в процессе обследования. Границы применения КАТ не замыкаются на проверке знаний иди способностей. В принципе, подобный подход с определенными модификациями вполне применим и для диагностики сферы интересов, установок и черт личности.

§2. Компьютер в функции обработки результатов психологического тестирования

Пожалуй, наиболее значительный эффект на сегодня имеет использование возможностей компьютера для обработки результатов тестирования. Для иллюстрации этого эффекту можно привести опыт компьютерной обработки результатов, разработанный и активно применяемый для Теста оценки профессиональных интересов Джексона.

Сам тест, созданный Д. Джексоном еще в 1977 г., предусматривает возможность быстрой и удобной ручной обработки результатов по всем его 34 шкалам. Однако разработанные уже в настоящее время варианты компьютерной обработки результатов этого теста не только дают сокращение времени этой работы, но и обеспечивают целый ряд дополнительных показателей как в форме краткого отчета по тесту, так и в форме расширенного описательного заключения.

Эта расширенная форма заключения содержит:

· индивидуальное описание и интерпретацию результатов тестирования;

· большой объем сведений, способный оказывать помощь при изучении возможностей карьеры кандидата в определенной профессиональной области;

· конкретные показатели, выводимые на основе факторного анализа 34 шкал основных интересов обследованного лица.

Показатели, выводимые на основе факторного анализа, охватывают десять общих тем профессиональных интересов:

· экспрессивную;

· логическую;

· исследовательскую;

· практическую;

· личностную (настойчивость, целеустремленность лица в реализации себя в определенной общественной сфере);

· социальную;

· склонность к помощи;

· обусловленность интересов лица социальными нормами;

· предпринимательскую;

· коммуникативную.

На более сложном уровне оказывается доступной описательная компьютерная интерпретация результатов тестирования, правда, лишь для некоторых тестов. В таких случаях специфические виды ответов испытуемого связываются компьютерной программой с теми или иными словесными формулировками, хранящимися в памяти машины. Этот подход был реализован в отношении как тестов личности, так и тестов способностей. Например, работая с MMPI, пользователи наряду с числовыми показателями получают распечатку диагностических и интерпретационных формулировок о тенденциях личности обследуемого и о его эмоциональном состоянии.

Очевидно, что без возможностей использования компьютера столь разносторонняя и оперативная оценка личностных качеств или профессиональных интересов обследуемого лица была бы просто невозможна.

На простейшем уровне большинство современных тестов, особенно групповых, теперь приспособлено для машинного подсчета первичных показателей. Некоторые издательства тестов на Западе уже оснащены необходимым оборудованием для предоставления соответствующих услуг пользователям тестов. Кроме того, все более доступными становятся компьютерные диски, с помощью которых пользователи тестов могут обрабатывать результаты на своих персональных компьютерах. Можно с уверенностью предположить, что в будущем функция обработки данных диагностического обследования все более активно будет передаваться техническим устройствам.

§3. Правила и ограничения применения компьютеров в психологической диагностике

Несмотря на то что компьютеры, бесспорно, открывают путь для беспрецедентных усовершенствований всех аспектов психологической диагностики, в некоторых случаях их применение может приводить к неправильному использованию и толкованию получаемых показателей. В связи со стремлением принять соответствующие меры предосторожности значительное внимание на Западе сейчас уделяется разработке руководящих принципов тестирования с использованием компьютеров. В настоящее время уже разработан комплекс более подробных инструкций в отношении применения компьютеров в различных областях и на разных этапах тестирования.

Особую озабоченность в связи с распространением компьютерного тестирования вызывают случаи, когда один и тот же тест проводится в компьютерной и традиционной бланковой форме. В этой ситуации необходимо проводить специальное исследование сопоставимости показателей.

Быстрый рост в области машинной интерпретации результатов тестирования с предоставлением готовых отчетов также вызывает особую озабоченность. Два основных принципа лежат в основе большинства относящихся к этому вопросу инструкций и руководств.

1. Пользователю теста должна быть представлена соответствующая информация, позволяющая оценить надежность, валидность и другие технические характеристики интерпретирующей системы, использованной при разработке программного обеспечения. Каким образом интерпретирующие формулировки выводились из показателей? Какое теоретическое обоснование и эмпирическое подтверждение получила система машинной интерпретации? Основываются ли интерпретирующие формулировки на результатах количественного анализа данных или на суждениях экспертов? Если имеет место последнее, то должны быть представлены сведения о квалификации участвовавших экспертов.

2. Когда же машинные интерпретации результатов тестирования используются в клинической диагностике, консультировании или в каких-то других областях принятия важных решений в отношении конкретного человека, совершенно необходимо принимать в расчет другие доступные источники информации о тестируемых людях. По этой причине машинными интерпретациями результатов тестирования должны пользоваться только высококвалифицированные профессионалы. Такие интерпретации следует рассматривать как средство облегчения работы специалиста, а не как его замену.

§4. Перспективы компьютеризации диагностических испытаний

Сегодня уже можно с уверенностью выделить несколько областей диагностического тестирования, где применение компьютера способно не только интенсифицировать диагностические процедуры и техники, но и открыть для широкой практики совершенно новые возможности.

Первая область – предъявление заданий (стимулов) испытуемым. В нашей стране в последние годы в различные общественные сферы (образовательную, социальную, предпринимательскую, финансовую и др.) пришло много начинающих психологов, часто не имеющих необходимойподготовки в области психологической диагностики. Эти начинающие специалисты привносят в диагностическую практику целый рад погрешностей, которые с точки зрения психометрических требований не должны иметь место. Среди таких погрешностей чаще всего отмечаются;

· нарушение правил инструктирования испытуемых;

· несоблюдение временных стандартов выполнения тестовых заданий;

· сознательные и неосознаваемые установки на определенные ответы испытуемых (наводящие реплики диагноста, его жесты, подсказки и т.п.) в ходе испытания и многое другое.

Предъявление диагностических заданий, инструктирование испытуемых, регистрация их ответов, осуществляемые с помощью компьютера, позволят устранить или снизить до минимума подобные погрешности.

В самых распространенных вербальных методиках, активно применяемых в образовательной сфере, тестовые задания предназначаются для того, чтобы выяснить, насколько владеет испытуемый умственными действиями, такими как аналогии, классификации, обобщения и т.д. Главная же функция продуктивного мышления – решение задач – не учитывается. «Всякий же мыслительный процесс является по своему внутреннему строению действием или актом деятельности, направленным на разрешение определенной задачи. Эта задача заключает в себе цель мыслительной деятельности индивида, соотносимую с условиями, которыми она задана». Диагностика должна быть ориентирована на те интеллектуальные возможности испытуемых, которые и обеспечивают решение задач. Эта принципиально важная переориентация диагностического тестирования может быть успешно осуществлена при использовании возможностей компьютера. В этом, возможно, заключается коренное отличие традиционно применяемых сегодня тестовых заданий в образовательной сфере от тех, которые будут разработаны и применены в будущей психологической диагностике человеческого мышления на базе использования возможностей компьютера.

Вторая область – обработка результатов. Кроме тех, реализуемых уже сегодня возможностей компьютера при обработке диагностических результатов, которые были рассмотрены выше, существует острая необходимость использования возможностей компьютера для решения других проблем в этой области. К числу таких проблем относится следующая: статистические приемы, используемые в психологической диагностике, безусловно, вполне объективны, но те числовые ряды, к которым применяются эти статистические приемы, могут изначально содержать в себе ошибки или искажения. Одно из важнейших статистических правил заключается в следующем требовании: числовой ряд должен состоять из качественно однородных величин. Нарушение этого правила закономерно ведет к снижению объективности последующих выводов и рекомендаций.

Нарушение качественной однородности числовых рядов, которые исследователь получает в диагностическом испытании, можно продемонстрировать на следующем простом примере.

Представим, что при групповом диагностическом обследовании субъект А успешно решил шестнадцать заданий и пять заданий из общего набора решил неправильно. Причем этим испытуемым успешно были решены: пять заданий на материале литературы и истории, четыре задания на материале физики и химии и семь заданий на материале математики и геометрии. Субъект Б также решил шестнадцать заданий и также пять заданий из общего списка решил неправильно. Распределение же успешности решения заданий по разным школьным предметам у испытуемого Б оказалось иным: он успешно справился с девятью заданиями на материале литературы и истории, с пятью заданиями на материале физики и химии и с двумя заданиями на материале математики и геометрии. По итоговым баллам оба испытуемых получили один и тот же ранг и, следовательно, должны быть включены в один числовой ряд. Но окажется ли этот ряд качественно однородным?

Включение компьютера в процессы этого этапа диагностического испытания позволит избежать в дальнейшем таких принципиальных ошибок. В будущие компьютерные программы статистической обработки данных необходимо будет изначально вводить элемент, основной функцией которого станет формирование числовых рядов по при знаку их качественной однородности.

Третья область – интерпретация результатов. В области профессиональной психодиагностики психологи стремились определять профессиональную пригодность индивида к тому или иному виду деятельности. Из психологии индивидуальных различий известно, что у людей существуют различные виды способностей (художественные музыкальные, математические, технические и др.). Для каждой профессии существует свое оптимальное сочетание разных психологических, психофизиологических и личностных качеств и способностей, которое может обеспечить в ней наибольшую успешность. Определить это оптимальное сочетание для определенной профессиональной области специалист может при условии, что существует ограниченный, устоявшийся перечень профессий. Однако мир профессий динамично меняется: одни профессии обмирают, уходят из общественного обихода, число новых стремительно растет. В этих условиях даже специалисту очень сложно ориентироваться в мире профессий, как сложно и определить оптимальное сочетание психологических и иных качеств и способностей для профессий новых, только что появляющихся. Поэтому для психологической диагностики чрезвычайно важно иметь полный банк актуальных профессий и оперативно пополнять его новыми, возникающими профессиями. Столь же важно создать и активно использовать методы, позволяющие диагностировать психологические, психофизиологические и личностные особенности каждого обратившегося за помощью в профессиональном определении индивида. Результаты такого тестирования могут быть представлены ему как предпосылки, обеспечивающие успешность в интересующей его или в какой-то другой, более адекватной для него профессиональной области из компьютерного банка актуальных профессий.

Вопросы

1. В чем преимущество использования компьютеризированных психодиагностических методик по сравнению с бланковыми?

2. В чем недостатки варианта полной компьютеризации всех этапов психодиагностической работы?

3. Какие новые возможности для психодиагностики открывает использование компьютеров?

Рекомендуемая литература

Анастази А., Урбина С. Психологическое тестирование. – СПб., 2002.

Бурлачук Л.Ф. Психодиагностика. – СПб., 2003. – С. 114–120.

Носс И.Н. Введение в технологию психодиагностики. – М., 2003. – С. 199–231.

Основы психодиагностики / Под ред. А.Г. Шмелева. – Ростов-н/Д, 1996. – С. 180–196.

Смирнов С.Д. Педагогика и психология высшего образования. От деятельности к личности. – М., 2001. – С. 268–270.

Глава 25. Перспективы развития психологической диагностики

Психологическая диагностика, как и все другие научные дисциплины, развивается. Развитие это состоит в том, что при воздействии целого ряда внутренних и внешних факторов в ней происходят определенные прогрессивные перемены. К числу внешних факторов, влияющих на развитие этой дисциплины, прежде всего относятся запросы, которые обращены к ней со стороны общества. Нужно отметить, что в настоящее время запросы общества к психологической диагностике заметно возрастают. Так, в области образования доминирующее значение приобретает дифференцированное обучение, естественной базой которого признаются индивидуальные психологические особенности учащихся. В определении этих особенностей решающая роль, несомненно, принадлежит психологической диагностике. Еще более велика ее роль в области профессионального труда. Научно-технический прогресс выражается, в частности, в том, что непрерывно появляются новые профессии и специальности, для многих из них требуются люди, обладающие некоторыми специальными психологическими особенностями. Только такие люди смогут в сравнительно короткие сроки добиться нужной продуктивности. И в профессиональном обучении ее роль велика. Да и в самой психологии постоянно возникает надобность в методиках, которые могли бы дать психологическую характеристику людей, находящихся в различных ситуациях; тут дело идет не только об экспериментальных, но и о жизненных ситуациях. При подготовке нужных методик вряд ли можно пренебрегать огромным опытом, накопленным психологической диагностикой.

Обратимся к внутренним факторам развития нашей дисциплины. В исследовательской и практической работе возникает нужда в введении в диагностику новых понятий, причем некоторые из них возникают в связи с развитием смежных научных дисциплин. Для психологической диагностики ближайшей смежной дисциплиной должна быть названа современная генетика. Факторы, о которых выше шла речь, не исчерпывают всех, влияющих на развитие психологической диагностики. Эти факторы находятся в постоянном взаимодействии. Чаще всего внешние факторы способствуют усилению действия внутренних факторов, но и обратное отношение также иногда имеет место.

Психологическая диагностика претерпела за свой более чем вековой путь немало перемен. Отдельные этапы ее развития преемственно связаны между собой. В ее перспективах нужно представить новый этап ее развития, и он также преемственно связан с ее историей.

Конечно, предусмотреть все перемены во всех их деталях невозможно. Любая научная дисциплина, а уж тем более психологическая диагностика, развивается под прямым и косвенным воздействием целого ряда факторов. Невозможно предусмотреть, какое значение каждый из них приобретает в будущем. Поэтому, поскольку речь идет о перспективах развития этой дисциплины, придется ограничиться лишь указанием на те наиболее существенные черты ее развития, о которых можно судить, считаясь с тем, чем располагает исследователь в настоящее время.

Обратимся к тем изменениям в нашей дисциплине, которые подсказаны анализом ее нынешнего состояния. Можно выделить три вероятных направления таких изменений.


Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:  



double arrow
Сейчас читают про: