Основные тезисы интервью :
- Интеллект можно довольно точно измерить. Культурные различия не играют роли.
- Он не меняется на протяжении всей жизни за исключением небольших колебаний в раннем детстве.
- Он значительной мерой предопределен генетически. На остальные проценты он предопределен внутриутробным периодом, эпигенетикой, и тд.
- Уровень интеллекта напрямую связан с чисто биологическими характеристиками, такими как размер мозга и толщина коры.
- Таким образом повлиять на него невозможно. Все техники развития типа беби Моцарт, и прочие развивающие программы для детей бесполезны. Так же как и тренировка мозга или памяти для взрослых.
- Это доказано многочисленными провалившимися государственными программами раннего развития, которых за последним сто лет было множество во всех странах.
- Эти программы и прочие тренинги приводят к вышеуказанным колебаниям интеллекта у детей (он улучшается), из чего долгие годы делались неправильные выводы, что программы работают. Однако когда стали сравнивать не с разницей в несколько лет, а детей с подростками и взрослыми, выяснилось, что к подростковому возрасту выросшие показатели снижаются, а к взрослому - исчезают полностью, возвращаясь к исходным.
- Флинн эффект, на который любят ссылаться как на доказательство, что интеллект можно улучшить (Флинн показал, что средний интеллект в обществе немного, но растет с начала 20 века) объясняется улучшением питания людей. Из-за чего в частности вырос средний рост. Но увеличение не только прекратилось, но и начался откат. Это касается и роста и интеллекта. Видимо оптимальное питание было достигнуто какое-то время назад, после чего началось излишнее питание вредными продуктами.
- Нации и этнические группы имеют разный средний уровень интеллекта, и самые умные отличаются от самых хмм неумных на два стандартных отклонения, что огромная разница.
- Весь «жизненный успех», который мы можем померить (образование, доход, стабильная семья) напрямую связан с интеллектом, и может быть с высокой степенью точности быть предсказан в 11 лет. Все это работает на больших числах конечно.
- Успех самой жизни в биологическом смысле связан с IQ. Люди с высоким iq живут дольше и имеют лучшее здоровье.
Ричард Дж. Хайер — американский психолог, который исследовал нейронные основы человеческого интеллекта, психометрию, общий интеллект (G-фактор), а также различия в интеллекте между полами.
Текст основан на интервью Ричарда Дж. Хайера в подкасте Лекса Фридмана (Lex Fridman Podcast #302)
Часть 2
Вы знаете, есть популярная программа "Судья Джуди", где она сталкивается с повседневными проблемами обычных людей, и там можно увидеть весь спектр способностей к решению задач. Иногда это выглядит смешно, но на самом деле не смешно. Есть люди, чьи жизненные возможности ограничены, потому что у них нет хороших навыков рассуждения, которые невозможно научить. Военные США, лучшие в мире по подготовке людей, не принимают людей с IQ ниже 83, потому что их невозможно обучить выполнять задачи.
LF: Значит, G-фактор связан с обучением.
RH: Безусловно. Некоторые люди учатся быстрее, чем другие. Некоторые люди учатся больше, чем другие. Кстати, быстрее - это не обязательно лучше, если в конечном итоге вы доберетесь до того же места. Но, знаете, есть профессиональные школы, которым нужны студенты, способные учиться быстрее всех, потому что они могут учиться больше, или учиться глубже, или всевозможные идеи о том, почему вы отбираете людей с самыми высокими баллами. И, кстати, нет ничего забавнее, чем слушать, как кучка академиков жалуется на концепцию интеллекта и тестирования интеллекта, а потом иду на собрание факультета, где они обсуждают, кого нанять среди кандидатов. И все, о чем они говорят, - это о том, насколько человек умен.
LF: Мы к этому еще вернемся, мы будем пробираться к этому разными путями, но есть что-то в том, чтобы сводить человека к числу, которое отчасти обусловлено его генетикой, что вызывает у людей сильный дискомфорт.
RH: Но никто этого не делает. Никто в этой области не делает этого. Это вызывает беспокойство, как... Ну, я не хочу называть это теорией заговора. Я имею в виду, что это законное беспокойство, но этого просто не происходит. У меня был профессор в аспирантуре, который был единственным человеком, которого я когда-либо знал, который рассматривал студентов только по их результатам тестов. Позже он вроде как отошел от этого. Но...
LF: Позвольте мне спросить вас об этом, так что мы будем перескакивать с одного на другое. Я вернусь к этому. Я склонен... У меня были политические дискуссии с людьми, и на самом деле мой друг Майкл Малис, он анархист. Я не согласен с ним практически во всем, кроме того, что любовь - прекрасная вещь в этом мире. И он говорит, что этот тест о левых и правых... неважно, что это за тест, но он считает, что вопрос в том, верите ли вы, что одни люди лучше других? Вопрос двусмысленный. Верите ли вы, что одни люди лучше других? И, как мне кажется, немедленный ответ - нет. Это поэтический вопрос, это двусмысленный вопрос, верно? Знаете, люди хотят спросить: в чем лучше? Лучше в спорте и так далее. Нет, по мне, так я придерживаюсь определяющих документов этой страны, согласно которым все люди созданы равными. В этом есть основа человечности. И есть что-то в тестах на интеллект... Просто осознание того, что некоторые люди отличаются от других. Например, наука об интеллекте, которая показывает, что некоторые люди генетически, в течение всей жизни, обладают более высоким интеллектом, чем другие. Это заставляет людей чувствовать, что одни люди лучше других, и это заставляет их чувствовать себя очень неуютно. И, возможно, вы можете высказаться по этому поводу. Тот факт, что некоторые люди умнее других и что это не может быть компенсировано ни образованием, ни тем, что вы делаете в жизни. Что нам с этим делать?
RH: Хорошо, здесь много всего. Мы еще не говорили о генетике, но вы правы в том, что, согласно моей интерпретации данных, генетика оказывает очень важное влияние на G-фактор. Это спорно, мы можем говорить об этом, но если вы думаете, что генетика... что гены всегда детерминированы, это приводит к тому беспокойству, которое вы выразили. Но сейчас, в XXI веке, мы знаем, что многие гены не детерминированы, они вероятностны, то есть на их генную экспрессию можно влиять. Влияют ли на них только другие биологические переменные или другие генетические переменные, а также переменные окружающей среды или культуры - вот где разгораются споры. И мы можем обсудить это более подробно, если хотите. Но если перейти к вопросу о том, что люди лучше, то существует 0 доказательств того, что умные люди лучше в отношении важных аспектов жизни, таких как честность, даже симпатия. Я уверен, что вы знаете многих очень умных людей, которые не очень-то симпатичны, не очень-то добры и не очень-то честны.
LF: А вот что я хочу сказать. Недавно я во второй раз перечитал книгу «Взлет и падение Третьего рейха», которая, на мой взгляд, лучше всего рассказывает о взлете и падении Гитлера. И одна из интересных вещей о людях, которые оправдывали или, возможно, поддерживали идеи, выдвинутые Гитлером, заключается в том, что они были чрезвычайно умны. Они были представителями интеллектуального класса. Было очевидно, что они очень глубоко и рационально размышляли о мире. Поэтому я хотел бы сказать, что, как мне кажется, некоторые из самых страшных злодеяний в истории человечества были совершены очень умными людьми. Это значит, что интеллект не делает вас хорошим человеком. Интересно, есть ли, если есть G-фактор для интеллекта, то есть ли G-фактор для доброты? Знаете, «ты нужен им в добре и зле». Конечно, это, вероятно, труднее измерить, потому что это такая субъективная вещь, что значит быть хорошим. И даже мысль о зле вызывает глубокий дискомфорт, потому что откуда нам знать?
RH: Но доброта независима от интеллекта. Я также считаю. Но позвольте мне сказать, что я также утверждал моё убеждение в том, что больше интеллекта лучше, чем меньше. Это не значит, что более умные люди - лучшие люди, но при прочих равных условиях вы бы хотели быть умнее или менее умным? Вот если бы у меня было две таблетки, я бы сказал, что вот эта сделает вас умнее, а вот эта - глупее. Какую бы вы предпочли? Есть ли обстоятельства, при которых вы предпочли бы быть глупее?
LF: Позвольте задать вам вопрос. Это очень сложный и интересный вопрос. По этому поводу написаны книги, верно? Мы вернемся к сложным вопросам, к интересным вопросам, но давайте я спрошу о человеческом счастье. Приводит ли интеллект к счастью?
RH: Нет.
LF: Хорошо, вернемся тогда к " таблетке". Так вот, когда бы вы ее приняли? Вы говорили о значениях IQ 80, 90, 100, 110 и так далее по квартилям. Неужели есть эффект убывающей отдачи, а потом это может даже начать вредить?
RH: Это эмпирический вопрос. И поэтому я на разных площадках выступал за большее количество исследований по улучшению G-фактора. В настоящее время существует множество заявлений об увеличении интеллекта с помощью, вы упомянули тренировку на N-бэк, это было популярно несколько лет назад, но это не работает. Данные четко показывают, что это не работает.
LF: Или как упражнения на память, тренировки и так далее.
RH: Да, возможно, они временно улучшают вашу память, но не влияют на ваш G-фактор. Несколько десятилетий назад была популярна идея, что прослушивание Моцарта может сделать вас умнее. По этому поводу была опубликована статья, один из моих знакомых ее написал. Исследователи интеллекта с самого начала в это не верили. Было проведено сотни исследований, все метаанализы, все обобщения, и так далее. Это не работает, абсолютно. Но разве это не было бы чем-то удивительным? Разве это не перевернуло бы мир, если бы можно было сдвинуть нормальное распределение интеллекта вправо, так что все стали бы умнее? Даже половина стандартного отклонения произвела бы мировой эффект, так как многие социальные проблемы, многие-многие социальные проблемы усугубляются неспособностью людей разбираться в вещах и справляться с повседневной жизнью.
LF: Я задумался, может быть, существует некий порог. Я бы, возможно, возразил, сказав, что универсальный сдвиг нормального распределения не обязательно является оптимальным способом. Может быть, лучше было бы, если бы асимметричное распределение в большей степени подталкивало людей с низким уровнем интеллекта вверх, чем пыталось бы сделать более умными людей со средним уровнем интеллекта.
RH: То есть вы хотите сказать, что если бы на самом деле существовал какой-то способ повысить G-фактор, допустим, метафорически, таблетка IQ, мы должны были бы давать ее только людям на нижнем конце шкалы?
LF: Нет, просто интуитивно мне кажется, что жизнь становится легче на низком уровне, если интеллект возрастает. Это эмпирический научный вопрос, но чем дальше, тем мне менее очевидно, что больше интеллекта — это всегда лучше.
RH: На высоком уровне — не потому что это облегчает жизнь, а потому что это делает решаемыми те проблемы, с которыми вы работаете. И если вы работаете над искусственным интеллектом, есть огромный потенциал для улучшения общества.
LF: Понимаю. Так что, какие бы проблемы вы ни решали, это да. Но также существует проблема человеческого бытия. Есть любовь, страх, и все эти прекрасные вещи, из-за которых, если ты хорош в решении проблем, ты создаешь себе больше проблем. Я не совсем уверен... В неведении есть свое блаженство. Так что может быть, существует оптимальная точка интеллекта в зависимости от вашего окружения, вашей личности и всего такого. И чем выше ваш интеллект, тем меньше остается этой красивой сложности. Но это вопрос для литературы, а не для науки, возможно.
RH: Представьте себе это. Представьте, что существует таблетка IQ. Ее разработала частная компания. И они готовы продать вам ее, и, какую бы цену они ни установили, вы готовы ее заплатить, потому что хотите стать умнее. Но перед тем как дать вам таблетку, они дают вам форму отказа от ответственности на подпись. Понимаете, они говорят, что нет никаких гарантий, что ваша жизнь улучшится, а может быть, станет даже хуже.
LF: Ну, да, так работают юристы, но мне бы хотелось, чтобы наука смогла ответить на этот вопрос, попыталась бы предсказать, улучшится или ухудшится ваша жизнь, если вы станете умнее или глупее. Это увлекательный вопрос о том, какова оптимальная точка для человеческого состояния. Некоторые из того, что мы считаем недостатками, на самом деле могут быть преимуществами, возможно, важными для нашего общего счастья. Наши ограничения могут приводить к большему счастью, чем их отсутствие. Но опять же, на низком уровне больше интеллекта действительно лучше, это менее спорный и, если возможно, более захватывающий аспект.
RH: Но знаете, практически нет исследований, основанных на нейронаучном подходе к решению этой проблемы. Все предложенные решения, направленные на решение или облегчение этой проблемы, в основном основаны на предположении о чистой доске (предположение о "чистом листе" (blank slate assumption) предполагает, что индивид рождается без каких-либо врожденных знаний или предрасположенностей, и все его характеристики, такие как личность, поведение и умственные способности, формируются исключительно под воздействием окружающей среды и опыта. Эта концепция часто обсуждается в контексте дебатов о природе и воспитании (nature vs. nurture) и ставит под сомнение влияние генетики на развитие человека), то есть на обогащении окружающей среды, удалении барьеров — это все, кстати, хорошие вещи, я не против них. Но нет никаких эмпирических доказательств того, что они улучшат общую способность к рассуждениям или сделают людей более пригодными к работе.
LF: Вы читали «Цветы Агадона»?
RH: Да.
LF: Это как раз к вопросу об интеллекте и счастье.
RH: В этом произведении есть много глубоких аспектов. Был хороший фильм по этой книге, назывался «Чарли», для более молодого поколения, которое слушает нас сейчас. Возможно, его можно посмотреть на Netflix или чем-то подобном. Это история о человеке с очень низким IQ, который прошел через операцию на мозге и постепенно стал гением. Трагедия истории в том, что эффект оказался временным. Это действительно захватывающая история.
LF: Это контрастирует с базовым человеческим опытом, который у каждого из нас индивидуален, но это поднимает вопрос о диапазоне, кем бы вы могли быть, обладая разными уровнями интеллекта. Вы упоминали нормальное распределение. Давайте поговорим об этом. Есть книга под названием «Колоколообразная кривая» (The Bell Curve), написанная в 1994 году психологом Ричардом Хернштайном и политологом Чарльзом Мюрреем. Почему эта книга вызвала такой резонанс?
RH: Это действительно интересная книга. Я знаю Чарльза Мюррея, мы много разговаривали.
LF: Да, о чем эта книга?
RH: Книга о значимости интеллекта в повседневной жизни. В этом суть книги. Это эмпирическое произведение с использованием статистического анализа крупных баз данных, которые показывают, что IQ или его эквиваленты коррелируют с самыми разными социальными проблемами и социальными выгодами. И это само по себе не стало причиной разногласий вокруг книги. Проблема была в одной из глав книги, посвященной средним различиям в баллах между чернокожими и белыми американцами. Именно эти термины использовались в книге тогда и до сих пор используются. И исторически, или, скорее, на протяжении десятилетий, наблюдалось, что малообеспеченные группы в среднем набирают более низкие баллы по академическим тестам, тестам на умственные способности, особенно по тестам IQ, чем белые. И разница составляет примерно одно стандартное отклонение, что около 15 баллов — это значительная разница. В книге Херрнштейн и Мюррей в этой единственной главе четко и недвусмысленно утверждают, что обусловлена ли эта средняя разница генетикой или нет, они агностики, они не знают. Более того, они утверждают, что их это не волнует, потому что вы не будете относиться к кому-либо по-разному, зная, есть ли генетический компонент или нет, потому что это среднегрупповой результат. К каждому человеку нужно относиться как к личности. Вы не можете делать никаких предположений о том, какими могут быть интеллектуальные способности этого человека, на основании факта среднегруппового различия. Они очень четко говорят об этом. Тем не менее, люди вынесли - я буду тщательно подбирать слова, потому что у меня есть ощущение, что многие критики на самом деле не читали книгу - они поняли, что Херрнштейн и Мюррей утверждают, что чернокожие генетически неполноценны. Таков был главный посыл. А если они этого не говорили, то подразумевали, потому что у них была глава, в которой обсуждалось эмпирическое наблюдение разницы. И разве это не ужасно? Реакция на эту книгу была бурной.
LF: Что нам известно о различиях в интеллекте между расами на основании этой книги и дальнейших исследований?
RH: Это все еще самая острая тема в психологии. Ничто не изменилось. Любой, кто даже обсуждает это, рискует быть названным расистом просто за саму тему. В наше время стало модным находить расизм в любом подобном обсуждении. Это прискорбно. Короткий ответ на ваш вопрос — с 1969 года было проведено очень мало исследований на эту тему. Этот вопрос стал особенно острым после статьи, опубликованной Артуром Дженсеном, преподавателем из Калифорнийского университета в Беркли. Я тоже его знал. А в 1969 или 1968 году журнал Harvard Educational Review попросил его написать обзорную статью о программах раннего детского образования, призванных повысить IQ учащихся из числа меньшинств. Это было до появления финансируемой из федерального бюджета программы Head Start. В то время, когда Дженсен взялся за обзор ряда демонстрационных программ, программа Head Start еще не была запущена. Эти демонстрационные программы предназначались для детей младшего дошкольного возраста, и они были специально разработаны, чтобы стимулировать познавательную деятельность, предоставлять обеды, делать все то, что, по мнению людей, могло бы свести к минимуму этот средний разрыв в тестах на интеллект. Практически все психологи были твердо убеждены, что причиной разрыва является неравенство возможностей из-за расизма, из-за всех негативных вещей в обществе, и если вы сможете компенсировать это, то разрыв исчезнет. Поэтому образование детей младшего возраста в те времена называлось буквально компенсаторным образованием. Дженсен изучил эти программы, он был эмпириком, разбирался в психометрии, и написал статью объемом более ста страниц, в которой подробно описал эти программы и недостатки методологии исследований. Некоторые из программ сообщали о повышении IQ в среднем на 5 пунктов, но несколько программ сообщали о повышении на 10, 20 и даже 30 пунктов. Одна из них называлась «Чудо в Милуоки». В конечном счете, тот исследователь попал в тюрьму за фальсификацию данных. Но суть в том, что Дженсен написал статью, в которой сказал… послушайте, вступительное предложение его статьи – классическое. Начальное предложение звучит так: «Мы пробовали компенсационное образование, и оно провалилось», - возможно, я цитирую его не совсем точно, но оно звучит так: «Мы пробовали компенсационное образование, и оно провалилось». И он показал, что эти успехи, по сути, ничего не дали. Не удалось эмпирически подтвердить никаких достижений от этих искренних усилий по повышению IQ. Но он сделал еще один шаг, роковой шаг. Он сказал, что эти усилия не только не увенчались успехом, но и потому, что они не оказали практически никакого влияния, мы должны пересмотреть наше предположение о том, что эти различия вызваны влиянием окружающей среды, которое мы можем устранить с помощью образования. Мы должны рассмотреть вопрос о генетическом влиянии, о том, существует ли генетическое влияние на эти групповые различия.
LF: Вы сказали, что это одна из самых спорных работ в науке?
RH: Я думаю, что это самая известная и скандальная статья в психологии. В 1969 году генетических данных по этому вопросу было очень мало, и они сами по себе вызывали споры. Это длинная история, которой я касаюсь более подробно в своей книге «Нейронаука интеллекта». Но сказать, что его очерняли, значит преуменьшить. Он не мог выступать в Американской психологической ассоциации без угроз взрыва, чтобы не заминировать лекционный зал. Охрана кампуса постоянно следила за ним. Они вскрывали его почту. Ему пришлось переехать на другой адрес. Это был один из самых ранних видов... Это было до появления Интернета и социальных сетей, но это было настолько интенсивно.
И я писал, что за одну ночь после публикации этой статьи все исследования интеллекта стали радиоактивными.
После этого никто не хотел говорить об этом, никто больше не проводил исследований. А потом появилась «Колоколообразная кривая», и споры вокруг Дженсена сошли на нет. У меня есть истории, которые Дженсен рассказывал мне о своем взаимодействии с Белым домом Никсона по этому вопросу. Я имею в виду, что это было действительно большое дело. Это были невероятные истории, но вы знаете, он рассказал мне их, так что я отчасти верю этим историям. Тем не менее…
LF: Спустя 25 лет ..
RH: Спустя 25 лет ..
LF: Все это молчание в основном говорит о том, что никто не хочет заниматься подобными исследованиями. Столько давления, столько нападок на подобные исследования, а тут такие смелые, глупые, сумасшедшие люди, которые решили снова в них погрузиться. Интересно, сколько было обсуждений «включать ли нам эту главу или нет?»
RH: Мюррей говорил, что они обсуждали это и решили, что должны включить эту главу, и они очень тщательно подбирали слова, но это не принесло им никакой пользы. Когда «Колоколообразная кривая» вышла, это вызвало такой резонанс. Мне позвонили из телепередачи Nightline, которую вел Тед Коппел. Продюсер спросила, могу ли я прийти на программу, чтобы поговорить о «Колоколообразная кривая». Она спросила, что я думаю о книге. Я ответил, что считаю её очень хорошей книгой, которая затрагивает роль интеллекта в обществе. Но она сказала: «Нет, нет. Что вы думаете о главе о расе? Вот об этом мы хотим услышать ваше мнение». Я помню этот разговор. Она спросила, что бы я сказал, если бы выступал на телевидении, и я ответил: «Ну, я бы сказал, что пока неясно, есть ли какой-то генетический компонент в расовых различиях в интеллекте, но если бы такой компонент действительно существовал, это было бы хорошо». И наступила полная тишина на другом конце телефона. Она спросила: «Что вы имеете в виду?» И я ответил: «Если различия больше обусловлены генетикой, то это биология, и если это биология, мы сможем найти способ это исправить».
LF: Понял, это интересно.
RH: Она спросила: «Вы бы сказали это на телевидении?»
LF: Ага.
RH: Я сказал: «Нет». И на этом разговор закончился.
LF: То есть вы считаете, что биология находится в пределах досягаемости науки, а вопросы окружающей среды – это уже сфера государственной политики и общества. С вашей точки зрения, какая область является более управляемой в краткосрочной перспективе – та и вызывает больший интерес. Но вы говорите, что правда о генетических различиях между группами, в каком бы направлении она ни шла, может быть болезненной, вредной и потенциально опасной. Позвольте задать вам вопрос: может ли «Колоколообразная кривая» или любые исследования расовых различий способствовать увеличению уровня расизма в мире? Повышать ненависть? Вы об этом думаете?
RH: Я много думал об этом, не как ученый, а как человек. И, на мой взгляд, в обществе уже есть огромные объёмы ненависти и расизма, которые не связаны с научными знаниями. Я не хочу, чтобы расистские группы получали право вето на то, чем занимаются ученые. Так что ответ «нет». Если вы считаете, что различия... И кстати, практически никто не спорит с тем, что различия в оценках существуют. Речь о том, что их вызывает и как это исправить. Так что если вы считаете, что это проблема культуры, то вы должны задать вопрос: хотите ли вы что-то изменить в этой культуре? Или вас устраивает культура, потому что вы не считаете нужным менять культуру человека? Так вы согласны с этим? А то, что это может привести к ухудшению успеваемости в школе? Это вопрос. Если вы считаете, что это связано с окружающей средой, то какие параметры окружающей среды можно исправить? Я скажу вам один: свинец из бензина в атмосфере, свинец в краске, свинец в воде. Это экологический токсин, который общество может устранить, и оно должно это сделать.
LF: Да, пытаясь найти выводы по этой сложной теме. Были ли исследования о влиянии окружающей среды против генетики, природы против воспитания по вопросу расовых различий? С тех пор, как вышла книга.
RH: Никто не хочет проводить такие исследования. Во-первых, они очень сложные. Во-вторых, это минное поле. Никто не хочет рисковать своей карьерой. Даже профессора с постоянным контрактом не хотят этого, не говоря уже о студентах. Прежде чем я скажу, как я об этом думаю, хочу рассказать еще одну историю о Дженсене. Однажды журналист спросил его: «Вы расист?» Его ответ был интересным: «Я много об этом думал и решил, что это не имеет значения». Я понимаю, что он имел в виду.
LF: Смелость сказать такое, впечатляет.
RH: Он был очень необычным человеком. Думаю, у него было что-то вроде синдрома Аспергера, если честно, потому что я видел его в разных ситуациях.
LF: Его бы тут же «отменили» в Twitter за такое заявление.
RH: Да, но он имел в виду, что у него была гипотеза. Он назвал её гипотезой по умолчанию. Он считал, что те же факторы, которые влияют на индивидуальный интеллект, вероятно, влияют и на различия между группами. Но это была гипотеза. Её нужно проверять, и если данные её не подтверждают, он был готов перейти к чему-то другому. Он был абсолютно привержен идеалу научного метода. Это эмпирический вопрос, который нужно изучать, чтобы увидеть, что получится.
LF: С его точки зрения, научный метод не может быть расистским. Неважно, что верит ученый, если он следует научному методу.
RH: И если у него есть предвзятость, сознательная или неосознанная, другие ученые смогут это проверить и выявить ошибки, и со временем процесс даст свои плоды.
Оценили 3 человека
5 кармы