• РЕГИСТРАЦИЯ
Дарина Литовиж
3 мая 21:02 4929 12 19.40

Как работает мозг: Переобученные нейросети

Представьте, что вы проектируете птенца чайки. ТЗ такое — у него довольно плохое зрение, маленький мозг, но ему нужно как можно больше есть, а то сдохнет. Еду ему приносит мама-чайка. Основная задача — распознать маму-чайку и получить у неё еды. 

Во входной поток зрения поступает, скажем, 320х200 px, и дальше 10 сантиметров от глаза он не умеет фокусироваться. Природа решила так — надо разметить клюв чайки ярким оранжевым округлым пятном. Вот таким:

В ходе реверс-инжиниринга чайки в 1950-х Нико Тинберген провёл 2431 опыт с 503 птенцами. Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятном. И пытается получить у него еду как у обычной чайки.

Звучит логично, особенно в условиях нехватки вычислительных ресурсов птенца, правда? «Появляется сверху», «длинный» — это важно. Но самая высокая ценность сигнала «оранжевый на белом» — и она по мере эволюции завышается.

Под самый конец внезапно нашёлся ультранормальный сигнал. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее. То есть сильнее распознаётся другой образ, которого нет в природе!!!

Если вы думаете, что мы с вами не забагованы, то ошибаетесь. У нас, людей, есть примерно такой же пример переобучения, хорошо известный анимешникам.

Модель нашего зрения

Исторически предполагалось, что мы смотрим на что-то и делаем следующее (всё куда сложнее и запутаннее, я очень-очень упрощаю, поэтому заранее прошу прощения за грубую модель):

1. Получаем входной массив данных в виде чего-то вроде BMP-файла.

2. Обрабатываем эту картинку на зрительных рецепторах, чтобы сконвертировать в импульсы для мозга. То есть переводим этот BMP во внутренний формат мозга.

3. Несём подальше от сенсоров в центр обработки, где придаём полученной картинке смысл, то есть конвертируем в следующий формат — скорее всего, околословарный, потому что по нему потом задействуются ассоциации.

4. Понимаем смысл изображения и показываем его сознательной части разума.

На деле же оказалось, что процесс куда веселее. Нет смысла «грузить» всю картинку в первичную обработку, когда можно сильно оптимизировать этот процесс.

Поэтому мы делаем следующее:

1. Получаем первичный контур данных, грубо говоря, несколько процентов от всего сенсорного ввода.

2. Сразу гоним его в обработку с вопросом, что грузить дальше. Обработка (за пределами сенсора, в мозгу) связывается со словарём форм-ассоциаций и говорит, что мы, скорее всего видим — то есть отдаёт на управление сенсором гипотезы.

3. Управление сенсором начинает «грузить» то, что может подтвердить или опровергнуть наиболее вероятные гипотезы — то есть мы последовательно забираем ещё несколько процентов данных, отдаём их сразу в обработку и получаем результат, как и на что смотреть дальше.

4. Когда гипотеза остаётся только одна — имея неполный файл, мы уже знаем, что на нём изображено. В этот момент происходит ещё одна конвертация уже в сознательный формат.

Чтобы было понятно, о какой скорости речь — В. Н. Панферов определял порог узнавания лица на фотографии — это 0,03-0,04 секунды. Волосы и верх головы обрабатывались в этих пределах, а вот подбородок и нос распознавались уже где-то в три раза медленнее — на 0,1 с.

Повторюсь, модель крайне примерна, но показывает важнейшее отличие: мы не обрабатываем, что увидел глаз, а управляем глазом так, чтобы он искал знакомые нам шаблоны. Чтобы далеко не ходить — вот пример реализации этой уязвимости:

Здесь можно увидеть белый треугольник. Более того, некоторые даже могут «увидеть» его границы.

Но, что для нас гораздо важнее в плане переобучения наших нейросетей распознавания образов, мы распознаём многие объекты по нескольким опорным точкам. Например, очень простые рисунки позволяют быстрее распознавать объекты, чем содержащая куда больше информации фотография. Потому что в упрощённом рисунке уже выделены те черты, которые нейросеть художника посчитала значимыми, и наша нейросеть также приняла их за опорные точки.

По-настоящему острое цветное зрение охватывает лишь небольшой конус с углом около пятнадцати градусов, окруженный смутными, размытыми, неразличимыми пятнами. К тому же картинка оказывается перевернутой и изрядно подпорченной довольно обширным слепым пятном. Но именно из этого грубого полуфабриката возникает весь объемный, наполненный образами видимый мир, в котором мы живем.

А теперь вернёмся к упомянутым анимешникам. Если задуматься, то любое комиксово-рисованное изображение девушки не может быть привлекательнее живой девушки. Ну, пускай у нас будет идеализированная дева в аниме и ещё одна с идеальной фигурой-макияжем на фото.

Большая часть аниме ориентирована на ультранормальный сигнал — мы распознаём опорные части образа и останавливаемся. Вот, смотрите:

Это не лучший пример, но это лучшее, что я нашёл с лицензией на использование и изменение (залито на sketchport.com пользователем Envynity)

Мы распознаём этот набор визуальных сигналов как, возможно, вполне симпатичную деву. Однако если у реальной дамы будут глаза такого же размера, прыщ вместо носа, странный рот, полупрозрачные волосы и вообще примерно похожая анатомия, плюс она заложит непослушный локон за глаз… Ну, некоторые схватятся за осиновый кол.

Картинка иллюстрирует, как выделяются главные для нейросети объекты и гасятся второстепенные. Да-да, это тоже наш ультранормальный сигнал — быстрый для распознавания, но в реальном мире означающий ложноположительную сработку.  Знакомьтесь, мы только что посмотрели на картонку с тремя полосками. Аналогично грудь нереального размера у некоторых античных статуй — не ошибка физилогии, а художественная гипербола, подчёркивающая нужное качество.

Вот ещё пример для тех, кто не увидел симпатичную девушку на картинке выше:


Schyns P.G., Oliva A. J. Cognition — при загрузке деталей первое лицо злое, второе нет. Мне достаточно снять очки, а вам — возможно надо будет отойти подальше от монитора или уменьшить картинку или прищуриться. При достаточном уровне размытия наша нейросеть обопрётся вообще на другие точки, и выражения поменяются местами.

Второй баг этого же класса (но куда более высокоуровневый) — это проекция по неполным данным. Серия экспериментов Алана Миллера и уже упомянутого Бодалева доказала, что мы строим полный образ человека, на который опираемся до получения новых данных, на основе крайне обрывочных кусков информации.

Например, мы обучены, что все волосатые очкарики — ботаны (пока не получим в глаз от одного такого), все китайцы низкие (пока не увидим их представителей, присланных на парад к нам на прошлое 9 мая — не меньше 210 сантиметров каждый) и так далее.

Обращаясь к более простым реализациям этой функции, например, стоит вспомнить, что крысы пугаются любых пушистых предметов примерно размера кошки, потому что чем яснее будет распознана кошка, тем это важнее для выживания. Соответственно, больше FPR и минимуме FRR — крысы выживают именно за счёт снижения ложноотрицательных статусов.

У нас с вами есть такая милая фигня — генерализация страха. Например, если целенаправленно научить ребёнка бояться плюшевую крысу, то он будет пугаться вообще половины плюшевых игрушек, поскольку его нейросеть забрала не только основной классифицирующий признак, но и кучу вспомогательных — и решила, что высокий FPR в сравнении с опасностью не распознать сигнал — допустимая жертва.

Генерализация работает и у животных. Более того, она отлично сочетается именно с нейрообучением. Если крысе давать бегать в лабиринте в ветке с кругом, квадратом и прямоугольником с пропорциями 2:1, но кормить только после того, как она побежит к прямоугольнику — крыса научится отличать прямоугольник с пары попыток и будет бегать только к нему.

Заменим лабиринт — вместо круга теперь второй квадрат. Снова бежит к прямоугольнику с первой попытки. Теперь меняем лабиринт — оставляем квадрат, прямоугольник 2:1 и прямоугольник 3:1. Логика предполагает, что крыса бежит к уже знакомому ей 2:1. Но нет, она, оказывается, выучила, что чем прямоугольнее — тем лучше. И бежит в 3:1, полагая, что там еды больше. Потому что на этот прямоугольник её нейросеть «где еда» даёт более сильный сигнал срабатывания.

Ещё один эксплоит человека нашёл Мортен Крингельбах в Оксфорде, работая с «Крайслером». Доведённый до ума опыт выглядит так: показываем женщинам фотографии чего-то милого, например, младенцев. Фиксируем, что происходит в мозге. Теперь показываем женщинам фотографии новых вариантов экстерьера автомобиля, и ищем наибольшее соответствие предыдущему шаблону. Получаем самый милый из возможных автомобилей.

Сравните «Матиз» и «Смарт». 

Да-да, мы узнаём «детёнышей» и включаем родительскую реакцию при определённых пропорциях лица. Например, у щенка, зайчонка, котёнка, птенца и младенца будут явно укороченные и менее выступающие носы, большие глаза.

Ну и напоследок — гуппи распознают друг друга по оттенкам цвета. Самцы имеют большой жёлтый маркер во всё туловище. Этот жёлтый маркер ищут самки, которым неймётся размножаться.

Так вот, биологи решили проверить, как самки добились нужной точности. В результате опытов они покрасили самца в ярко-синий. И — та-дам! — выяснилось, что они действительно используют метрику «чем больше синий, тем лучше».

А колюшки-самцы (не путать с корюшкой) ловятся вообще на красную нитку — для них всё шевелящееся красное является мгновенным триггером на запуск инстинкта атаки. Потому что самец приманивает самок движениями туда-сюда и красной окраской брюха. А нитка ведёт себя даже более «самцово», чем настоящая рыба. Надо укусить эту наглую штуку, правда?

У галок есть триггер «напасть, если тащат что-то чёрное болтающееся» — это защита гнездовья от тех, кто ворует птенцов. Не подходите к ним с носками в руках.

Те же чайки выкидывают красные яйца из гнезда — инстинкт избавления от грязного кэша раненых птенцов.

В общем, очень советую — например, исследования 50-х вроде «Восприятие человека человеком» (А. А. Бодалев) и опыты, описанные Н. Тинбергеном в «Осы, птицы, люди» внезапно показывают невероятную хрупкость ветвера, которым мы прошиты. И дают понять, насколько странные у нас нейросети принятия решений.

Каким-то образом нейросеть(мозг) козла распознала в подвешенном мяче (кругловатом объекте, находящемся на уровне его головы) то ли соперника, то ли угрозу. При этом оно еще и «отбивается» и уперто возвращается обратно.

.

источник

Ошибись - поступи правильно хоть раз в жизни.

Ваш комментарий сохранен и будет опубликован сразу после вашей авторизации.

0 новых комментариев

    Анатомия деструктивной музыки: какие песни зомбируют молодёжь?

    . РОДИТЕЛИ, вы знаете, что слушают ваши дети? Если это не геноцид , то я не знаю что этоЗа последние три месяца по России прокатилась волна отмены концертов аморальных рэперов. Началось всё с Дагестана, где местные жители, недовольные запланированным в Махачкале выступлением Егора Крида, запустили флешмоб с девизом «Кто пойдёт на Крида – тот петух». При этом дагестанц...
    -->
    235
    Дарина Литовиж 8 декабря 18:55

    Беловежский червяк

    Предполагал ли Ельцин в Беловежской пуще, подписывая смертельный приговор Советскому Союзу и выпуская «на свободу» Украину, что когда-нибудь в Керченском проливе русские военные расстреляют из пулемётов украинских военных, ранят троих, а остальные будут доставлены в московскую тюрьму Лефортово? Знал ли Ельцин, подписывая беловежский листок, что украинские установки за...
    -->
    218
    Дарина Литовиж 8 декабря 16:51

    Учителя, которых больше нет

    Заходит учительница в класс, начинается урок. Шум, гам, и все такое, картина для большинства из нас знакомая. Учительница стоит в дверях, молча, смотрит на весь этот цирк. Кто-то орет:— Атас!Кто-то в ответ:— Да и до пи*ды!Учительница идет к своему столу, раскладывает журнал, свои бумаги. Потом тихо так говорит, выделяя двух крикунов из общей массы:— Иванов и Петров, м...
    -->
    2825
    Дарина Литовиж 7 декабря 19:55

    Научитесь говорить со своей ДНК, чтобы вернуть здоровье

    Сегодня мы расскажем вам о том, как очень просто можно говорить со своей ДНК, чтобы обеспечить себя отличным самочувствием и здоровьем. Но для начала небольшое вступление, чтобы вам было понятнее, как будет работать ваше к ней обращение. Что такое ДНК? ДНК есть в ядре каждой клетки человеческого тела, за исключением красных кровяных телец. Кровь также носит ДНК, но эт...
    -->
    629
    Дарина Литовиж 7 декабря 10:43

    В какой храм заявятся Пуси Райты, политые золотым денежным дождем?

     В условиях, когда запад использует малейший повод для шельмования России,  продолжать участвовать  в работе Европейский институтов является, на мой взгляд , актом самомазохизма. Посудите сами.Все помнят события февраля 2012 года, когда группа Pussy Riot провела свою акцию «Богородица, Путина прогони» в храме Христа Спасителя.  Их а...
    -->
    1190
    Дарина Литовиж 5 декабря 17:24

    КАК МЫ СОЙДЁМ В НИКУДА...

    Что, в сущности, случилось с нами? Мы родились в стране, в которой начальники обязаны были заботиться о народе. Вначале начальники в это верили. Потому уже верить перестали, но по привычке, по инерции, ещё продолжали обеспечивать простых людей жильём, пенсиями и всеми прочими вкусняшками. Однажды эти начальники собрались в сауне и задумались: а нафига мы надрываемся? ...
    -->
    404
    Дарина Литовиж 3 декабря 20:00

    Тотально концентрируйся на одном объекте

     Основной используемый механизм, основная используемая техника заключаются в том, что если вы можете создать центр снаружи - где угодно: в уме, в сердце, или даже снаружи на стене - и если вы тотально сконцентрированы на нем и отбросили весь остальной мир, забыли про весь остальной мир и только одна точка остается в вашем сознании, то вдруг вы будете отброшены в ...
    -->
    606
    Дарина Литовиж 3 декабря 16:28

    ​Левое умерло, правое сгнило…

    На фоне деградации правых партий, всё более звериных по оскалу, всё менее апеллирующих даже к ханжеской трактовке традиции и устоев – ещё более удручает «смерть мозга» в современных левацких движениях. Они представляют из себя всё больше и больше группы разнузданных извращенцев и массовки «цветных» путчей. А ни на что больше не способны. Как правые стали лжетради...
    -->
    767
    Дарина Литовиж 2 декабря 22:25

    Этап терпения и еще 6 этапов жизни в браке

    Несмотря на то, что мы сами выбираем себе мужа или жену, разводом заканчивается больше половины браков в России. В прошлом году было зарегистрировано менее 1 млн браков, тогда как распалось более 600 тыс. семей. Одна из причин в том, что стремясь заключить союз, многие ложно считают любовью первый конфетно-букетный период. А как только романтика уходит, розовые о...
    -->
    3564
    Дарина Литовиж 1 декабря 15:58

    За что наказали Сизифа?

    Сизиф был царем Коринфа, богатейшего города  Греции. Отцом Сизифа был  Эол, бог-повелитель всех ветров.  Может поэтому Сизиф   считался первым по изворотливости ума,  хитрости, коварству? Благодаря этим качествам он сумел собрать в своем городе все мыслимые богатства. Однажды Сизиф осмелился разоблачить в неблагочестивых деяниях само...
    -->
    378
    Дарина Литовиж 1 декабря 14:21

    Выбирай осознанно

    Желаешь себе счастья. Поэтому каждый твой выбор — выбор лучшего. Даже поглощение отравы, просиживание часами за экраном, избегание врачей. Ведь ты выбираешь не лучшее будущее, а лучший вкус настоящего. Всегда.Почему же иногда — это выбор скатываться в темную яму, а иногда — подниматься к свету?Важно выбирать осознанно. Чем ясней выбор, тем он дальновидней. С учетом по...
    -->
    281
    Дарина Литовиж 30 ноября 19:43

    2 типа энергообмена между людьми

    Пока мы не будем фиксировать свои состояния и понимать то, что в большинстве своем, наше сознание, настроение, оценки, планы, подвижность — те энергии, которые мы принимаем и в себе носим, мы будем в бесконечном маятнике и не сможем управлять своим сознанием, телом, разумом, желаниями, жизненными обстоятельствами, отношениями с людьми, планами. Человек к...
    -->
    339
    Дарина Литовиж 30 ноября 12:55

    Бомба для подсознания. Военный психолог Алексей Захаров о технологиях манипуляции.

    "ЗАВТРА". Алексей Валерьевич, хотелось бы поговорить с вами о технологиях манипуляции людьми. Почему вы начали заниматься этой темой?Алексей ЗАХАРОВ. Мне приходится работать с теми, кто подпал под воздействие различных военных факторов, спецслужб, кого вербовали в террористы и так далее. Разбираясь с этим, приходится обращаться к теме манипуляций, особенно информацион...
    -->
    2750
    Дарина Литовиж 29 ноября 18:11

    Ключи судьбы. Каких людей я притягиваю в свою жизнь и почему.

    Насколько все предусмотрено в этом мире. Все на своем месте, все имеет значение,  поразительно  четко работает некий невидимый механизм, который сводит пары людей противоположного пола для дальнейшего совместного проживания.Например,  властная, категоричная жена, которая  держит семью в ежовых рукавицах, а муж- маменькин сынок,  неспособный пр...
    -->
    378
    Дарина Литовиж 29 ноября 17:46

    Не упустите любовной прелюдии

    Любовные прелюдии важны  не только во взаимоотношениях между мужчиной и женщиной. Это важная часть взаимодействия с миром в целом. Это отношение через любовь ко всему, что окружает человека. Даже  к самым привычным и обыденным вещам. – Подождите, фиона, не спешите.Я не нашлась, что на это сказать. Он заметил, как у меня трясутся руки? Как я смотрю на сн...
    -->
    274
    Дарина Литовиж 27 ноября 21:12

    Аэропорт имени Елизаветы Петровны или Иммануила Канта?

     Если уж присваивать имена аэропортам, то в честь выдающихся конструкторов, летчиков, вообщем на летно- космическую тему, а не так, как предлагает В. Мединский - популяризировать культуру. Нам бы, конечно, хотелось, чтобы упор в первую очередь делался на деятелей российской культурыПо-моему, именем Б.Кустодиева уместно называть художественные галереи, а аэор...
    -->
    345
    Дарина Литовиж 27 ноября 12:44

    Патриотизм и псевдопатриотизм

    Патриоты строили аэропорты, а псевдопатриоты решили присвоить им имена и развернули кампанию прославления ни тех граждан страны, которые строили эти самые аэропорты, самолёты, поднимали в небо с взлётных полос лайнеры, а людей, не имеющих никакого отношения к отечественной авиации.Более того, в числе предлагаемых имён имеются такие, по вине которых были закрыты, разгр...
    -->
    917
    Дарина Литовиж 23 ноября 15:28

    Незнайка на Луне — Час быка для детей и сбывшееся пророчество Николая Носова

    А «Незнайку на Луне» вообще надо было сжечь еще на стадии рукописи. Такое впечатление, что она задала нам карму на четверть века вперед: капитализм построили точно по ней. Менты взяли за образец Мигля, предприниматели – Мигу и Жулио, а те, кому как-то удалось разбогатеть, начали косплеить господина Грязинга. Людям привили , что правильный бизнесмен – это не Демидов, н...
    -->
    5227
    Дарина Литовиж 23 ноября 14:26

    Предпоследний звоночек для министра-оптимизатора Скворцовой

    "Непродуманная оптимизация нанесла ущерб и в здравоохранении, и в образовании", - заявила сегодня вице-премьер РФ по социальной политике Татьяна Голикова на "Деловом завтраке" в "Российской газете"."Традиционные возможности, которые предоставлялись нашим гражданам, пусть даже в усеченном объёме, к сожалению, с оптимизацией были во многих регионах утрачены", - констати...
    -->
    478
    Дарина Литовиж 21 ноября 20:51

    "ВСЕ НОРМАЛЬНО".

    Я не знаю, где начинается этот прекрасный период, когда вдруг ты понимаешь, что бы ни происходило — «все нормально».Это расслабленное спокойствие, которому я всегда завидовала.И сейчас продолжаю завидовать, только уже самой себе.Когда кто-то уходит из твоей жизни, а ты точно знаешь — это к лучшему.Не переставая чувствовать грусть, просто понимаешь, что есть те, с кем ...
    -->
    410
    Служба поддержи

    Яндекс.Метрика