Как научиться не обращать внимание на негатив


3 главных правила, как не обращать внимания на негативных людей

Живя в социуме, невозможно оградиться от общения с другими людьми, и оно не всегда бывает приятным. Чтобы сохранить психическое здоровье, важно знать, как не обращать внимания на негативных людей. Трудности, возникающие с этим, чаще всего связаны с заниженной самооценкой. Чаще всего проблемы имеют корни в далёком прошлом – многие люди ещё в детстве получают неправильное понимание своей роли и значимости.

Взрослые осознанно или неосознанно плохо влияют на ребёнка, унижая и его и нанося психотравмы, обесценивая как личность. Если это длится в течение нескольких лет, ребёнок не в силах противостоять, и на нездоровой почве махровым цветом расцветают комплексы. Чтобы научиться управлять своими реакциями на токсичных людей, нужно разобраться в себе.

Как научиться не обращать внимания на негатив, если он «задевает за живое»? Часто у людей с низкой самооценкой «открыты ворота» для разного рода критики. Если человек болезненно реагирует на мнение окружающих, он рискует потерять свою индивидуальность. Для начала нужно уяснить, что не существует идеальных людей и все, кто осуждает, также совершают ошибки и порой те же самые, но система двойных стандартов не позволяет им признать свою неправоту.

Краткое содержание:

Что значит негативный человек

Негативный человек — это прежде всего тот, кто влияет на самооценку. Если человек не уверен в себе, любое мимолётное замечание может повергнуть в пучину отчаяния. В роли негативной личности может выступать даже ни в чём неповинный человек. Например, учитель или начальник, выражающий свои желания и приказы в требовательной форме, для обидчивого и ранимого человека выглядит скоплением негатива.

Существуют и так называемые «энергетические вампиры», которые специально генерируют отрицательные эмоции у окружающих, провоцируя скандалы, физическое неудобство и прочие малоприятные реакции. В арсенале таких людей много психологических инструментов, которые бессильны против уверенности в себе и невозмутимости.

Всем знакомы бабушки преклонного возраста, устраивающие скандалы в магазинах и поликлиниках. Эти негативные личности стали такими от недостатка эмоций и внимания. С возрастом утрачивается множество возможностей получать яркие эмоции, а вызывая негатив у окружающих, можно получить ответную реакцию, оказаться в центре внимания и получить эмоциональную разрядку.

Ещё один тип людей – те, кто самоутверждается за счёт других. Это может быть начальник, любой чиновник, приятель, одноклассник, родственник и даже супруг. Такие люди не умеют создавать что-то значимое и единственный способ поднять самооценку – унизить тех, кто поддаётся на провокации.

Признаки негативной энергетики человека

Часто встречается негативная энергетика у человека, признаки которой заключаются в дискомфорте при общении, ощущении, что тебя унизили, обидели, высмеяли, обесценили. Единственное оружие против такого рода людей – уверенность в себе и внутреннее спокойствие. Иногда его ещё называют пофигизмом. К слову, здоровый пофигизм пойдёт только на пользу любому из нас, если уметь им правильно распоряжаться.

Признаки, по которым можно определить токсичных людей:

• Выражение недовольства в агрессивной форме;

• Навязывание своего мнения;

• Желание превозносить себя;

• Проявление зависти;

• Унизительные высказывания по отношению к другим;

• Высмеивание окружающих;

• Лицемерие;

• Поучения, настойчивые замечания;

• Открытая агрессия.

Большинство негативных людей глубоко несчастны и сами страдают от заниженной самооценки, а также от отсутствия внимания, ярких эмоций. Но они подсознательно выбрали для себя путь самоутверждения и восполнения недостающих чувств за счёт людей, неспособных дать отпор. Мишенями становятся воспитанные, робкие, скромные люди, а также те, кто имеет комплексы и страхи.

Как научиться не реагировать на негативных людей

Чтобы все попытки вывести вас из себя оказались безуспешными, а обида не оседала тяжким камнем в душе, психологи придумали несколько простых правил поведения. Возможно, освоить их получится не сразу, ведь проблемы, которые растут в течение многих лет, почти невозможно решить одним махом. На преодоление внутренних страхов требуется время. Но работать над собой всё же надо, чтобы у токсичных членов общества не было шансов самоутверждаться за ваш счёт.

Три правила общения и нейтрализации пагубного влияния на психику:

1. Игнор, ЧС, сведение общения к минимуму. Чем меньше возможности вас задеть – тем меньше шансов получить очередную психотравму. Желательно физически изолировать себя от неприятного человека – это самый простой путь.

2. Общение только по делу. Если ограничить контакты нереально, например, на работе, то нужно свести общение к деловому стилю, не допуская человека к любой информации о себе. Если он что-то узнал от других, не стоит реагировать и поддаваться на провокации.

3. Не спорить. Ведь именно этого от вас и ждут. Начиная спорить без должной уверенности в себе и внутреннего спокойствия, вы уже проиграли. Можно дискутировать, но только на «вашем поле». Если вы являетесь профессионалом в своей области или знаете предмет разговора «на все сто», это имеет смысл. Однако будьте готовы к тому, что вас попытаются высмеять, унизить и обесценить другими способами. Поэтому лучше самоустраниться.

Более долгий и сложный путь предстоит тем, кто хочет узнать, как перестать реагировать на негатив эмоционально. Это намного сложнее, чем просто игнорировать неприятного человека. Можно сказать, что это высший пилотаж самообладания и психологической устойчивости.

Искусству владеть собой обучают на курсах и тренингах, работа со специалистом помогает выявить внутренние проблемы и побороть комплексы. Этому не научиться за пару часов или по взмаху волшебной палочки. Процесс требует погружения в собственные переживания, вытаскивание на свет всех накопленных обид, страхов и несостоявшихся ожиданий.

Гораздо проще понять, как не обращать внимания на человека – создать невидимую стену между ним и собой, облачиться в панцирь, не пуская во внутренний мир, и не показывая своих чувств. Отсутствие внешней реакции сбивает с толку «нападающего» и охлаждает его пыл.

Главный секрет, как научиться не реагировать на негатив в том, чтобы повышать собственную самооценку, приобретать уверенность в себе и умение абстрагироваться от происходящего – научиться смотреть на ситуацию со стороны, так, будто вас не касается всё происходящее. В этом случае все попытки вывести из себя окажутся безуспешными, а вы сохраните психическое здоровье.

Об авторе: Привет! Я — Каролина Кораблёва. Живу в Подмосковье, в городе Одинцово. Люблю жизнь и людей. Стараюсь быть реалистом и оптимистом по жизни.
В людях ценю умение себя вести. Увлекаюсь психологией, в частности — конфликтологией. Закончила РГСУ, факультет «Психология труда и специальная психология».

Похожие статьи:

Как реагировать на негатив

«У меня заканчивается мое терпение», - сказал мне Дэн *, руководитель отдела продаж финансовой фирмы. «Здесь так много возможностей - бизнес растет, работа интересная, и в этом году должны быть неплохие бонусы, - но все, что я слышу, это жалобы».

Когда он проходил мимо своих сотрудников в холле и спрашивал, как дела, они отвечали критическим комментарием о клиенте или ворчали по поводу объема работы, которую выполняли.

«Как я могу избавиться от негатива, который пронизывает мою команду?» он спросил меня.

Я спросил его, что он сейчас делает. «Сначала я сказал им, сколько возможностей у нас есть, и повторил нашу миссию», - сказал он. «Я хотел напомнить им, над чем мы все работаем. А теперь? он вскинул руки вверх: «Я просто зол. Я хочу избавить их от спада ».

Ответ Дэна абсолютно естественен и интуитивно понятен. К сожалению, это тоже совершенно неэффективно.

Изначально он пытался противопоставить негативу позитив. Когда это не сработало, он сам стал отрицательным. Оба ответа привели к одному результату: большему количеству негатива.

Вот почему: противодействовать чьему-либо негативу своим позитивом не работает, потому что это аргумент . Люди не любят, когда им эмоционально противоречат, и если вы попытаетесь убедить их, что они не должны что-то чувствовать, они почувствуют это только упорнее. А если вы лидер, пытающийся быть позитивным, это еще хуже, потому что вы будете казаться оторванными от реальности, которую переживают люди.

Другой инстинктивный подход - сопоставление чьего-то негатива с собственным негативом - не работает, потому что это добавка . Ваша негативная реакция на их негативную реакцию просто подливает масла в огонь. Негатив порождает негатив.

Так как же избавиться от негатива?

Я обнаружил ответ, когда допустил ошибку Дэна с моей женой Элеонор, когда она жаловалась на ссоры наших детей. Сначала я пытался убедить ее, что все дети дерутся, и наши не так уж и плохи.Затем я разочаровался в ее жалобах и сказал ей об этом.

Она разозлилась. Кто бы не стал? Но потом она сделала кое-что действительно полезное для меня: она сказала мне, что ей нужно от меня.

«Я не хочу чувствовать, что я одна в этом, - сказала она, - я хочу знать, что ты понимаешь. Я хочу, чтобы вы сказали мне, что мы вместе. И если вы разделяете мое разочарование, я тоже хочу знать об этом ».

На самом деле, я разделял ее разочарование, но старался не быть негативным, что, конечно, сделало все взаимодействие более негативным.

После разговора с Элеонор я неожиданно понял: вам не нужно менять свой ответ. Вам просто нужно его перенаправить.

То, что Дэн сделал со своими сотрудниками, - это отрицательно ответить против их («Я хочу вывести их из спада») и положительно против их («Я сказал им, сколько возможностей у нас было перед нами») ,

Но гораздо более продуктивным ответом будет отрицательный ответ с другими и положительный с ими.

Вот то, что я предлагаю в виде трехэтапного процесса эффективного избавления от негативных людей:

1. Поймите, что они думают, и подтвердите это. Это может быть сложно, потому что может казаться, что вы усиливаете их негативные чувства. Но это не так. Вы не соглашаетесь с ними и не оправдываете их негатив. Вы просто показываете им, что понимаете, что они чувствуют.

2. Найдите место, где можно с ними согласиться. Необязательно соглашаться со всем, что они сказали, но, если можете, согласитесь с некоторыми из их чувств. Если вы разделяете их разочарование, сообщите им, в чем именно.

Во время шагов 1 и 2 вы отрицательно реагируете с другими, не против них. Это расслабляет и открывает их. Это помогает им почувствовать, что они не одиноки и что вы не теряете связь.

Вместо того, чтобы сказать Элеоноре, что она не должна так негативно относиться к нашим детям, я сказал ей, что разделяю ее разочарование по поводу их ссор.Что я также не понимал, как с этим справиться большую часть времени, и что это заставляло меня чувствовать себя беспомощным - все это было правдой. Недостаточно просто сказать: «Я понимаю, что ты чувствуешь». Чтобы это сработало, вам нужно быть конкретным.

3. Узнайте, что у них положительного, и закрепите это. Это не означает попытки убедить их быть позитивными. Это означает, что нужно уделять внимание любым позитивным чувствам, которые они проявляют - и есть вероятность, что они проявят некоторые из них, потому что редко можно встретить чисто негативных людей.Если они - это чисто отрицательно, убедитесь, что они видят, что вы поддерживаете других, проявивших положительный настрой. Идея состоит в том, чтобы уделять положительное внимание положительным эмоциям. И дать конкретную надежду. Он конкретен, потому что основан на реальных положительных чувствах, которые люди уже испытывают, а не на положительных переживаниях, которые, по вашему мнению, у них должны быть.

На шаге 3 вы положительно отвечаете на других, а не на на . Вы показываете им, что поддерживаете их.И вы показываете им, что они будут вознаграждены вашей поддержкой и вниманием, когда они будут делать и говорить положительные вещи. На шаге 3 вы превращаете нисходящую спираль в восходящую.

В моем разговоре с Элеонор я спросил ее, что делает работу , чтобы дети хорошо играли вместе. Она рассказала о предыдущем утре, когда мы более активно привлекали их внимание, выполняя с ними арт-проект. По ее словам, это также сработало, когда мы с ней брали каждого ребенка индивидуально для выполнения какого-либо дела или проекта.

Менее чем за пять минут мой разговор с Элеонор изменил свой ход с негативного на позитивный.

Эти три шага сделать нелегко, потому что мы должны бороться с нашей собственной в высшей степени эмоциональной - и даже разумной - тенденцией отрицательно относиться к людям, которые жалуются.

Когда я сначала разговаривал с Дэном, он был готов уволить часть своей команды. Это, конечно, просто усугубило бы негатив тех, кто остался.

Вместо этого он начал слушать и подтверждать их негативные чувства.Под жалобой он обнаружил страх. Компания недавно пережила увольнения, и оставшиеся в живых все еще были потрясены. Была ли их работа под угрозой? (Шаг 1.)

Дэн не мог сказать, что это не так, тем более, что он был готов уволить некоторых жалобщиков. Но он действительно выслушал их и сказал, что разделяет их беспокойство - не из-за того, что его уволили, а из-за того, что он чувствует себя неуверенно из-за того, что нужно сделать так много, и меньшего количества людей, которые должны выполнить работу. Другими словами, он был отрицательным при их.(Шаг 2.)

Затем он выделил некоторые положительные моменты, которые он заметил в своей команде - людей, которые берут на себя разумный риск, работают вместе над комплексными продажами и успешно сотрудничают с клиентами, - которые помогают развивать компанию и обеспечивать рабочие места. Другими словами, он был положительным на из них. (Шаг 3.)

Раньше он никогда не упускал возможности выделить и раскритиковать человеческий негатив. Теперь он не упускал возможности подчеркнуть - и похвалить - позитивный настрой человека.

И это сработало. В конце концов настроение в группе продаж изменилось, и они начали работать вместе, чтобы привлечь самого крупного клиента, которого когда-либо завоевывала компания.

Как по мне? По правде говоря, научить этому часто легче, чем это делать. В пылу мгновения я все еще могу расстраиваться из-за разочарования других людей. Но выполнение этих трех шагов очень помогло. И иметь партнера, который мне их напоминает? Это помогает еще больше.

* Имена изменены

,

уведомлений - Как привлечь внимание пользователей к проблемам?

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
  2. Переполнение стека для команд Где разработчики и технологи делятся частными знаниями с коллегами
  3. работы Программирование и связанные с ним технические возможности карьерного роста
  4. Талант Нанимайте технических специалистов и создавайте свой бренд работодателя
.

младенцев учатся обращать внимание (или не обращать внимания), наблюдая за мамой и папой | Наука

Ваш младенец наблюдает за тем, что привлекает ваше внимание, поэтому, возможно, пора отложить телефон и сосредоточиться на игрушке, которую он выберет.

Это может ускорить развитие мозга ребенка и повысить шансы на успех в будущем, научив его или ее, как удерживать собственное внимание на выполняемой задаче, показывает новое исследование.Младенцы уделяют больше внимания объектам во время игры, когда их опекуны делают то же самое, но их глаза блуждают, когда собственный взгляд родителей отвлекается. Результаты, опубликованные сегодня в Current Biology , предполагают, что внимание воспитателя может помочь в развитии устойчивого внимания у очень маленьких детей.

Любопытные маленькие дети известны своей непродолжительностью концентрации внимания, но их способность сохранять концентрацию обычно растет вместе с их телом. Ученые иногда рассматривали этот когнитивный рост как функцию индивидуального мозга, но новое исследование предполагает, что социальное взаимодействие играет роль.«Эффекты поведения родителей в реальном времени могут быть действительно полезны, поскольку они расширяют внимание ребенка», - говорит Чен Ю, профессор психологии и наук о мозге в Университете Индианы.

Исследования с участием детей от 1 года до начальной школы показали, что большая продолжительность концентрации внимания даже в очень раннем возрасте является хорошим предиктором будущих достижений. Сосредоточенное внимание также способствует ключевым когнитивным достижениям, таким как решение проблем и овладение языком.

Основываясь на этих прошлых результатах, Ю и его коллега Линда Смит оценили продолжительность концентрации внимания у детей в процессе игры.Команда использовала прикрепленные к голове камеры для отслеживания движений глаз и взглядов трех десятков родителей и младенцев в возрасте от 11 до 13 месяцев, которых отпускали в игровом пространстве и просили просто играть, как дома, с яркими пластиковыми предметами.

Такие данные «свободной игры» позволили Ю и Смиту составить график концентрации и обучения в детстве, чего не могли сделать традиционные эксперименты с участием одного ребенка, работающего за компьютером или выполняющего другое задание, отмечает когнитивный нейробиолог Сэм Васс из Кембриджского университета и Университет Восточного Лондона.«Они показывают, что то, на что родители обращают внимание, минута за минутой и секунда за секундой, на самом деле влияет на то, на что обращает внимание ребенок», - отмечает он. «Подобные социальные воздействия на внимание потенциально очень важны [и] большинство ученых склонны игнорировать их».

Родитель и ребенок, каждый из которых носит на голове камеры, отслеживающие движение глаз, участвуют в свободной игре в рамках исследования Ю и Смита. (Стивен Элмлингер)

Когда родители обращали внимание на игрушку во время игры, младенцы также продолжали сосредотачиваться на ней - даже после того, как мама или папа обратились в другое место.Авторы сравнили этот эффект с тем, как родитель сначала будет держать велосипед за спину, в то время как их ребенок учится крутить педали, прежде чем отпустить и отправить его самостоятельно.

Когда младенцы и воспитатели обращали внимание на объект более 3,6 секунды, эти младенцы продолжали смотреть на него после того, как родители отворачивались, почти в четыре раза дольше, чем младенцы с невнимательными родителями. И хотя продолжительность каждого примера составляет всего несколько секунд или около того, повторение в течение нескольких дней и месяцев таких эпизодов «совместного внимания» - времени, когда воспитатель и ребенок оба сосредоточены на объекте - создает значительное совокупное воздействие, говорят ученые. ,

«Совместное внимание оказывается моментом обучения», - говорит Джон Коломбо, психолог из Канзасского университета, который не участвовал в исследовании. Это «момент, когда взрослый прикрепляет ярлык к объекту, и время, когда ребенок как бы готовится выучить ярлык».

Результаты Yu и Smith также показывают, что не все такие взаимодействия равны. Различные стили воспитания привели к очень разному уровню детского внимания, что говорит о том, что то, как люди играют, не менее важно для их усилий.Попытки сосредоточить внимание ребенка на объектах, протягивая их, называя их и пытаясь заинтересовать ребенка ими, срабатывали лишь в некоторых случаях. Более успешные родители были внимательны и увлечены, но играли, позволяя ребенку вести за собой.

«Если родители пытаются вести за собой, привлекая внимание ребенка к объекту,« это усилие может быть успешным, а может и не иметь успеха, потому что дети могут следовать или не следовать за своим родителем », - говорит Ю. Более легкий путь для родителей - следовать интересам ребенка.

«Один из принципов совместного внимания, выработанный годами, заключается в том, что его нельзя форсировать», - добавляет Коломбо. «Это наиболее эффективный момент обучения, когда родитель понимает, чем занимается ребенок».

Результаты могут помочь ученым разработать способы помочь младенцам развить критический навык постоянного внимания. Ю особенно интересуется, как эту работу можно применить к детям с аутизмом. «Если наши выводы могут быть обобщены на эту особую группу населения, то эта программа фундаментальных научных исследований может предложить некоторые принципиальные способы того, как родители [могут] ежедневно взаимодействовать со своим ребенком, чтобы тренировать свою систему внимания, через мгновение реального -временное поведение », - отмечает он.

Но множество факторов, влияющих на когнитивное развитие, усложняют этот процесс. Братья и сестры, например, часто проявляют индивидуальные различия во внимании, даже если их воспитывают одни и те же родители. Ю отмечает, что многие факторы, как внутренние, так и внешние, могут объяснить эти различия, хотя некоторые из них могут включать поведение родителей.

«Это, вероятно, правда, что родители тратят меньше времени на младших братьев и сестер, чем когда у них был только один ребенок, - говорит он, - но есть также взаимодействия между братьями и сестрами, которые отличаются от взаимодействия родителей и детей, но также играют роль в их развитие.”

Связанный : Множество способов, которыми детский лепет стимулирует мозг ребенка

Связанные : Младенцы могут видеть то, что не могут видеть взрослые

,

Научитесь обращать внимание! Обучаемое визуальное внимание в CNN | Рэйчел Ли Баллантайн Драелос

При обучении модели изображения мы хотим, чтобы модель могла фокусироваться на важных частях изображения. Один из способов добиться этого - использовать обучаемые механизмы внимания. В этом посте мы сначала обсудим разницу между постфактум и обучаемым вниманием и мягким и жестким вниманием. Затем мы подробно рассмотрим статью ICLR 2018 года «Научитесь обращать внимание», в которой описывается один из подходов к обучению мягкому вниманию для классификации изображений.

Основная статья Ссылка

Вот основная статья, которую мы будем изучать в этом посте: Джетли С., Лорд Н.А., Ли Н., Торр PH. Научитесь обращать внимание. ICLR 2018.

Существует также хорошая реализация документа Pytorch, доступная здесь: SaoYan / LearnToPayAttention

Примечание: внимание также широко используется при обработке естественного языка. В центре внимания этого поста - внимание к задачам компьютерного зрения.

Тренируемые и пост-фокальные механизмы внимания

Давайте начнем с английского определения слова «внимание»:

внимание : внимание, полученное от кого-то или чего-то; отношение к кому-то или чему-то как к интересному или важному

Точно так же в машинном обучении «внимание» означает:

определение (1): обучаемое внимание : группа методов, которые помогают «моделировать- во время обучения »более эффективно замечать важные вещи

и

определение (2): постфактум : группа техник, которые помогают людям визуализировать то, что уже обученная модель считает важным

Когда люди думают о внимании, они обычно думают об определении (1) для обучаемого внимания.Обучаемый механизм внимания обучается, пока сеть обучается, и должен помочь сети сосредоточиться на ключевых элементах изображения.

Как ни странно, методы ретроспективной визуализации тепловой карты также иногда называют «вниманием», поэтому я включил определение (2). Эти механизмы апостериорного внимания создают тепловую карту из уже обученной сети и включают:

Я подчеркиваю, что эти апостериорные методы не предназначены для изменения способа обучения модели или изменения того, что модель изучает.Они применяются к уже обученной модели с фиксированными весами и предназначены исключительно для понимания решений модели.

Наконец, давайте посмотрим на определение «карты внимания» из Джетли и др.:

карта внимания : скалярная матрица, представляющая относительную важность активации слоев в различных двухмерных пространственных положениях по отношению к целевой задаче

т. Е. Карта внимания представляет собой сетку чисел, которая указывает, какие 2D-местоположения важны для выполнения задачи.Важные места соответствуют большим числам и обычно отображаются красным цветом на тепловой карте. В следующем примере показаны карты внимания Grad-CAM для «бордер-колли», подчеркивающие положение бордер-колли в исходном монтаже:

Источник изображения: ramprs / grad-cam

Мягкое и жесткое внимание

Возможно, вы слышали термины «мягкое внимание» и «жесткое внимание». Разница между ними заключается в следующем:

Изменено из источника изображения
  • Мягкое внимание использует «мягкое затенение» для фокусировки на областях.Мягкому вниманию можно научиться, используя старый добрый метод обратного распространения ошибки / градиентный спуск (те же методы, которые используются для определения весов модели нейронной сети). Карты мягкого внимания обычно содержат десятичные дроби от 0 до 1.
  • Жесткое внимание использует обрезку изображения сосредоточиться на регионах. Его нельзя обучить с помощью градиентного спуска, потому что нет производной от процедуры «обрезать изображение здесь». Такие техники, как REINFORCE, можно использовать для тренировки механизмов жесткого внимания. Карты жесткого внимания полностью соответствуют 0 или 1, и ничего промежуточного; 1 соответствует пикселю, который сохраняется, а 0 соответствует пикселю, который обрезан.

Для более подробного обсуждения мягкого и жесткого внимания см. Этот пост (подразделы «Что такое внимание?», «Жесткое внимание» и «Мягкое внимание») и этот пост (подраздел «Мягкое и жесткое внимание») ).

В статье «Научитесь обращать внимание» демонстрируется один подход к мягкому обучаемому визуальному вниманию в модели CNN. Основная задача, которую они рассматривают, - это мультиклассовая классификация, цель которой - назначить входное изображение одному выходному классу, например отнесите фото медведя к классу «медведь.Авторы демонстрируют, что мягкое обучаемое внимание улучшает производительность мультиклассовой классификации на 7% на CIFAR-100, и показывают примеры тепловых карт, подчеркивающих, как внимание помогает модели сосредоточиться на частях изображения, наиболее релевантных для правильной метки класса.

Обзор модели

Вот диаграмма их модели, измененная с рисунка 2 в документе:

Модель основана на сверточной нейронной сети VGG. Существуют различные конфигурации сети VGG, показанные на Рисунке 2 здесь.(Если вам интересно, статья «Научитесь обращать внимание», похоже, использует конфигурацию VGG где-то между конфигурациями D и d E; в частности, есть три 256-канальных уровня, таких как конфигурация D, но восемь 512-канальных уровней как конфигурация E.)

Суть этого рисунка заключается в том, что авторы внесли два ключевых изменения в базовую настройку VGG:

  1. Они вставили оценщики внимания после слоев 7, 10 и 13 (номера слоев, которые я выделено желтым.Оценщик внимания после уровня 7 берет выходные данные уровня 7 и вычисляет «маску внимания» из чисел от 0 до 1, которые затем умножает на исходные выходные данные уровня 7 для получения «g_a¹» (на рисунке выше). Тот же процесс происходит с оценщиками внимания после слоев 10 и 13, чтобы получить g_a² и g_a³ соответственно.
  2. Следующим большим изменением является то, что авторы убрали полностью подключенный уровень, который обычно идет в конце VGG, чтобы произвести прогноз (обычно после слоя FC с номером «16» есть еще один слой FC, но они избавились от него. Это.Вместо этого классификация теперь происходит через новый полностью связанный слой, который принимает входные данные от трех оценщиков внимания.

Обозначение

Прежде чем мы подробно рассмотрим, как работает их механизм внимания, вот краткое изложение обозначений, используемых в статье, которые мы будем использовать в оставшейся части сообщения:

Шаг 1: Рассчитайте Оценки совместимости.

«Оценка совместимости» рассчитывается с использованием локальных функций l и глобального вектора функций g.

Авторы объясняют, что оценка совместимости должна иметь высокое значение, когда участок изображения, описываемый локальными функциями, «содержит части доминирующей категории изображений».

Например, если на изображении изображен кот, мы предполагаем, что вся кошка описана глобальным вектором признаков g , и, кроме того, мы ожидаем, что особенно «кошачий» патч (например, патч на лицо кошки) будет производить локальные особенности l , которые дают высокий балл совместимости в сочетании с g.

Авторы предлагают два различных способа расчета показателя совместимости c на основе локальных характеристик l и глобального вектора признаков g :

подход 1 : «параметризованная совместимость» или «pc»:

подход 2 : «скалярное произведение» или «dp»:

(Спойлер: «параметризованная совместимость» показала лучшие результаты.)

В «параметризованной совместимости» мы сначала добавляем локальные функции к глобальной функции, l + g , а затем берем скалярное произведение с выученным вектором u .Интуитивно кажется, что объединение l и g может иметь больше смысла, чем добавление, но авторы заявляют: «Учитывая существующие свободные параметры между локальным и глобальным дескрипторами изображения […], мы можем упростить объединение […] к операции сложения », чтобы« ограничить параметры единицы внимания ». (Один из рецензентов также спросил, почему они использовали сложение вместо конкатенации; см. OpenReview.)

В подходе «скалярного произведения» мы просто берем скалярное произведение локальных функций l и глобального вектора признаков g. Обратите внимание, что для каждого сверточного слоя, на который мы обращаем внимание (слои 7, 10 и 13), локальные особенности l будут уникальными для этого слоя, но глобальный вектор признаков g будет таким же.

Что делать, если л и г имеют разные размеры?

Как оказалось, l для сверточного слоя 7 имеет 256 каналов, а g имеет 512 каналов. Чтобы добавить два вектора (подход pc) или получить скалярное произведение (подход dp), векторы должны быть одинакового размера.

Авторы говорят, что если l и g имеют разные размеры, то сначала они проецируют g на пространство меньшего измерения l . Причина, по которой они не проецируют l в пространство более высоких измерений g , заключается в том, чтобы ограничить количество параметров. (Под «проектом» они подразумевают применение слоя нейронной сети, чтобы сделать l таким же размером, как g .)

Обратите внимание, что это все еще приемлемое решение - спроецировать l на g ; вы просто увеличиваете л вместо г меньше.Эта реализация Pytorch «Учимся обращать внимание» проецирует от l до g с использованием строки «c1, g1 = self.attn1 (self.projector (l1), g)», в которой self.projector представляет собой единственный сверточный слой. который занимает l , который имеет вход из 256 каналов и создает на выходе 512 каналов, чтобы соответствовать 512 каналам g .

Шаг 2: Рассчитайте веса внимания a на основе оценок совместимости c

Все, что мы здесь делаем, это с помощью softmax сжимаем оценки совместимости c в диапазоне (0,1), и мы звоним вывод a .Обзор работы softmax можно найти в этой публикации.

Шаг 3. Рассчитайте конечный результат работы механизма внимания для каждого уровня s .

Здесь мы вычисляем окончательный результат работы механизма внимания g_a для конкретного слоя s , взяв взвешенную комбинацию l для этого слоя (напомним, что l - это просто выходы этого уровня. Мы используем веса внимания и , которые мы только что вычислили.

Шаг 4. Сделайте прогноз классификации на основе конечного результата внимания

Теперь мы хотим использовать результаты анализа внимания g_a , которые мы только что рассчитали для слоев 7, 10 и 13, чтобы принять решение о классификации. Авторы исследуют два варианта:

подход 1: «concat»: сначала объедините выходы внимания, а затем скармливайте их вместе в один полностью связанный слой для получения окончательных прогнозов.

подход 2: «indep»: передать каждый вывод внимания на независимый полностью связанный уровень, чтобы получить промежуточные прогнозы, затем усреднить эти промежуточные прогнозы, чтобы получить окончательные прогнозы.

(Спойлер: «concat» показал лучшие результаты.)

Тренируемое внимание улучшает производительность

Авторы оценивают свой механизм внимания на различных задачах, включая многоклассовую классификацию с помощью CIFAR-10, CIFAR-100, и СВХН. Они обнаружили, что использование их обучаемого механизма внимания улучшает производительность по сравнению с базовым уровнем «без внимания», в отличие от одного из механизмов постфактум (CAM), который приводит к снижению производительности (из-за ограничений архитектуры, налагаемых CAM подход.)

Следующий вариант их метода показал себя лучше всего: «параметризованная совместимость» (вычисление оценок совместимости путем сложения l и g и последующего вычисления скалярного произведения с выученным вектором и ) и «concat» (конкатенация выводов внимания g_a перед подачей их в слой fc для прогнозирования.)

Вот часть рисунка 3 из их статьи, показывающая несколько примеров карт внимания, сфокусированных на соответствующих объектах:

Насколько полезен вектор глобальных признаков g ?

В приложении к их статье содержится интересное обсуждение полезности глобального вектора признаков g при вычислении внимания.Напомним, что подходы «pc» и «dp» для получения оценок совместимости используют глобальный вектор функций g . Авторы провели эксперименты, в которых они поменяли местами, какие г они использовали, и обнаружили:

  • для механизма внимания, основанного на скалярных произведениях [dp, худший результат]: «глобальный вектор играет важную роль в направлении внимания»
  • для параметризованной функции совместимости [pc, более производительный]: «глобальный вектор признаков кажется избыточным.Любое изменение глобального вектора признаков не переносится на результирующую карту внимания. Фактически, численные наблюдения показывают, что величины глобальных особенностей часто на пару порядков меньше, чем величины соответствующих локальных особенностей. Таким образом, изменение глобального вектора признаков практически не влияет на прогнозируемые оценки внимания. Тем не менее, сами карты внимания способны последовательно выделять области изображения, относящиеся к объекту. Таким образом, кажется, что в случае параметризованного внимания, основанного на совместимости, объектно-ориентированные особенности высокого порядка изучаются как часть вектора весов и .”

Другими словами, мы могли бы обойтись без вычисления оценок совместимости следующим образом:

без использования g вообще!

Независимо от конкретной роли, которую играет г , этот метод «научиться обращать внимание» действительно улучшает результаты и дает хорошие карты внимания - так что обучаемое внимание явно делает что-то полезное, даже если оно не использует г именно так, как изначально задумывали авторы.

  • Обучаемые механизмы внимания имеют веса внимания, которые изучаются во время обучения, которые помогают модели сосредоточиться на ключевых частях изображений, важных для задачи;
  • Механизмы ретроспективного внимания - это методы, применяемые после завершения обучения модели, и предназначены для обеспечения понимания того, куда смотрит модель, когда она делает прогнозы;
  • Пристальное внимание уделяется кадрированию изображения, его можно обучить с помощью REINFORCE.Мягкое внимание создает более «туманные» области фокуса и может быть обучено с помощью регулярного обратного распространения ошибки.
  • «Научитесь обращать внимание» - интересная статья, демонстрирующая, как мягкое обучаемое внимание может улучшить характеристики классификации изображений и выделить ключевые части изображений.

Дополнительные ссылки

  • Внимание в нейронных сетях и как их использовать Адам Косиорек. Это отличная статья, посвященная компьютерному зрению. В нем обсуждается, почему внимание полезно, мягкое или жесткое внимание, гауссово внимание (с кодом) и пространственные преобразователи (с кодом).
  • Внимание? Внимание! пользователя Lilian Weng. Это еще одна отличная статья, в которой уделяется внимание обработке естественного языка. В нем обсуждаются seq2seq, самовнимание, мягкое и жесткое внимание, глобальное и локальное внимание, нейронные машины Тьюринга, сети указателей, преобразователи, SNAIL и GAN с самовниманием.

Об избранном изображении

Источник изображения: Исполнитель с огненными пои. Пои - это исполнительское искусство, ориентированное на качание привязных гирь. Он возник в Новой Зеландии.

.

Смотрите также