deep-econom (deep_econom) wrote,
deep-econom
deep_econom

Category:

Мерцание, дребезг, неустойчивая классификация на границе классов.

Мерцание, дребезг, неустойчивая классификация на границе классов.

Надо помнить, что любые классификации условны. Любая классификация такова, каковы критерии классификации.
На границе между классами происходит "мерцание", "дребезг" т.е. неустойчивая классификация, объекты расположенные рядом могут относиться то к одному классу, то к другому при малых изменениях, это обычное типичное свойство такого класса задач, иного быть не может.

Неустойчивая классификация в пограничных областях между классами объектов в пространстве признаков это нормально.

---
Наглядный рафинированный пример.

суперигрушка, неплохая игрушка, дающая интуитивное понимание работы нейросетей
https://deep-econom.livejournal.com/61736.html
---

Рафинированный пример: неустойчивость, дребезг, мерцание.
(Сверточные нейронные сети = СНС)

============================
Исследование устойчивости сверточных нейросетей. Часть 1: Теория
https://habr.com/ru/company/huawei/blog/509816/

2. Насколько устойчивы СНС по отношению к входным данным? Легко ли их сломать?

(Не)устойчивость сверточных нейронных сетей

Но не будем спешить. Для ответа на второй вопрос обратимся к работам исследователей, которые стояли в истоках проверки СНС на устойчивость. Оказывается, можно внести практически незаметные для глаза человека возмущения во входные данные, которые, тем не менее, полностью поменяют выход нейронной сети.

Например, результат классификации с "панды" меняется на "гиббона" при внесении крайне незаметных возмущений:

Так вот, такие почти не заметные возмущения, которые меняют выход нейросети, называют состязательными примерами (или, зачастую, атаками на эту самую нейросеть); по-английски устойчивое выражение adversarial examples / attack.

Может показаться, ну, возможно, такие состязательные примеры существуют только для классификационных сетей (ну класс там перекинуть с правильного на неправильный). Однако быстро выяснили, что подобные проблемы наблюдаются и у сетей, которые детектируют объекты (обводят прямоугольником), и даже у сегментационных сетей (которые каждому пикселю изображения сопоставлют класс): для примера можно посмотреть работу "Adversarial examples for semantic segmentation and object detection".
....
Откуда берется неустойчивость и способы борьбы с ней

Причин, по которым возможно такое существование состязательных примеров, не так чтобы одна (и не хочется здесь разводить холивар на эту тему — исследователи до сих не пришли к единому мнению).
Остановимся на одной (и, возможно, наиболее просто интерпретируемой) — а именно, недостаточной обобщающей способности нейросетей. В силу этого границы классификации, которые строятся при обучении нейросети, зачастую проходят очень близко к обучающим данным, и порой легко «заступить» с помощью минимального возмущения из области, соотвествующей одному классу, в область, соответствующую другому классу.
...

=======================

Пограничные объекты имеют отступ, близкий к нулю. Классификация таких объектов неустойчива в том смысле, что малые изменения метрики или состава обучающей выборки могут изменять их классификацию.
http://machinelearning.ru/wiki/images/8/8f/Voron-ML-Metric1.pdf
Метрические алгоритмы классификации. К. В. Воронцов. 23 февраля 2010 г.

---
это вопрос классификации, а все классификации условны
неустойчивая классификация в пограничных областях между классами объектов в пространстве признаков это нормально

есть ли сознание у растений?
https://deep-econom.livejournal.com/65974.html
---

Все классификации условны. Даем строгие определения и получаем более четкие классификации. Но в любом случае будут пограничные объекты, где размыта граница, идет неуверенная классификация.

Понятие как классификатор.
https://deep-econom.livejournal.com/15154.html
---

Классификация и критерий классификации
https://deep-econom.livejournal.com/15154.html

В инетах часто народ спорит о терминах, спорит о чем-то не определив понятий или критериев.

Любое понятие осуществляет классификацию в универсуме классифицируемых объектов. Все классификации условны. Даем строгие определения и получаем более четкие классификации. Но в любом случае будут пограничные объекты, где размыта граница, идет неуверенная классификация.

Какой критерий задашь, такова будет и классификация.
Что в модель заложишь, то и получишь.
Разные критерии - разные классификации, разные классы множеств.
Разные модели окружающей реальности - разные следствия.
---

Нейросеть это по своей сути полином, который в многомерном пространстве параметров разделяет гиперповерхностями многомерные точки на разные классы. Обучение это по сути подгонка или фиттинг коэффициентов полинома. Ничего таинственного в итоге. Предыдущая ссылку очень наглядно показывает процесс подгонки гиперповерхностей.

Что такое нейросеть?
https://deep-econom.livejournal.com/102997.html
---

Нейросети. Список постов
https://deep-econom.livejournal.com/698852.html
==============
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 3 comments