Интерактивная сегментация При обработке изображение часто рассматривается не как "изображение вообще", а как "изображение чего-то на фоне чего-то". В общем случае при работе с тем или иным изображением часто возникает необходимость отделить одну, значимую для пользователя часть, которая нас интересует в данный момент (объект), от всего остального (фон). Эта задача является очень нечетко сформулированной: при работе с тем или иным изображением только пользователь может определить, что является интересующим его объектом, а что относится к фону. Поэтому все алгоритмы, решающие задачу выделения объекта на фоне, являются интерактивными, т. е. помимо самих изображений требуют некоторых "подсказок" со стороны пользователя. Предлагая алгоритму все больше и больше "подсказок" о том, что является объектом, а что фоном, пользователь за какое-то конечное время должен получить удовлетворяющую его сегментацию "фон/объект".
Интерактивная сегментация Алгоритм «Волшебная палочка (Magic wand)» На каждом шаге алгоритма пользователь указывает некоторую точку объекта, и алгоритм выделяет окрестные пиксели с похожим цветом. В большинстве случаев, а именно, когда цвет объекта значительно варьируется, пользователь должен проделать эту операцию несколько раз: после каждого шага выделенная область добавляется к объекту. Пусть у нас есть изображение A с цветами пикселей A(x, y). Будем считать, что на множестве цветов задана метрическая функция , определяющая расстояние между двумя цветами. Пусть пользователь указал пиксель (x 0, y 0) с цветом A(x 0, y 0). Тогда рассматривается двухцветное изображение B того же размера, что и A, задаваемое правилом
Интерактивная сегментация Иными словами, B содержит единицы для пикселей с цветом, отличающимся от цвета пикселя, указанного пользователем, не более чем на τ, где τ порог чувствительности, задаваемый пользователем. Чем он выше, тем больше пикселей выделится на данном шаге. На втором этапе происходит нахождение связной области цвета на изображении B, содержащей пиксель (x 0, y 0). Это может быть выполнено при помощи любого алгоритма заполнения области с затравкой (flood fill) Найденная область Ω является связной и содержит пиксели цветов, похожих на цвет пикселя, который был указан пользователем Увеличили τ
Интерактивная сегментация Показаны области, выделенные после одного шага алгоритма. Алгоритм достаточно успешно выделил пиксели, относящиеся к штанам человека. Эти пиксели штанов примерно одного (желтого) цвета, и этот цвет сильно отличается от цвета окружающих пикселей. Пиксели куртки тоже имеют характерный красный цвет, однако из-за складок и свойств ткани этот цвет достаточно сильно варьируется. Аккуратно отделить объект от фона в таких случаях с помощью данного алгоритма невозможно. Слишком малый порог чувствительности приводит к тому, что не выделяется значительная часть объекта. Увеличение порога приводит к тому, что выделение "протекает" за пределы объекта. В итоге, чтобы выделить объект "волшебной палочкой", пользователю приходится многократно указывать пиксели, при этом установив малый порог τ. В случае пестрого объекта или размытой границы между фоном и объектом алгоритм "волшебная палочка" практически беспомощен.
Интерактивная сегментация Алгоритм «Умные ножницы (intellegent scissors)» Пользователь обводит границу между объектом и фоном. Однако, пользователь не должен указывать все точки границы. Вместо этого он указывает точки на границе с некоторым промежутком, а "умные ножницы" проводят граничную линию между последовательно указанными точками. Будем считать, что у нас есть изображение A с цветами пикселей A(x, y) и дана метрическая функция , задающая расстояние между двумя цветами. Рассмотрим растровую решетку как граф, устроенный следующим образом. Вершинами графа служат углы пикселей, а ребрами графа стороны пикселей. Будем считать, что пользователь в качестве последовательных граничных точек указал два угла пикселей, соответсвующих вершинам графа P и Q
Интерактивная сегментация Припишем каждому ребру длину, обратно зависящую от разницы между цветами пикселей, которые примыкают к ребру. Например где d - приписываемая длина ребра, L - геометрическая длина ребра, C 1 и C 2 - цвета пикселей по обе стороны от ребра, K - некоторая константа. В качестве граничной линии на участке между граничными точками P и Q "умные ножницы" выбирают кратчайший путь на графе, т. е. последовательность ребер, соединяющих вершины P и Q и имеющих минимальную суммарную длину. Поскольку ребра, соответствуюшие резким цветовым перепадам, имеют меньшую приписанную длину, "умные ножницы" стремятся провести границу именно по таким ребрам.
Интерактивная сегментация Алгоритм работают не очень хорошо при наличии пестрого фона или пестрого объекта (куски фона вокруг ног). В таких случаях требуется больше граничных точек
Интерактивная сегментация Алгоритм разрезы на графах Пользователь просто отмечает некоторое множество A пикселей, принадлежащих объекту, и некоторое множество B пикселей, принадлежащих фону Поскольку эти пиксели не обязаны быть рядом с границей, такая разметка не требует от пользователя особых усилий. Результатом алгоритма служит сегментация, в которой все множество A отнесено к объекту, а множество B - к фону. Фон (В) Объект (А)
Интерактивная сегментация Если результат выделения с первого раза не удовлетворяет пользователя, он добавляет в исходные множества пиксели, доотмечая их на изображении. Например, если алгоритм ошибочно отнес кусок объекта к фону, пользователь отмечает часть пикселей этого куска как пиксели объекта (множество A). Результатом перезапуска алгоритма служит уточненная сегментация. Построим граф на растре следующим образом. Вершины графа расположим в центре каждого пикселя. Далее под цветом вершины мы будем понимать цвет соответствующего пикселя. Будем также считать, что вершина принадлежит множеству A (или B), если соответствующему множеству принадлежит соответствующий пиксель. Каждую вершину соединим с соседними вершинами (т. е. вершинами, расположенными в центрах 8 -связно соседних пикселей). Таким образом, получившиеся ребра соединяют центры соседних пикселей. Припишем каждому ребру вес
Интерактивная сегментация где L - геометрическая длина ребра, C 1 и C 2 - цвета вершин, соединяемых ребром, λ и σ - некоторые (положительные) параметры. Данный вес тем меньше, чем больше разница между цветами вершин. Добавим в граф две вершины, называемые истоком и стоком (граф с этими вершинами называется сетью). Эти вершины будем называть терминальными. Прочие вершины будем называть пиксельными. Соединим сток и исток ребрами с каждой вершиной графа. Ребрам, соединяющим исток с вершинами множества A, и ребрам, соединяющим сток с вершинами множества B, припишем бесконечный вес. Терминальная вершина Пиксельная вершина из В Пиксельная вершина из А Сток Исток Пиксельная вершина Терминальная вершина
Интерактивная сегментация Рассмотрим распределение цветов вершин множества A (как гистограмму или как набор кластеров, полученных методом K средних). Для всех пиксельных вершин не из множества A, припишем ребрам, соединяющим их с истоком, вес, пропорциональный согласованности их цвета с этим распределением цветов. Например, для гистограммного распределения согласованность соответствует мощности соответствующей корзины. Таким образом, вес ребра будет тем больше, чем больше "похож" цвет вершины на цвета вершин множества A. Аналогичную процедуру проделаем для множества B и ребер, соединяющих пиксельные вершины со стоком. В результате всем ребрам нашего расширенного графа будут приписаны веса Назовем разрезом на нашем графе разбиение всех его вершин на два непересекающихся множества - истоковое и стоковое, причем истоковое множество должно содержать исток, а стоковое множество, соответственно, сток. Будем называть ребра, соединяющие вершины из разных множеств, разрезанными. Разрез можно также представлять как разрезающую поверхность, пересекающую все разрезанные ребра и отделяющую исток от стока.
Интерактивная сегментация Любой разрез задает сегментацию исходного изображения следующим образом: будем считать, что вершины, попавшие в истоковое множество (помимо самого истока), соответствуют пикселям объекта, а остальные, попавшие в стоковое множество (помимо самого стока), соответствуют пикселям фона. Весом разреза назовем сумму весов всех разрезанных ребер. Минимальным разрезом назовем разрез с минимальным весом. Заметим, что всего разрезов 2^P, где P - число пикселей (так каждая пиксельная вершина может оказаться либо в истоковом, либо в стоковом множестве). Существует алгоритм поиска минимального разреза на графе (известный также как алгоритм поиска максимального потока в сети), позволяющий найти минимальный разрез за полиномиальное от P время, причем на практике для графов, похожих на описанный в данном разделе, он работает за линейное от P время.
Интерактивная сегментация Минимальный разрез будет проходить так, что : Пиксели множества A будут отнесены к объекту, пиксели множества B - к фону. Это гарантируется бесконечностью весов ребер, соединяющих соответствующие пиксельные вершины с соответствующими терминальными. Граница между объектом и фоном будет проведена по возможности между пикселями с сильно отличающимися цветами. Это обеспечивается выбором весов для ребер, соединяющих пиксельные вершины. Пиксели, похожие по цвету на пиксели множества A, будут по возможности отнесены к объекту, а пиксели, похожие по цвету на пиксели множества B, - к фону. Это гарантируется выбором весов ребер, соединяющих соответствующие пиксельные вершины с соответствующими терминальными. Последние два пункта могут входить в противоречие друг с другом. Например, участок изображения может быть похож по цвету на фон (пиксели множества B), но окружен вокруг по периметру пикселями множества A и при этом не отделен от них резкой границей.
Интерактивная сегментация В таких случаях выбор параметра λ в формуле устанавливает баланс между последними двумя пунктами. Увеличивая значение λ, мы увеличиваем важность того, чтобы граница между фоном и объектом проходила между пикселями с разными цветами, а уменьшая, мы увеличиваем важность того, чтобы пиксели, похожие по цвету на пиксели множества A (B), были отнесены к объекту (фону).
Скачать презентацию Интерактивная сегментация При обработке изображение часто рассматривается не
Интерактивная сегментация.ppt