способ индексации и поиска цифровых изображений

Классы МПК:G06F17/30 информационный поиск; структуры баз данных для этой цели
Патентообладатель(и):Игнатов Артем Константинович (RU)
Приоритеты:
подача заявки:
2011-09-23
публикация патента:

Изобретение относится к системам индексации и поиска цифровых изображений, содержащихся в файлах различных графических форматов. Технический результат заключается в уменьшении времени автоматической и полуавтоматической индексации изображений и в повышении быстродействия процедуры поиска изображений, содержащих схожие преобладающие цвета, в базе данных. Находят цвет, который имеет наименьшее расстояние Манхэттэн от найденного преобладающего цвета в выбранной цветовой системе координат из заранее заданного набора основных цветов, классифицированных по яркости, насыщенности и цветовому тону. Используют полученный цвет в качестве идентификатора для организации процедуры поиска в базе данных изображений. Определяют ассоциации цветов из базового набора основных цветов для формирования характеристики визуального подобия цветов и визуального контраста цветов. Формируют индекс (метаданные) изображения согласно предъявленному основному цвету в формате RGB, и/или названию, и/или тегу цвета. Осуществляют поиск изображений в информационной базе данных. В результате поиска формируют список изображений с индексами, совпадающими с предъявленным индексом, и/или с индексами, у которых основные цвета присутствуют в списке ассоциаций визуального сходства или в списке контрастности цветов для основного цвета в индексе поиска изображений. 2 н. и 7 з.п. ф-лы, 4 ил. способ индексации и поиска цифровых изображений, патент № 2510935

способ индексации и поиска цифровых изображений, патент № 2510935 способ индексации и поиска цифровых изображений, патент № 2510935 способ индексации и поиска цифровых изображений, патент № 2510935 способ индексации и поиска цифровых изображений, патент № 2510935

Формула изобретения

1. Способ индексации цифровых изображений, при котором анализируют цифровое представление изображений с целью создания индекса (метаданных) изображения, описывающего основной цвет изображения, и использования его в качестве идентификатора для организации процедуры поиска изображений, отличающийся тем, что

- определяют базовый набор основных цветов в формате цветового пространства HSV;

- задают название и тег цвета для каждого основного цвета;

- основные цвета базового набора определяют как ахроматические, если значение канала Saturation меньше определенного порога T S и если значение канала Value меньше определенного порога ТV;

- исходное изображение представляют в формате RGB;

- определяют преобладающий цвет изображения в формате RGB;

- совершают преобразование преобладающего цвета изображения из формата RGB в формат HSV;

- определяют основной цвет изображения в формате HSV из базового набора основных цветов HSV, как цвет, который имеет наименьшее расстояние манхэттен (1 норму) способ индексации и поиска цифровых изображений, патент № 2510935 от предъявленного HSV значения, где способ индексации и поиска цифровых изображений, патент № 2510935 являются абсолютными разностями координат Hue, Saturation и Value соответственно;

- совершают преобразование основного цвета изображений из формата HSV в формат RGB;

- формируют индекс (метаданные) изображения согласно определенному основному цвету в формате RGB, HSV, названию и тегу цвета;

- сохраняют индекс (метаданные) изображения в информационной базе данных;

2. Способ по п.1, отличающийся тем, что список тегов классифицируют согласно категориям, характеризующим основные цвета по яркости (интенсивности), и/или по цвету, и/или по насыщенности цвета.

3. Способ по п.1, отличающийся тем, что преобладающий RGB цвет изображения определяют путем выбора пикселя с соответствующими координатами.

4. Способ по п.1, отличающийся тем, что преобладающий RGB цвет изображения определяют как результат цифровой фильтрации выбранной области пикселя с соответствующими координатами.

5. Способ по п.4, отличающийся тем, что в качестве функции цифровой фильтрации используют функцию гауссиана.

6. Способ по п.1, отличающийся тем, что для каждого основного цвета из базового набора координату Н основного цвета выбирают как значение Н из интервалов, на который делится канал Hue, при этом количество интервалов для канала Hue определяют как NHUE; координату S основного цвета выбирают как значение S из интервалов, на который делится канал Saturation, при этом количество интервалов для канала Saturation определяют как NSAT; координату V основного цвета выбирают как значение V из интервалов, на который делится канал Value, при этом количество интервалов для канала Value определяют как NVAL.

7. Способ поиска цифровых изображений с использованием в качестве идентификатора индекса изображения (включающего информацию об основном цвете изображения в формате RGB, теге и названии цвета), отличающийся тем, что

- определяют ассоциации цветов из базового набора основных цветов для формирования характеристики визуального подобия цветов;

- определяют ассоциации цветов из базового набора основных цветов для формирования характеристики визуального контраста цветов;

- формируют индекс (метаданные) изображения согласно предъявленному основному цвету в формате RGB, и/или названию, и/или тегу цвета;

- осуществляют поиск изображений в информационной базе данных согласно сформированному индексу изображения и в результате поиска формируют список изображений с индексами, совпадающими с предъявленным индексом, и/или с индексами, у которых основные цвета присутствуют в списке ассоциаций визуального сходства или в списке контрастности цветов для основного цвета в индексе поиска изображений.

8. Способ по п.7, отличающийся тем, что информационную базу данных цифровых изображений хранят на сервере в глобальной сети Интернет.

9. Способ по п.7, отличающийся тем, что доступ к базе данных осуществляют через веб-интерфейс (веб-сайт, размещенный в глобальной сети Интернет), который используется пользователем для формирования поискового запроса в информационную базу данных изображений.

Описание изобретения к патенту

Изобретение относится к системам индексации и поиска цифровых изображений, содержащихся в файлах различных графических форматов, расположенных на локальном компьютере пользователя, в том числе в глобальной сети Интернет.

Предлагаемый способ может найти широкое применение в поисковых системах, а также в аппаратно-программных комплексах электронной торговли (интернет-магазинах), где зачастую требуется совершить поиск товаров из базы данных магазина по характеристикам, не только заданных в текстовой форме, но и полученных в результате анализа цифровых изображений.

В рамках реализации системы выделяют две основные задачи: определение преобладающего цвета изображения с сохранением индекса (метаданных) изображения в информационной базе данных и поиск изображений, содержащих схожие преобладающие цвета, в базе данных. Преобладающий цвет изображения определяют как цвет, который имеет большинство пикселей изображения. Преобладающий цвет изображения может быть вычислен методами анализа изображений. Также преобладающий цвет изображения может быть выбран из списка заранее заданных цветов путем взаимодействия оператора ЭВМ с программным обеспечением по управлению информационной базы данных.

Известные из уровня техники методы контентно-ориентированной индексации для организации поиска файлов различных форматов, включая и графические, в которых оценивается совпадение содержимого путем вычисления хэш-функций от содержимого [1]. К недостаткам таких методов можно отнести отсутствие анализа изображений, из-за чего изображения с похожими преобладающим цветами могут быть классифицированы как совершенно различные изображения.

Известные из уровня техники методы контентно-ориентированного поиска изображений преимущественно вычисляют вектор характерных значений для каждого изображения и сохраняют его в информационной базе данных наряду с самим изображением. При этом поиск изображения осуществляется путем вычисления вектора характерных значений для предъявленного изображения с последующим сравнением искомого вектора со всеми векторами из базы данных. На выходе процедуры поиска при этом получают ряд изображений, для которых ошибка совпадения векторов с искомым вектором является минимальной (ниже заданного порога). К таким методам можно отнести, например, метод, описанный в [2]. Метод использует в качестве вектора характерных признаков значение гистограмм, построенных по значениям каналов R, G, В, выраженных цветовой моделью RGB. Другой метод [3] использует в качестве вектора характерных признаков изображения значения гистограмм, построенных по значениям каналов Н и S, выраженных цветовой моделью HSV.

Близким по технической сущности является способ поиска цифровых изображений из базы данных изображений [4], при котором вычисляют гистограмму предъявленного изображения, а также гистограммы изображений, хранящихся в базе данных, затем рассчитывают меру подобия изображений с применением метода оценки подобия двух распределений вероятностей (Kullback-Leibler divergence) [5]. Затем результаты поиска ранжируют в зависимости степени похожести от входного изображения.

К недостаткам прототипа можно отнести вычислительную сложность расчета гистограмм изображений с последующим вычислением метрики похожести. Еще одним недостатком прототипа является необходимость наличия входного изображения для организации процедуры поиска изображений из базы данных. Прототип анализирует контент изображения и выдает на выходе процедуры поиска результат с наименьшей ошибкой сравнения гистограмм. Но данная постановка задачи не совсем подходит для систем электронной торговли (интернет-магазинов). Наиболее типичная задача для систем электронной торговли - это нахождение изображения товара в базе данных товаров магазина по заданному цвету и категориям. При этом при использовании прототипа может достигаться результат не совсем отвечающий задаче поиска товара по выбранному цвету, т.к. гистограмма изображения строится по всей области изображения, включая непосредственно объект съемки (товар) наряду с задним фоном, который может быть неоднородным. Искажения, вносимые в гистограмму областями заднего фона, могут вносить существенную ошибку в результаты поиска изображений по цвету.

Заявляемое изобретение позволяет решить этот недостаток путем задания поиского запроса не в виде изображения предмета (товара), а в виде цветного изображения, раскрашенного в цвета из некоторого набора цветов. При этом заявляемый способ поиска изображений производит трансформацию поискового запроса выраженного в графической форме (цветное изображение) в поисковый запрос, выраженный в текстовой форме в виде чисел и букв, что оказывает существенное влияние на скорость поиска. Число-буквенную строку, характеризующую цвет изображения называют тегом. При этом выборка изображений идет согласно сравнению тегов небольшой длины (порядка 10-30 символов), что требует гораздо меньших вычислительных затрат по сравнению с вычислением подобия 8-битных гистограмм, состоящих из 256 значений на канал. При использовании наиболее распространного цветового пространства RGB нужно сравнивать между собой 768=256·3 значений для каждого из сотен или тысяч изображений, хранимых в базе данных изображений.

Также прототип нельзя применить для поиска изображений товаров по заданным ассоциациям гармоничности цветов, при котором в результате процедуры поиска изображений получают ряд изображений, которые имеют цвета, визуально гармонирующие между собой.

Таким образом, первоочередной задачей построения систем поиска изображений для электронной торговли является задача поиска изображений согласно заданному цвету. Атрибуты изображения, описывающие цвет, категорию изображения и другие параметры изображения называют индексом или метаданными изображения. Индекс изображения хранят в информационной базе данных. При этом индекс изображения должен включать в себя наряду с тэгом название цвета, которое должно как можно более точно характеризировать цвет объекта на изображении.

Поставленная задача решена путем разработки метода для индексации (формирования метаданных) изображений, с последующим формированием базы данных метаданных изображений и реализацией процедуры поиска метаданных изображений в базе данных, при этом способ индексации включает в себя выполнение следующих операций:

- определяют базовый набор основных цветов в формате цветового пространства RGB;

- для каждого основного цвета в формате RGB из базового набора представляют основной цвет в формате HSV, сохраняют данную ассоциацию, и для каждого основного цвета вводят название и тег цвета;

- исходное изображение представляют в формате RGB;

- определяют преобладающий цвет изображения в формате RGB,

- приводят преобладающий цвет изображения в формат HSV;

- определяют основной цвет изображения в формате HSV из базового набора основных цветов HSV согласно преобладающему цвету изображения HSV;

- определяют основной цвет изображения в формат RGB согласно ассоциации базового набора цветов в формате HSV базовому набору цветов в формате RGB;

- формируют индекс (метаданные) изображения согласно определенному основному цвету в формате RGB, HSV, названию и тегу цвета;

- сохраняют индекс (метаданные) изображения в информационной базе данных.

Разработанный метод поиска изображений (метаданных изображений) в сформированной базе данных изображений включает в себя выполнение следующих операций:

- определяют ассоциации основных цветов из базового набора для формирования характеристики степени визуального подобия и гармоничности цветов;

- формируют индекс (метаданные) запроса поиска изображений согласно предъявленному основному цвету в формате RGB, и/или названию, и/или тегу цвета;

- осуществляют поиск изображений (метаданных изображений) согласно индексу (метаданным) запроса поиска изображения и в результате поиска формируют список изображений с индексами, совпадающими с предъявленным индексом и/или с индексами, которые совпадают с заданными ассоциациями визуального сходства и гармоничности цветов.

Фиг.1. Блок-схема поэтапного выполнения способа индексации (формирования метаданных) изображений согласно изобретению.

Фиг.2. Блок-схема поэтапного выполнения способа поиска изображений согласно изобретению.

Фиг.3. Пример определения преобладающего и основного цвета изображения.

Фиг.4. Пример поиска изображений из базы данных в соответствии с заданным основным цветом изображения.

Далее по тексту предпочтительный вариант реализации заявляемого изобретения описывается в деталях с привлечением графических материалов. Однако объем охраны заявляемого изобретения не ограничен предпочтительным вариантом реализации изобретения, которое может быть реализовано в различных формах. Предпочтительный вариант реализации, раскрытый в описании, является только примером, приведенным, чтобы раскрыть существо и помочь специалистам в полной степени понять заявляемое изобретение.

Блок-схема способа индексации (создания и сохранения метаданных в базе данных) цифровых изображений представлена на Фиг.1. Согласно Фиг.1 на шаге 101 способа определяют базовый набор основных цветов. В качестве иллюстрации сущности изобретения базовый набор цветов представлен в Табл. 1. Базовый набор цветов представляют в форме значений цветового пространства RGB, т.е. трехмерных координатах, задаваемых цветовой моделью RGB [6]. Также в качестве более точного определения преобладающего цвета изображения базовый набор цветов может быть представлен в форме значений цветового пространства HSV, т.е. трехмерных координатах, задаваемых цветовой моделью HSV. Детальное описание цветовой модели HSV здесь не приводится вследствие известности из текущего уровня техники [7]. При этом каналы R, G, В имеют диапазон значений от 0 до 255, тогда как значения канала Н изменяются от 0 до 360°, а значения канала S и V изменяются от 0 до 1.

Табл. 1
Базовый набор основных цветов
Название цветаRGBHSV Тэг
Ярко-красный (255,0,0)(0.1.1) красный насыщенный яркий
Ярко-оранжевый (255,128,0)(30,1,1) оранжевый насыщенный яркий
Ярко-желтый(255,255,0) (60,1,1)желтый насыщенный яркий
Ярко-салатовый(128,255,0) (90,1,1)салатовый насыщенный яркий
Ярко-зеленый (0,255,0)(120,1,1) зеленый насыщенный яркий
Ярко-сине-зеленый (0,255,128)(150,1,1) сине-зеленый насыщенный яркий
Яркий циан(0,255,255) (180,1,1)циан насыщенный яркий
Ярко-голубой(0,128,255) (210,1,1)голубой насыщенный яркий
Ярко-синий (0,0,255)(240,1,1) синий насыщенный яркий
Ярко-фиолетовый (128,0,255)(270,1,1) фиолетовый насыщенный яркий
Ярко-розовый(255,0,255) (300,1.1)розовый насыщенный яркий
Ярко-малиновый(255,0,128) (330,1,1)малиновый насыщенный яркий
способ индексации и поиска цифровых изображений, патент № 2510935 способ индексации и поиска цифровых изображений, патент № 2510935 способ индексации и поиска цифровых изображений, патент № 2510935 способ индексации и поиска цифровых изображений, патент № 2510935
Темно-красный (102,41,41)(0,0.6,0.4) красный полутон темный
Темно-оранжевый (102,71,41)(30,0.6,0.4) оранжевый полутон темный
Темно-желтый(102,102,41) (60.0.6,0.4)желтый полутон темный
Темно-салатовый(71,102,41) (90, 0.6,0.4)салатовый полутон темный
Темно-зеленый (41,102,41)(120,0.6,0.4) зеленый полутон темный
Темный сине-зеленый(41,102,71) (150,0.6,0.4)сине-зеленый полутон темный
Темный циан(41,102,102) (180,0.6,0.4)циан полутон темный
Темно-голубой (41,71,102)(210.0.6,0.4) голубой полутон темный
Темно-синий (41,41,102)(240,0.6,0.4) синий полутон темный
Темно-фиолетовый(71,41,102) (270,0.6,0.4)фиолетовый полутон темный
Темно-розовый (102,41,102)(300,0.6,0.4) розовый полутон темный
Темно-малиновый (102,41,71)(330,0.6,0.4) малиновый полутон темный

Отдельно замечаем, что выбор цветовой модели для базовых цветов не меняет сущности изобретения и зависит только от удобства пользования для создания системы индексации цифровых изображений.

Для определения базового набора основных цветов, представленных в виде цветового пространства HSV, значения каналов Н, S и V могут разбиваться на интервалы для удобства выбора базовых цветов при изменении их количества. При этом интервалам для описания интервала могут присваиваться названия в виде тегов (Табл. 2). Здесь и далее термины цветовой канал и координаты цветового пространства имеют одинаковое значение. При этом термин «цветовой канал» употребляется преимущественно при описании системы отсчета в выбранном цветовом пространстве, тогда как термин «цветовая координата» употребляется в контексте координаты в выбранной системе отчета.

Для канала Hue количество интервалов задают как NHUE. При равномерном разбитии канала Hue каждый интервал будет иметь длину, выраженную как IHUE/NHUE, где IHUE - максимальное значение для канала Hue (где IHUE=360°).

Для канала Saturation количество интервалов задают как N SAT. При равномерном разбитии канала Saturation каждый интервал будет иметь длину, выраженную как ISAT/N SAT, где ISAT - максимальное значение для канала Saturation (где ISAT=1 при использовании нормированного значения).

Для канала Value количество интервалов задают как NVAL. При равномерном разбитии канала Value каждый интервал будет иметь длину, выраженную как IVAL /NVAL, где IVAL - максимальное значение для канала Value (где IVAL=1 при использовании нормированного значения).

При этом для каждого основного цвета из базового набора координату Н основного цвета выбирают как значение Н из интервалов, на который делится канал Hue; координату S основного цвета выбирают как значение S из интервалов, на который делится канал Saturation; координату V основного цвета выбирают как значение V из интервалов, на который делится канал Value. В Табл. 2 приведен пример разбивки каналов Hue, Saturation, Value на интервалы. Также в таблицы приведены значения основных цветов, заданных в пределах выбранных диапазонов. В качестве иллюстрации работы метода для каждого основного цвета выбирают значение Hue как середину интервала сопоставляемого интервала канала Hue. Однако для каналов Saturation и Value значения основных цветов не соответствуют серединам искомых интервалов.

Для определения ахроматических цветов (цветов с малым значением насыщенности) базового набора вводят порог TS для значений канала Saturation и порог ТV для значений канала Value. При этом считают основной цвет ахроматическим, если значение координаты Saturation меньше TS и значение координаты Value меньше ТV.

Для упрощения индексаций-изображений, а также формирования групп изображений на шаге 101 способа индексации цифровых изображений вводят ассоциацию значений основных цветов с названием цвета, а также с тегом. При этом название цвета используется для взаимодействия с человеком в графическом интерфейсе пользователя. В свою очередь тэг используется для организация процедуры поиска. Категории тегов могут быть выбраны как характеризующие основные цвета по яркости (интенсивности), и/или по цвету, и/или по насыщенности цвета. В Табл. 1 приведены примеры тегов, заданные в соответствии с тоном цвета, его яркостью и насыщенностью. Теги составляются путем комбинации тегов интервалов из Табл. 2.

Табл. 2
Пример задания интервалов для канала Hue, Saturation, Value
КаналТег интервала ИнтервалОсновный цвет интервала
Hue красный(-15,15) 0
оранжевый (15,45)30
желтый(45,75)60
салатовый(75,105) 90
зеленый (105,135)120
сине-зеленый(135,165) 150
циан (165,195)180
голубой(195,225)210
синий(225,255) 240
фиолетовый (255,285)270
розовый(285,315) 300
малиновый (315,345)330
Saturation пастельный(0,0.45) 0.3
полутон (0.45,0.9)0.6
насыщенный(0.9,1) 1
Value темный(0,0.45)0.4
светлый(0.45,0.9) 0.7
яркий (0.9,1)1

После определения базового набора основных цветов на шаге 102 способа индексации цифровых изображений приводят искомое цифровое изображение 100 в формат RGB. Способы перевода изображения из известных популярных форматов хранения файлов, таких как JPEG, TIFF, PSD и других в растровый трехмерный массив RGB значений здесь не приводятся вследствие известности этих способов из текущего уровня техники и технологии.

После перевода входного цифрового изображения в формат RGB на шаге 103 определяют преобладающий цвет изображения 100, выраженного в цветовом пространстве RGB. Нахождение преобладающего цвета для автоматической индексации изображений в информационной базе данных осуществляют при помощи программного средства, при использовании которого оператор ЭВМ заносит изображения в базу данных, затем путем клика в выбранную область изображения указывает цвет какого пикселя считать преобладающем цветом изображения. Можно обойтись и без участия оператора ЭВМ и в качестве искомой области изображения считать центр изображения с координатами (xim/2, y im/2), где xim - ширина изображения в пикселях, yim - высота изображения в пикселях. При этом центр декартовых координат с осями Х и Y размещают в левом верхнем углу изображения. В свою очередь ось Х направляют в горизонтальном направлении слева направо, а ось Y направляют в вертикальном направлении сверху вниз.

Изображения, представленные в цифровом виде, зачастую могут содержать зашумленные области вследствие обработки сигналов в фотоаппаратах и последующей обработки и/или сжатия. Зашумленные области изображения понимают как области, в которых отдельные пиксели имеют значения, сильно отличающиеся от среднего значения в данной области изображения. Для уменьшения влияния цифрового шума на результат определения преобладающего цвета возможно применение цифровой фильтрации изображения для области пикселей вокруг выбранного пикселя. Фильтрация может быть выполнена с применением функции гауссиана. Описание работы цифровой фильтрации с помощью функции гауссиана здесь не приводится ввиду известности этого способа из текущего уровня техники. Любой метод цифровой фильтрации может быть применен для устранения эффекта зашумленности изображения. При этом выбор метода фильтрации не влияет на смысл изобретения. Под областью пикселей понимают группу пикселей, находящихся в непосредственной близости от данного пикселя с координатами (х, у). Область пикселя обычно задают в виде прямоугольного окна изображения с координатами верхнего левого угла (х-хw/2,у-уw/2) и правого нижнего угла (х+хw/2,у+уw/2). При этом xw - ширина прямоугольного окна в пикселях, yw - высота прямоугольного окна в пикселях. Описанный выше способ выбора окна фильтрации является чисто иллюстративным. Выбор формы окна фильтрации не меняет сущности изобретения. Хотим отметить, что выбор метода фильтрации ложится на плечи разработчика системы индексации изображений и не меняет сущности данного изобретения.

После определения преобладающего цвета изображения выраженного в цветовом пространстве RGB на шаге 104 способа индексации цифровых изображений определяют основной цвет искомого изображения согласно базовому набору основных цветов. Для этого RGB значение преобладающего цвета преобразуют в цветовое пространство HSV. Для полученного HSV значения вычисляют расстояние Манхеттен (1 норма) от каждого основного цвета из базового набора согласно формуле 1

способ индексации и поиска цифровых изображений, патент № 2510935

где способ индексации и поиска цифровых изображений, патент № 2510935 , способ индексации и поиска цифровых изображений, патент № 2510935 - абсолютное значение разницы координаты Hue для преобладающего цвета Р {Рhue, Psat, Pval} и основного цвета О {Оhue, Osat, Oval };

способ индексации и поиска цифровых изображений, патент № 2510935 , способ индексации и поиска цифровых изображений, патент № 2510935 - абсолютное значение разницы координаты Saturation для преобладающего цвета Р и основного цвета О;

способ индексации и поиска цифровых изображений, патент № 2510935 , способ индексации и поиска цифровых изображений, патент № 2510935 - абсолютное значение разницы координаты Value для преобладающего цвета Р и основного цвета О.

При этом диапазон значений координаты Hue от 0° до 360° нормируют в диапазон от 0 до 1. Функция нормировки может иметь вид как в формуле 2.

способ индексации и поиска цифровых изображений, патент № 2510935

Таким образом используют следующую формулу (формула 3) для расчета расстояния между цветами в цветовом пространстве HSV

способ индексации и поиска цифровых изображений, патент № 2510935

Основной цвет предъявленного изображения определяют из базового набора основных цветов HSV, как цвет, который имеет наименьшее расстояние Манхеттен способ индексации и поиска цифровых изображений, патент № 2510935 hsvN (формула 3) от предъявленного HSV значения. Затем получают значение основного цвета в формате RGB из набора ассоциаций основных цветов RGB и HSV. Пример ассоциаций основных цветов указан в Табл.1

После определения основного цвета изображения выраженного в цветовом пространстве RGB на шаге 105 способа индексации цифровых изображений формируют индекс (метаданные) изображения 107. Искомый индекс используют в качестве идентификатора при поиске изображений в базе данных. Наряду с информацией о преобладающем цвете изображения индекс изображения может содержать информацию о файле изображения, например системный путь к файлу изображений. Также индекс может содержать информацию о параметрах съемки фото (полученную например из EXIF метаданных файла изображения) и любую другую информацию, характеризующую изображение, например к какой категории товаров относится предмет, зафиксированный на изображении.

После формирования индекса (метаданных) изображения на шаге 106 способа индексации изображений сохраняют индекс предъявленного изображения в информационной базе данных. Наряду с сохранением индекса изображений в базе данных возможно также сохранение самого изображения в базе данных в качестве байтового массива.

Табл. 3
Ассоциации основных цветов из базового набора
Название цветаАссоциации по оттенку Ассоциации по контрасту
Ярко-красныйТемно-красный, Светло-красный Ярко-зеленый
Ярко-оранжевый Ярко-желтый, Темно-желтый, Светло-оранжевый Ярко-фиолетовый
Ярко-желтыйЯрко-оранжевый, Темно-желтый, Светло-желтыйЯрко-синий
Ярко-голубойЯрко-синий, Светло-синий, Темно-синий Ярко-розовый
Ярко-синий Ярко-голубой, Светло-голубой Ярко-желтый
Ярко-фиолетовый Светло-фиолетовый, Темно-фиолетовый Ярко-оранжевый

Пример реализации способа индексации изображений как части программного обеспечения системы управления базы данных приведен на Фиг.3. Согласно Фиг.3 оператор базы данных может задать категории товара, к которой принадлежит загружаемое в базу данных изображение. Помимо выбора категорий, программное обеспечение позволяет определить преобладающий и основной цвета изображения. Преобладающий цвет RGBA={252, 22, 54, 255} был автоматически рассчитан с помощью фильтрации центральной области изображения с радиусом в несколько пикселей. При этом основной цвет изображения был определен как «красный_ светлый_насыщенный» согласно описанному методу индексации изображений.

Блок-схема способа поиска изображений (метаданных изображений) в сформированной базе данных изображений представлена на Фиг.2. Согласно Фиг.2 на шаге 201 способа определяют ассоциации основных цветов из базового набора для формирования характеристики степени визуального подобия и гармоничности цветов. Пример ассоциаций для некоторых цветов представлен в Табл. 3.

После определения ассоциаций основных цветов из базового набора на шаге 202 способа поиска изображений формируют индекс (метаданные) запроса поиска изображений согласно предъявленному основному цвету в формате RGB, и/или названию, и/или тегу цвета (200).

После формирования индекса на шаге 203 способа поиска изображений осуществляют поиск изображений (метаданных изображений) согласно индексу (метаданным) запроса поиска изображения и в результате поиска формируют список изображений (204) с индексами, совпадающими с предъявленным индексом, и/или с индексами, которые совпадают с заданными ассоциациями визуального сходства и гармоничности цветов.

Пример реализации способа поиска изображений как части программно-аппаратного обеспечения веб-интерфейса (веб-страницы, размещенной в сети Интернет) системы электронной торговли приведен на Фиг.4. Согласно Фиг.4 пользователь веб-интерфейса выбирает нужный цвет для поиска с помощью клика на область выбора цвета (прямоугольник слева сверху с радужной шкалой). Путем клика мышью на радужную шкалу происходит задание требуемого оттенка, в свою очередь путем клика мышью на прямоугольную область происходит выбор требуемой яркости и насыщенности. После этого веб-интерфейс выводит список изображений товаров согласно заданным критериям поиска. На Фиг.4 показан результат поиска согласно заданному основному цвету без указания категории товара (например, блузка, платье и т.п.).

Заявляемое изобретение может быть использовано в качестве программно-аппаратного обеспечения систем электронной торговли, в которых веб-интерфейс пользователя по выбору товара включает поиск товаров не только по категориям, но и поиск изображений товаров с указанием желаемого цвета товара. Также возможна реализация поиска изображений товаров согласно заданным ассоциациям гармоничности цветов, что может быть очень востребовано, например, в системах электронной торговли одежды и обуви.

Литература

[1] WO 2005/033885, "Content oriented index and search method and system", 14.04.2005.

[2] "Image Retrieval using Color and Shape", Anil K. Jain and Aditya Vailaya, Pattern Recognition, 29 (8), 1996.

[3] "Supporting Similarity Queries in MARS", Michael Ortega, et al., ACM Multimedia 97.

[4] US 6163622 "Image retrieval system", 19.12.2000.

[5] http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler _ divergence.

[6] http://ru.wikipedia.org/wiki/RGB.

[7] http://m.wikipedia.org/wiki/HSV_(цветовая _ модель).

Класс G06F17/30 информационный поиск; структуры баз данных для этой цели

способ и устройство отображения множества элементов -  патент 2528147 (10.09.2014)
система генерирования статистической информации и способ генерирования статистической информации -  патент 2527754 (10.09.2014)
способ конверсии данных, устройство конверсии данных и система конверсии данных -  патент 2527201 (27.08.2014)
телекоммуникационная чип-карта, мобильное телефонное устройство и считываемый компьютером носитель данных -  патент 2527197 (27.08.2014)
способ восстановления данных в системе управления базами данных -  патент 2526753 (27.08.2014)
способ и устройство хранения, чтения и записи составного документа -  патент 2525752 (20.08.2014)
устройство связи, способ связи и система связи -  патент 2524861 (10.08.2014)
адаптивное неявное изучение для рекомендательных систем -  патент 2524840 (10.08.2014)
основанная на контексте рекомендующая система -  патент 2523930 (27.07.2014)
способ динамической визуализации коллекции изображений в виде коллажа -  патент 2523925 (27.07.2014)
Наверх