способ обработки изображений

Формула изобретения

1. Способ обработки изображений, содержащий следующие действия:

выполняют коррекцию наклона исходного цветного изображения с целью создания первого изображения;

определяют совокупность предполагаемых линий поверхности земли первого изображения; и

исходя из по меньшей мере одного изменения цвета и изменения текстуры в направлении оси Y совокупности предполагаемых линий поверхности земли определяют линию поверхности земли исходного цветного изображения.

2. Способ обработки изображений по п.1, в котором определение совокупности предполагаемых линий поверхности земли содержит следующие действия:

оценивают уровень горизонта первого изображения;

по уровню горизонта определяют по меньшей мере одну точку схода первого изображения; и

на основании точки схода определяют совокупность предполагаемых линий поверхности земли первого изображения.

3. Способ обработки изображений по п.2, в котором оценка уровня горизонта содержит следующие действия:

на первом изображении выделяют по меньшей мере одну горизонтальную прямую линию; и

оценивают уровень горизонта первого изображения, исходя из значения координаты по оси Y точки пересечения по меньшей мере одной горизонтальной прямой линии.

4. Способ обработки изображений по п.3, в котором при определении по меньшей мере одной точки схода первого изображения определяют по уровню горизонта по меньшей мере одну точку схода первого изображения исходя из значения координаты по оси Х точки пересечения по меньшей мере одной горизонтальной прямой линии.

5. Способ обработки изображений по п.4, в котором определение совокупности предполагаемых линий поверхности земли первого изображения содержит следующие действия:

прямые линии, связанные с одной и той же точкой схода, группируют по меньшей мере с одной горизонтальной прямой линией с целью создания групп и определяют граничную линию каждой из созданных групп как вертикальную граничную линию первого изображения; и

определяют предполагаемые линии поверхности земли, составленные из фрагментов краевой линии вертикальной граничной линии первого изображения.

6. Способ обработки изображений по п.5, в котором вертикальную граничную линию первого изображения определяют как граничную линию каждой из групп, причем граничную линию создают посредством группирования прямых линий, связанных с одной и той же точкой схода по меньшей мере одной горизонтальной прямой линии на первом участке выше уровня горизонта первого изображения.

7. Способ обработки изображений по п.5, в котором предполагаемые линии поверхности земли определяют в пределах второй области ниже уровня горизонта первого изображения.

8. Способ обработки изображений по п.4, в котором определение совокупности предполагаемых линий поверхности земли первого изображения содержит следующие действия:

в области выше уровня горизонта первого изображения определяют на основании изменения цвета в направлении оси Х вертикальную граничную линию первого изображения; и

определяют предполагаемые линии поверхности земли, составленные из фрагментов краевой линии вертикальной граничной линии первого изображения.

9. Способ обработки изображений по п.8, в котором предполагаемые линии поверхности земли определяют в пределах второй области ниже уровня горизонта первого изображения.

10. Способ обработки изображений по п.3, в котором оценка уровня горизонта дополнительно содержит следующие действия:

с целью исключения постороннего значения выполняют кластеризацию значений координат по оси Y точки пересечения по меньшей мере одной горизонтальной прямой линии.

11. Способ обработки изображений по п.4, в котором определение по меньшей мере одной точки схода первого изображения дополнительно содержит следующие действия:

выполняют кластеризацию значений координат по оси Х точки пересечения по меньшей мере одной горизонтальной прямой линии с целью исключения постороннего значения.

12. Способ обработки изображений по п.1, дополнительно содержащий следующие действия:

участок выше линии поверхности земли проецируют в вертикальном направлении относительно поверхности земли, а также участок ниже линии поверхности земли проецируют в направлении, параллельном поверхности земли, с целью осуществления трехмерного (3D) моделирования первого изображения.

13. Способ обработки изображений, содержащий следующие действия:

на исходном изображении выделяют по меньшей мере одну горизонтальную прямую линию;

определяют уровень горизонта исходного изображения исходя из значения координаты по оси Y точки пересечения по меньшей мере одной горизонтальной прямой линии; и

определяют по меньшей мере одну точку схода на основании уровня горизонта в зависимости от значения координаты по оси Х точки пересечения по меньшей мере одной горизонтальной прямой линии.

14. Способ обработки изображений по п.13, в котором исходное изображение является изображением с выполненной коррекцией наклона.

15. Способ обработки изображения по п.14, дополнительно содержащий следующие действия:

определяют совокупность предполагаемых линий поверхности земли в пределах второй области ниже уровня горизонта исходного изображения, причем совокупность предполагаемых линий поверхности земли состоит по меньшей мере из одной горизонтальной прямой линии; и определяют линию поверхности земли исходного изображения исходя из по меньшей мере одного изменения цвета и изменения текстуры в направлении оси Y совокупности предполагаемых линий поверхности земли.

16. Способ обработки изображений по п.15, дополнительно содержащий следующие действия:

участок выше линии поверхности земли исходного изображения проецируют в вертикальном направлении относительно поверхности земли, а также участок ниже линии поверхности земли проецируют в направлении, параллельном поверхности земли, осуществляя 3D-моделирование.

17. Считываемый компьютером носитель информации, сохраняющий программу для реализации способа по любому из пп.1-16.

Описание изобретения к патенту

1. Область изобретения

Настоящее изобретение относится к способу обработки изображений, а более конкретно, - к способу обработки изображений для определения по изображению линии поверхности земли, т.е. граничной линии между областью здания и областью поверхности земли, и моделирования трехмерного (3D) изображения, в зависимости от определенной линии поверхности земли.

2. Уровень техники

В настоящее время может быть разработан способ моделирования трехмерных (3D) изображений по цветным изображениям. В общем случае, 3D информация для моделирования 3D изображений может быть составлена из геометрической информации и цветовой информации. Цветовая информация может быть получена с использованием цветных изображений, получаемых посредством устройства получения изображений, например, Прибора с Зарядовой Связью (ПЗС) или Комплементарной Металло-Оксидно-Полупроводниковой (КМОП) камеры.

При этом геометрическая информация может быть получена с использованием изображений с глубиной. С целью получения изображений с глубиной может быть использован прямой способ для прямого получения изображений с глубиной с использованием аппаратных средств, например глубинной камеры, и непрямой способ для непрямого получения изображений с глубиной посредством обработки изображений с помощью программных средств, называемый технологией компьютерного распознавания объектов.

Также, в качестве примеров непрямого способа получения изображений с глубиной с использованием технологии компьютерного распознавания объектов, можно привести способ, использующий несколько фрагментов исходного цветного изображения, и способ, использующий один фрагмент исходного цветного изображения.

Разработка способа, использующего один фрагмент исходного цветного изображения, была проведена по двум различным схемам. Согласно схеме с использованием деления изображения, исходное цветное изображение может быть разбито для обработки поделенных изображений на земную поверхность, вертикальную структуру или структуру здания и область неба. Согласно схеме с использованием обучения, для обработки исходного цветного изображения с использованием результатов обучения при обучении может быть использовано соответствующее взаимное соотношение между цветными изображениями и соответствующими изображениями с глубиной.

Согласно схеме с использованием деления изображения, процесс предварительной обработки для деления изображения может быть относительно сложным, и геометрическая информация каждого участка, поделенного простым образом, может быть не использована. Кроме того, при применении схемы с использованием обучения результат обработки изображения может значительно различаться в зависимости от сформированной обучающей последовательности.

Следовательно, возникает необходимость в создании способа эффективного и точного определения линии поверхности земли, т.е. граничной линии между вертикальной структурой, например зданием, и поверхностью земли или между небом и поверхностью земли, без использования деления изображения или подготовки с целью повышения скорости и качества моделирования 3D-изображения.

Сущность изобретения

В одном из аспектов настоящего изобретения обеспечен способ обработки изображения, позволяющий определить на исходном изображении линию поверхности земли, на которой встречаются вертикальная структура (здания) и поверхность земли или небо и поверхность земли, что повышает эффективность моделирования трехмерного (3D) изображения.

Один из аспектов заявленного изобретения обеспечивает способ обработки изображения, позволяющий осуществлять 3D-моделирование исходных двухмерных (2D) цветных изображений с использованием линии поверхности земли.

Согласно аспекту настоящего изобретения, обеспечен способ обработки изображений, включающий следующие действия: осуществляют коррекцию наклона исходного цветного изображения с целью создания первого изображения; определяют совокупность предполагаемых линий поверхности земли первого изображения; и в зависимости по меньшей мере от одного изменения цвета и изменения текстуры в направлении оси Y совокупности предполагаемых линий поверхности земли определяют линию поверхности земли исходного цветного изображения.

В этом случае шаг определения совокупности предполагаемых линий поверхности земли может включать следующие действия: оценивают уровень горизонта на первом изображении; по уровню горизонта определяют по меньшей мере одну точку схода первого изображения; и в зависимости от точки схода определяют совокупность предполагаемых линий поверхности земли первого изображения.

Также шаг оценки уровня горизонта может включать следующие действия: на первом изображении выделяют по меньшей мере одну горизонтальную прямую линию; и в зависимости от значения координаты по оси Y точки пересечения по меньшей мере одной горизонтальной прямой линии оценивают уровень горизонта первого изображения.

Также при поиске по меньшей мере одной точки схода на первом изображении можно найти по меньшей мере одну точку схода на первом изображении по уровню горизонта в зависимости от значения координаты по оси Х точки пересечения по меньшей мере одной горизонтальной прямой линии.

Также шаг определения совокупности предполагаемых линий поверхности земли первого изображения может включать следующие действия: исходя из по меньшей мере одной горизонтальной прямой линии группируют прямые линии, связанные с одной и той же точкой схода, с целью создания групп и определяют граничную линию каждой из созданных групп как вертикальную граничную линию первого изображения; а также определяют предполагаемые линии поверхности земли, составляя их из фрагментов краевой линии вертикальной граничной линии первого изображения.

Также шаг определения множества предполагаемых линий поверхности земли на первом изображении может включать в себя следующие действия:

в области выше уровня горизонта первого изображения определяют вертикальную граничную линию первого изображения на основании изменения цвета в направлении оси X; и определяют предполагаемые линии поверхности земли, составляя их из фрагментов краевой линии вертикальной граничной линии первого изображения.

Также способ обработки изображения может дополнительно содержать следующие действия: область выше линии поверхности земли проецируют в вертикальном направлении относительно поверхности земли, а также область ниже линии поверхности земли проецируют в направлении параллельном поверхности земли, осуществляя трехмерное (3D) моделирование первого изображения.

Согласно одному из аспектов настоящего изобретения обеспечен способ обработки изображения, содержащий следующие действия: на исходном изображении выделяют по меньшей мере одну горизонтальную прямую линию; определяют уровень горизонта исходного изображения в зависимости от значения координаты по оси Y точки пересечения по меньшей мере одной горизонтальной прямой линии; и в зависимости от значения координаты по оси Х точки пересечения по меньшей мере одной горизонтальной прямой линии определяют по уровню горизонта по меньшей мере одну точку схода.

Краткое описание чертежей

Вышеуказанные и другие аспекты настоящего изобретения станут очевидными более доступными для понимания на основании последующего подробного раскрытия некоторых примеров реализации изобретения, представленных в сочетании с сопровождающими чертежами, на которых:

на фиг.1 представлена блок-схема, иллюстрирующая способ обработки изображения согласно примеру реализации настоящего изобретения;

на фиг.2 представлена блок-схема, иллюстрирующая способ, в котором при обработке изображения точку схода определяют согласно примеру реализации настоящего изобретения;

на фиг.3 представлена блок-схема, иллюстрирующая способ, в котором совокупность предполагаемых линий поверхности земли определяют в способе обработки изображения согласно примеру реализации настоящего изобретения;

на фиг.4 схематически представлено вводимое изображение согласно примеру реализации настоящего изобретения;

на фиг.5 схематически представлено первое изображение, созданное посредством осуществления коррекции наклона изображения, представленного на фиг.4, согласно примеру реализации настоящего изобретения;

на фиг.6 схематически представлено изображение, полученное на основании первого изображения, представленного на фиг.5, посредством выделения горизонтальной прямой линии, согласно примеру реализации настоящего изобретения;

на фиг.7 схематически представлено изображение, в котором уровень горизонта первого изображения определен согласно примеру реализации настоящего изобретения;

на фиг.8 схематически представлено изображение, иллюстрирующее вертикальную граничную линию первого изображения согласно примеру реализации настоящего изобретения;

на фиг.9 схематически представлено изображение, в котором совокупность предполагаемых линий поверхности земли определяют согласно примеру реализации настоящего изобретения;

на фиг.10 схематически представлено изображение, иллюстрирующее результат определения линии поверхности земли первого изображения на основании совокупности предполагаемых линий поверхности земли, представленной на фиг.9, согласно примеру реализации настоящего изобретения; и

на фиг.11 схематически представлено изображение, иллюстрирующее способ осуществления трехмерного (3D) моделирования согласно примеру реализации настоящего изобретения.

Подробное раскрытие примеров реализации

Теперь будем подробно ссылаться на примерные варианты реализации настоящего изобретения, проиллюстрированные на сопровождающих чертежах, на которых аналогичные номера позиций относятся к аналогичным элементам. С целью пояснения настоящего изобретения ниже описаны примеры реализации изобретения со ссылками на чертежи.

На фиг.1 представлена блок-схема, иллюстрирующая способ обработки изображения согласно примеру реализации настоящего изобретения.

На этапе S110 происходит ввод изображения. Изображение является файлом цветного изображения, составленным из данных "красный-синий-зеленый" (RGB). Формат файла вводимого изображения может быть различного типа, например, растровым форматом (.bmp), jpeg или jpg, raw-файлом и т.п. Если формат файла является сжатым, до обработки может быть выполнена операция распаковки.

Согласно другому примеру реализации изобретения точность и/или эффективность обработки изображения может быть повышена за счет осуществления различных процессов предварительной обработки вводимого изображения. Например, яркость или насыщенность, контрастность и подобные им параметры вводимого изображения могут быть подкорректированы, и затем скорректированные изображения могут быть использованы в качестве исходных изображений для обработки изображения. Также процессы предварительной обработки могут включать в себя различные виды обработки маски фильтра.

Часть здания, т.е. вертикальная структура, имеющаяся на исходных изображениях, может быть восстановлена в направлении, перпендикулярном поверхности земли, в процессе моделирования трехмерного (3D) изображения. При этом может потребоваться, чтобы в процессе моделирования SD-изображения поверхность земли, имеющаяся на исходных изображениях, была смоделирована в направлении, параллельном поверхности земли. Линия поверхности земли является граничной линией участка здания и поверхности земли исходного цветного изображения.

Исходное цветное изображение, получаемое в произвольный момент времени, является изображением, в котором не осуществлена коррекция наклона, и, следовательно, вертикальные прямые линии могут не соответствовать направлению оси Y и могут быть наклонены, или уровни горизонта могут не соответствовать направлению оси Х и могут быть наклонены. Следовательно, для более точной обработки изображения может потребоваться коррекция наклона.

На этапе S120 выполняют коррекцию наклона исходного цветного изображения, создавая первое изображение.

Коррекция наклона может выполняться с целью уменьшения искажений во время осуществления SD-моделирования. Коррекция наклона может выполняться способом поворота изображения в пространстве относительно осей X, Y и Z и проецирования развернутого изображения в воображаемую точку наблюдения.

На этапе S130 определяют точку схода первого изображения.

В первую очередь на первом изображении выделяют горизонтальные прямые линии. Способ выделения прямых линий на изображении может иметь различные алгоритмы. Часть выделенных горизонтальных прямых линий может проходить через первую точку схода. Другая часть этих линий может проходить через вторую точку схода. Таким образом, могут существовать несколько точек схода, отличных от первой и второй точек схода.

Также, из выделенных горизонтальных прямых линий могут быть выбраны две произвольные прямые линии, и, таким образом, исходя из направлений двух прямых линий, может быть получена точка пересечения. Таким образом, посредством получения другой точки пересечения в зависимости от двух других прямых линий может быть получена совокупность точек пересечения.

В этом случае, после корректировки наклона можно предположить, что значения координат совокупности точек пересечения по оси Y идентичны значениям координат уровня горизонта по оси Y, однако они могут и отличаться друг от друга. Соответствующим образом для значений координат совокупности точек пересечения по оси Y выполняют кластеризацию с целью исключения постороннего значения, при этом могут быть вычислены окончательные значения координат по оси Y, что позволяет определить уровень горизонта первого изображения.

Также выполняют кластеризацию для значений координат совокупности точек пересечения по оси Х с целью исключения постороннего значения, при этом может быть вычислено по меньшей мере одно окончательное значение координаты по оси X, что позволяет определить точки, имеющие окончательную координату по оси Х из числа точек уровня горизонта, как точку схода первого изображения.

На шаге S140 определяют совокупность предполагаемых линий поверхности земли первого изображения.

Горизонтальные прямые линии первого изображения группируют. Направление прямых линий (проходят ли прямые линии через одну и ту же точку схода) может быть проверено при продолжении первого изображения в направлении оси X, или в направлении оси Х может быть проверено изменение цвета, что позволяет определить вертикальную граничную линию первого изображения.

Также предполагаемая линия поверхности земли может быть определена ниже уровня горизонта первого изображения. Предполагаемая линия поверхности земли может быть определена при продолжении в направлении оси X, начиная с произвольного пикселя левой границы первого изображения.

На шаге S150 определяют линию поверхности земли первого изображения.

Предполагаемую линию поверхности земли, имеющую наибольшее изменение, определяют как линию 1010 поверхности земли первого исходного изображения, расположенную ниже уровня горизонта первого исходного изображения, исходя из по меньшей мере одного изменения цвета и изменения текстуры в направлении оси Y.

На этапе S160 выполняют 3D-моделирование первого изображения.

Часть вертикальной структуры двухмерного (2D) изображения, соответствующую области выше линии поверхности земли, проецируют в вертикальном направлении относительно поверхности земли, а поверхность земли ниже линии поверхности земли проецируют в направлении, параллельном поверхности земли.

Фиг.2 представляет собой блок-схему, иллюстрирующую способ, в котором определяют точку схода способом обработки изображения согласно примеру реализации настоящего изобретения.

На шаге S210 на первом изображении выделяют горизонтальные прямые линии. В способе выделения прямых линий на изображении могут быть использованы различные алгоритмы. Например, из исходного изображения посредством детектора границ Собеля (Sobel) или Канни (Canny) выделяют совокупность границ и из совокупности границ выявляют только совокупность прямых линий. Из совокупности прямых линий отфильтровывают негоризонтальные прямые линии, выбирая горизонтальные прямые линии.

Часть горизонтальных прямых линий из выбранной совокупности проходит через одну и ту же первую точку схода. Другая часть этих линий проходит через вторую точку схода. Таким образом, может дополнительно существовать несколько точек схода, отличных от первой и второй точек схода.

На шаге S220 определяют уровень горизонта первого изображения. Из совокупности горизонтальных прямых линий можно выбрать две произвольные прямые линии, выделенные на этапе S210, и точка пересечения может быть получена, исходя из направлений двух прямых линий. Таким образом, может быть получено несколько точек пересечения, образованных посредством других двух прямых линий. Если предполагается, что ошибка не выявлена, то значения координаты по оси Y точек пересечения являются одинаковыми, и прямая линия, составленная из пикселя, имеющего значение координаты по оси Y, может быть уровнем горизонта первого изображения.

Однако при учете ошибок, возникающих при фактической обработке изображения, значения координат по оси Y совокупности точек пересечения могут отличаться друг от друга. Следовательно, согласно примерному варианту реализации изобретения, для значений координат по оси Y совокупности точек пересечения выполняют кластеризацию с целью исключения постороннего значения и вычисляют окончательные значения координат по оси Y, определяя уровень горизонта первого изображения.

На шаге S230 определяют по меньшей мере одну точку схода первого изображения.

Как раскрыто выше, если предполагается, что ошибка не выявлена, точка пересечения двух произвольных прямых линий из совокупности горизонтальных прямых линий может быть непосредственно определена как точка схода. Однако при фактической обработке изображения может потребоваться, чтобы упомянутые выше ошибки были учтены.

Следовательно, для значений координаты по оси Х совокупности точек пересечения выполняют кластеризацию с целью исключения постороннего значения. В результате, может быть вычислено по меньшей мере одно окончательное значение координаты по оси X, а точки, имеющие окончательное значение координаты по оси Х из числа точек уровня горизонта, могут быть определены как точка схода первого изображения.

Фиг.3 представляет собой блок-схему, иллюстрирующую способ, в котором совокупность предполагаемых линий поверхности земли определяют способом обработки изображений согласно примерному варианту реализации настоящего изобретения.

На шаге S310 группируют горизонтальные прямые линии первого изображения.

Направление горизонтальных прямых линий (проходят ли горизонтальные прямые линии через одну и ту же точку схода) может быть проверено при продолжении первого изображения в направлении оси X, и, таким образом, горизонтальные прямые линии первого изображения могут быть сгруппированы в несколько групп. Согласно настоящему примеру реализации заявленного изобретения, вышеуказанную операцию проверки можно выполнять только выше уровня горизонта первого изображения.

На шаге S320 определяют вертикальную граничную линию первого изображения. Согласно результату операции проверки, граничная линия, существующая между сгруппированными группами на участке, где направление прямых линий значительно изменяется, может быть определена как вертикальная граничная линия, разделяющая первое изображение на несколько групп.

При этом, согласно настоящему примеру реализации изобретения, на исходном изображении определяют участок выше уровня горизонта, например область здания или область ниже неба, и выполняют процедуру проверки только в пределах области здания, что позволяет определить вертикальную граничную линию первого изображения.

Также может быть проверено изменение цвета в направлении оси Х на участке выше уровня горизонта. Например, участок, где разница в яркости или цвете значительна, может быть определен как вертикальная граничная линия первого изображения. Очевидно, что вертикальная граничная линия может быть определена посредством одновременного рассмотрения направления и цвета горизонтальных прямых линий. Вертикальная граничная линия может быть точкой, где линия поверхности земли изгибается, т.е. границей, где направление прямой линии изменяется. Эта вертикальная граничная линия обычно может быть получена на краю поверхности здания, границе между зданиями, или границе между левым или правым краем зданий и неба.

На шаге S330 определяют совокупность предполагаемых линий поверхности земли первого изображения. Согласно настоящему примеру реализации изобретения совокупность предполагаемых линий поверхности земли можно определить при продолжении первого изображения в направлении оси X, начиная с произвольного пикселя левой границы первого изображения.

Фиг.4 представляет собой схему, иллюстрирующую изображения, вводимые согласно примеру реализации настоящего изобретения.

Область 410 является фрагментом неба. В способе обработки изображений согласно настоящему примеру реализации заявленного изобретения область 410 может быть отфильтрована. Также, область 420 является фрагментом здания, т.е. вертикальной структурой. В процессе моделирования 3D-изображения область 420 может быть восстановлена перпендикулярно. При этом область 430 является фрагментом поверхности земли, который необходимо отобразить как горизонтальную поверхность в процессе моделирования 3D-изображения. При этом линия 440 поверхности земли является граничной линией области 420 вертикальной поверхности и области 430 горизонтальной поверхности исходного цветного изображения.

Исходное цветное изображение, представленное на фиг.4, является изображением, в котором коррекция наклона не осуществлена, и где вертикальные прямые линии, также как и прямая линия 450, наклонены. В этом случае для более точной обработки изображения требуется осуществить коррекцию наклона.

На фиг.5 схематически представлено изображение, созданное посредством осуществления коррекции наклона изображения, представленного на фиг.4, согласно примеру реализации настоящего изобретения.

Коррекцию наклона выполняют для того, чтобы уменьшить искажение во время SD-моделирования. В качестве примеров коррекции наклона можно привести способ определения продольного и поперечного наклона камеры для коррекции наклона исходного изображения и т.п. Коррекцию наклона можно выполнить способом вращения изображения относительно координатных осей X, Y и Z в пространстве и проецированием повернутого изображения в воображаемую точку наблюдения. Например, исходное цветное изображение, представленное на фиг.4, является изображением, для которого требуется коррекция наклона только в направлении координатной оси X, и результат представляет собой первое изображение, представленное фиг.5.

Коррекцию наклона можно выполнять для всех вертикальных прямых линий, включая прямую линию 510, таким образом, что все вертикальные прямые линии в пределах изображения становятся перпендикулярными направлению оси X, а уровень горизонта - параллельным направлению оси X. В способе обработки изображения согласно настоящему примеру реализации заявленного изобретения определяют линию 520 поверхности земли, т.е. граничную линию между зданием и поверхностью земли. Кроме того, на участке выше линии 520 поверхности земли можно выполнить 3D-моделирование в вертикальном направлении, а на участке ниже линии 520 поверхности земли - в горизонтальном направлении.

На фиг.6 схематически представлено изображение, полученное посредством выделения горизонтальной прямой линии на первом изображении, представленном на фиг.5, на шаге S210 согласно фиг.2, в соответствии с примером реализации настоящего изобретения.

На первом изображении выделена совокупность горизонтальных прямых линий, включая прямые линии 611, 612, 613 и 614 и прямые линии 621, 622, 623 и 624. В способе выделения прямых линий на изображении могут использоваться различные алгоритмы. Например, на исходном изображении посредством детектора границ Собеля (Sobel) или Канни (Canny) выделяют совокупность границ, а из совокупности границ детектируют только совокупность прямых линий. Из совокупности прямых линий отфильтровывают негоризонтальные прямые линии, чтобы выделить горизонтальные прямые линии.

Если предполагается, что ошибка не выявлена, горизонтальные прямые линии 611, 612, 613 и 614 проходят через одну и ту же первую точку схода (не показано). Также, если предполагается, что ошибка не выявлена, прямые линии 621, 622, 623 и 624 проходят через одну и ту же вторую точку схода (не изображено).

На фиг.7 схематически представлено изображение, на котором уровень горизонта первого изображения определяется на шаге S220 согласно фиг.1, в соответствии с примером реализации настоящего изобретения.

Из совокупности горизонтальных прямых линий выбирают две прямые линии, выделенные на фиг.6, и, исходя из каждого направления двух прямых линий, получают точку пересечения. Если выбрать прямые линии 711 и 712, то их точкой пересечения будет точка 714. Также, если выбрать прямые линии 721 и 722, их точкой пересечения будет точка 724.

Таким образом, когда выбраны прямые линии 711 и 713, и предполагается, что ошибка не выявлена, их точкой пересечения является точка 714. Также, когда выбраны прямые линии 721 и 723, их точкой пересечения является точка 724. В этом случае значения координат по оси Y точек 714 и 724 являются одинаковыми за счет коррекции наклона изображения, а прямая линия 730, включающая точки 714 и 724, может быть уровнем горизонта первого изображения. В данном случае уровень горизонта определен.

Однако, если при фактической обработке изображения возникли ошибки, может быть получено несколько точек пересечения вблизи точек 714 и 724 соответственно. Кроме того, значения координат по оси Y нескольких точек пересечения и точек 714 и 724 могут отличаться друг от друга.

Таким образом, согласно настоящему примеру реализации изобретения, для значений координат по оси Y совокупности точек пересечения вблизи точек 714 и 724 может быть выполнена кластеризация с целью исключения постороннего значения и могут быть вычислены окончательные значения координат по оси Y, что позволяет определить прямую линию 730, т.е. уровень горизонта первого изображения.

Далее, согласно настоящему примеру реализации изобретения, на прямой линии 730 может быть определена по меньшей мере одна точка схода.

Если предполагается, что ошибка не выявлена, как раскрыто выше, для значений координат по оси Х совокупности точек пересечения вблизи точек 714 и 724 может быть выполнена кластеризация с целью исключения постороннего значения. Затем может быть вычислено по меньшей мере одно окончательное значение координаты по оси X, что позволит определить точки, имеющие окончательное значение координаты по оси Х из числа точек прямой линии 730, как точку схода первого изображения. Для удобства описания, как проиллюстрировано на фиг.7, точка 714 может соответствовать первой точке схода первого изображения, и точка 724 может соответствовать второй точке схода первого изображения.

На фиг.8 схематически представлена вертикальная граничная линия первого изображения согласно примеру реализации настоящего изобретения.

Прямая линия 811 проходит через точку 714 на фиг.7, т.е. первую точку схода первого изображения. Также прямые линии 812 и 813 проходят через точку 714 на фиг.7, т.е. первую точку схода первого изображения. Однако прямые линии 821, 822 и 823 проходят через 724, т.е. вторую точку схода первого изображения. Как раскрыто выше, на шаге S310 на фиг.3, направление прямых линий (проходят ли прямые линии через одну и ту же точку схода) может быть проверено при продолжении первого изображения в направлении оси X, что позволяет сгруппировать горизонтальные прямые линии первого изображения в несколько групп. Согласно настоящему примеру реализации изобретения раскрытые выше операции проверки могут быть выполнены только выше прямой линии 830, т.е. уровня горизонта первого изображения.

Согласно результату операции проверки прямые линии 841, 842, 843, 844 и 845, существующие на участке, где направление прямых линий значительно изменяется, могут быть определены как вертикальная граничная линия, разделяющая первое изображение на шесть групп.

При этом, согласно настоящему примеру реализации изобретения, шаги S310 - S320 согласно фиг.3 могут выполняться в области 420 здания за исключением области 410 неба согласно фиг.4, что позволяет определить прямые линии 841, 842, 843, 844 и 845, т.е. вертикальную граничную линию первого изображения.

Также на участке 420 здания может быть проверено изменение цвета в направлении оси X. Например, участок, где разница в яркости или цвете значительна, может быть определен как прямые линии 841, 842, 843, 844 и 845, т.е. вертикальная граничная линия первого изображения. Очевидно, что вертикальная граничная линия может быть определена посредством одновременного рассмотрения направления и цвета горизонтальных прямых линий.

Прямые линии 841, 842, 843, 844 и 845, т.е. вертикальная граничная линия, которая будет описана ниже, может быть точкой, где линия поверхности земли изгибается, т.е. границей, где направление прямой линии изменяется.

На фиг.9 схематически представлено изображение, в котором совокупность предполагаемых линий поверхности земли определяется согласно примеру реализации настоящего изобретения.

Согласно настоящему примеру реализации изобретения предполагаемые линии 931, 932, 933 и 934 поверхности земли определяются ниже прямой линии 920, т.е. уровня горизонта. Для удобства описания на фиг.9 проиллюстрированы только четыре предполагаемые линии 931, 932, 933 и 934 поверхности земли, однако предполагаемая линия поверхности земли может быть определена при продолжении в направлении оси X, начиная с произвольного пикселя левой границы первого изображения. Например, предполагаемая линия 931 поверхности земли продолжается по направлению к точке 714, т.е. к первой точке схода первого изображения, и затем дополнительно продолжается к точке 724, т.е. ко второй точке схода первого изображения, при изменении направления предполагаемой линии 931 поверхности земли на вертикальной граничной линии 911. Затем, предполагаемая линия 931 поверхности земли проходит через вертикальные граничные линии 912, 913, 914 и 915 соответственно и изменяет направление, прерываясь у правой границы первого изображения.

На фиг.10 схематически представлен результат, в котором из нескольких предполагаемых линий поверхности земли фиг.9 определяют линию поверхности земли первого изображения согласно примеру реализации настоящего изобретения.

Предполагаемая линия 933 поверхности земли из числа предполагаемых линий 931, 932, 933 и 934 поверхности земли, соответствующая наибольшему изменению, может быть определена ниже уровня 920 горизонта первого исходного изображения, исходя из по меньшей мере одного изменения текстуры и изменения цвета в направлении оси Y. Предполагаемая линия 933 поверхности земли может быть определена как линия 1010 поверхности земли первого изображения.

Существует различие между линией 1010 поверхности земли и фактической линией 520 поверхности земли первого изображения, проиллюстрированной на фиг.5. Это происходит потому, что линии поверхности земли левого и правого здания относительно вертикальной граничной линии 912 не следуют подряд в направлении оси X. В частности, линия 1010 поверхности земли, определенная из числа линий 931, 932, 933 и 934 поверхности земли, может не соответствовать в точности фактической линии 520 поверхности земли. Это несоответствие может быть определено на довольно небольшом участке,

На фиг.11 схематически проиллюстрирован способ осуществления 3D-моделирования согласно примеру реализации настоящего изобретения.

Участок 1101, т.е. вертикальный фрагмент двухмерного (2D) изображения, где выполнена коррекция наклона, проецируют в направлении, перпендикулярном поверхности земли, что соответствует области 1104 трехмерной (3D) модели. Также область 1103, т.е. фрагмент поверхности земли ниже линии 1102 поверхности земли 20-изображения, проецируют в направлении, параллельном поверхности земли, что соответствует области 1105 3D-модели. В частности, на 3D-модели, содержащей участки 1104 и 1105, здание, находящееся в пределах участка 1104, моделируют в вертикальном направлении.

Способ обработки изображения согласно раскрытым выше примерам реализации настоящего изобретения может быть записан на считываемый компьютером носитель информации, включающий программные команды для выполнения различных шагов, реализуемых компьютером. Носитель информации может также содержать, отдельно или в сочетании с программными командами, файлы данных, структуры данных и т.п. Носитель информации и программные команды могут быть специально разработаны и составлены для реализации целей настоящего изобретения, или могут быть известного типа и доступными специалистам в области компьютерного программирования. Примеры считываемых компьютером носителей информации включают в себя магнитные средства, например жесткие диски, гибкие диски и магнитные ленты, оптические средства, например CD ROM-диски и DVD; магнитооптические диски, например оптические диски; и аппаратные средства, специально разработанные для записи и выполнения программных команд, например постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флеш-память и т.п. Примеры программных команд включают как компьютерные коды, например, создаваемые компьютером, так и файлы, содержащие коды высокого уровня, которые могут быть выполнены компьютером с использованием интерпретирующих средств. Описанные аппаратные средства могут быть предназначены для работы в виде одного или более программных модулей с целью реализации шагов раскрытых выше примеров реализации настоящего изобретения.

Хотя было представлено и раскрыто всего несколько примеров реализации настоящего изобретения, настоящее изобретение не ограничивается раскрытыми примерами реализации. Напротив, специалистам в данной области техники понятно, что в данные примеры реализации могут быть внесены изменения, которые также будут соответствовать принципам и духу изобретения, объем правовой защиты которого определяется пунктами формулы и их эквивалентами.