создание последовательности стереоскопических изображений из последовательности двумерных изображений
Классы МПК: | G06T3/00 Преобразование геометрического изображения в матрицу изображения, например из побитового в побитовое изображение, создающее другое изображение G06T17/20 формирование конечных элементов, например описания поверхности, ограниченной проволочной рамкой |
Автор(ы): | НАСКЕ Рольф-Дитер (DE) |
Патентообладатель(и): | ТДВ ТЕКНОЛОДЖИЗ КОРП. (US) |
Приоритеты: |
подача заявки:
2001-11-24 публикация патента:
20.11.2006 |
Изобретение относится к способу и устройству для создания трехмерных изображений из последовательности двумерных изображений. Его применение позволяет получить технический результат в виде создания способа и устройства, с помощью которых можно, по существу, без вмешательства оператора или наблюдателя создавать трехмерные изображения с особенно естественным трехмерным впечатлением от изображения. Этот результат достигается благодаря тому, что двумерное изображение анализируют на предмет его типа сцены и в зависимости от определяемого типа сцены выбирают деформацию, соответствующую указанному типу, при этом указанную деформацию используют для деформации двумерного изображения и подачи, по меньшей мере, в один канал наблюдения. Дополнительно к этому задают различные переходные функции, при этом указанные функции обеспечивают плавный переход без помех с одной деформации на каждую новую деформацию. 3 н. и 11 з.п ф-лы, 3 ил.
Формула изобретения
1. Способ создания трехмерных (3D) изображений из последовательности двумерных изображений, в котором двумерное изображение анализируют на предмет, по меньшей мере, одного типа сцены, который задан как ближний снимок, снимок со среднего расстояния и широкоугольный снимок, и в котором деформируют двумерное изображение с помощью деформации, соответствующей определяемому типу сцены, и подают деформированное двумерное изображение, по меньшей мере, в один канал наблюдения, при этом типу сцены ближний снимок соответствует сферическая деформация, типу сцены снимок со среднего расстояния - наклонно-сферическая или шаровая деформация и типу сцены широкоугольный снимок - наклонная деформация или цилиндрическая деформация.
2. Способ по п.1, отличающийся тем, что при сферической деформации точки деформируемого изображения искажают концентрично наружу от средней точки изображения.
3. Способ по п.1, отличающийся тем, что при наклонно-сферической деформации точки деформируемого изображения одновременно искажают и расширяют сверху вниз и концентрично от средней точки изображения.
4. Способ по п.1, отличающийся тем, что при наклонной деформации точки деформируемого изображения расширяют горизонтально с непрерывным увеличением сверху вниз.
5. Способ по п.1, отличающийся тем, что, когда типу сцены снимок со среднего расстояния соответствует шаровая деформация, задают первый и второй канал наблюдения за счет различного угла рассмотрения деформированного изображения.
6. Способ по п.1, отличающийся тем, что когда типу сцены широкоугольный снимок соответствует цилиндрическая деформация, задают первый и второй канал наблюдения за счет различного угла рассмотрения деформированного изображения.
7. Способ по любому из пп.1-6, отличающийся тем, что двумерное изображение, которое, по меньшей мере, для одного канала наблюдения подвергают деформации, является изображением, полученным с помощью интерполяции заданного числа следующих друг за другом изображений.
8. Способ по п.1, отличающийся тем, что при изменении типа сцены второго изображения по сравнению с предыдущим первым изображением ко второму изображению применяют переходную функцию, с помощью которой для исключения неестественных впечатлений от изображения плавно согласуют соответствующую предыдущему типу сцены деформацию с деформацией, соответствующей новому типу сцены.
9. Способ по п.8, отличающийся тем, что переходная функция образована заданным числом К переходных деформаций, а также новой деформацией изображения, при этом переходные деформации определяют посредством линейной интерполяции предыдущей деформации и новой деформации для каждой точки изображения.
10. Устройство для реализации способа по любому из пп.1-9, содержащее устройство (3) для анализа сцены, предназначенное для определения типа сцены двумерного изображения путем сравнения, по меньшей мере, одной части двумерного изображения с общим изображением, память (5) деформаций изображения для хранения типов сцен и по меньшей мере одной соответствующей каждому типу сцены деформации, и устройство (4) для деформации изображения, предназначенное для получения типа сцены двумерного изображения из устройства (3) анализа сцены, для извлечения из памяти (5) деформаций изображений, по меньшей мере, одной деформации, соответствующей определенному типу сцены, для деформирования двумерного изображения с помощью, по меньшей мере, одной деформации, соответствующей типу сцены, и для подачи деформированного двумерного изображения в по меньшей мере один канал наблюдения.
11. Устройство по п.10, отличающееся тем, что устройство (3) для анализа сцены предусмотрено для определения частичного изображения с переменной величиной в зоне середины всего изображения и для вычисления среднего квадратичного стандартного отклонения частичного изображения, а также всего изображения, с целью определения из этого типа сцены ближний снимок или снимок со среднего расстояния.
12. Устройство по п.10, отличающееся тем, что устройство (3) для анализа сцены предусмотрено для определения множества частичных изображений в краевых зонах всего изображения и для вычисления абсолютной величины перекрестной корреляции между различными зонами изображения, с целью определения из этого типа сцены широкоугольный снимок.
13. Устройство по п.10, отличающееся тем, что память (5) деформаций изображения предназначена для хранения переходной деформации, соответствующей каждому переходу между двумя деформациями.
14. Система цифровой обработки изображения для создания трехмерного отображения двумерных передаваемых или сохраненных изображений, отличающаяся тем, что содержит устройство по любому из пп.10-13.
Описание изобретения к патенту
Изобретение относится к способу и устройству для создания трехмерных изображений (3D) из последовательности двумерных изображений.
Для исследования объектов часто используют, в частности, в медицине и в естественных науках создание трехмерных изображений. В зоне потребления также разработаны различные способы, с помощью которых можно воспроизводить, в частности, телевизионные изображения в виде трехмерных изображений.
При этом различают, по существу, последовательную передачу изображений, при которой передаются изображения для правого и для левого глаза попеременно друг за другом или же записываются на носитель информации, а также параллельную передачу, при которой изображения передают по двум раздельным каналам.
Основной недостаток последовательной передачи изображений в соединении с обычными телевизионными системами состоит в том, что скорость повторения кадров для каждого глаза уменьшается до 25 кадров в секунду. За счет этого для наблюдателя образуется неприятное мелькание. При параллельной передаче кадров по соответствующему собственному (левому соответственно правому) каналу это ограничение не возникает. Однако при этом могут возникать проблемы с синхронизацией обоих каналов, а также с приемником, который должен одновременно принимать и обрабатывать два раздельных канала. В обычных представленных на рынке системах это реализовать невозможно.
В будущих телевизионных системах передача и обработка сигналов должна выполняться полностью цифровым способом. В этом случае каждое изображение разлагается в отдельные точки изображения (пиксели), которые передают в цифровом виде. При этом для уменьшения требуемой ширины полосы используются соответствующие способы уплотнения, которые создают проблемы для стереоскопической передачи.
Например, в способе с блочным кодированием при разумном коэффициенте уплотнения обычно невозможно реконструировать каждую отдельную строку кадра. Кроме того, при межкадровом кодировании, как например MPEG-2, невозможно передавать или сохранять последовательно стереоскопические изображения, поскольку информация изображения из одного кадра еще содержится в другом кадре, что вызывает так называемый эффект перекрестной модуляции, который делает невозможным четкое разделение правого изображения от левого изображения.
Другие способы, с помощью которых из последовательности двумерных изображений создаются последовательности трехмерных изображений, раскрыты в DE 3530610 и ЕР 0665697. Автоматическая стереоскопическая система с интерполяцией кадров описана в ЕР 0520179, в то время как в монографии Huang «Анализ последовательности изображений», издательство Springer Verlag, обсуждаются проблемы распознавания зон движения в последовательности изображений.
Из US 6108005 известен способ создания синтезированных стереоскопических изображений, в котором из подаваемого изображения создают по меньшей мере два изображения, при этом по меньшей мере одно из изображений увеличивают, уменьшают, поворачивают, сдвигают или так изменяют относительно подаваемого изображения, что по меньшей мере части изображения сдвигаются относительно других частей изображения по сравнению с соответствующими частями в другом изображении. Однако недостатком в этом случае является то, что от ловкости оператора в значительной степени зависит создание у наблюдателя правильного, соответственно естественного стереоскопического впечатления за счет подходящего выбора указанных изменений.
Задача заявленного изобретения заключается в создании способа и устройства, с помощью которых можно, по существу, без вмешательства оператора или наблюдателя создавать трехмерные изображения с особенно естественным трехмерным впечатлением от изображения.
Поставленная задача решается с помощью способа согласно пункту 1 и способа согласно пункту 11 формулы изобретения.
В зависимых пунктах формулы описаны предпочтительные варианты изобретения.
Другие особенности и варианты воплощения изобретения приведены ниже в описании со ссылками на чертежи, на которых изображено:
фиг.1 - блок-схема устройства согласно изобретению;
фиг.2 - деформация за счет шаровой проекции; и
фиг.3 - графическая схема способа согласно изобретению.
На фиг.1 показаны основные компоненты устройства согласно изобретению и их соединения друг с другом. Система содержит вход Е, через который снятые камерой и оцифрованные изображения подаются в первое устройство 1 запоминания изображений для промежуточного хранения, по меньшей мере, одного текущего изображения.
Из первого устройства 1 запоминания изображений подаваемые изображения передаются в соединенное с ним второе устройство 2 запоминания изображений, которое предусмотрено для хранения заданного числа следующих друг за другом изображений и для их интерполяции.
Кроме того, с устройством 1 запоминания изображений соединено устройство 3 для анализа сцены, с помощью которого исследуется сохраненное в первом устройстве запоминания изображений текущее изображение относительно его содержания, для отнесения его к определенному типу сцены, как, например, «ближний снимок», «снимок с нормального (среднего) расстояния» или «широкоугольный снимок».
Устройство 3 для анализа сцены соединено с устройством 4 для деформации изображения, с помощью которого изображение, подаваемое из первого устройства 1 запоминания изображений, подвергается деформации изображения в соответствии с определяемым устройством 3 типом сцены.
Второе устройство 2 запоминания изображений также соединено с устройством 4, так что можно также деформировать изображение, созданное за счет интерполяции предшествующих изображений.
Различные шаблоны для таких деформаций изображения и их отнесения по меньшей мере к одному типу сцены хранятся в памяти 5 деформации изображений, из которого шаблоны могут быть отозваны с помощью устройства 4 для деформации изображения.
Наконец, с выходом устройства 4 соединен фазовый переключатель 6, в который могут передаваться недеформированное изображение из первого устройства 1 запоминания изображений и созданное из него с помощью устройства 4 деформированное изображение. Эти изображения поступают затем на первый, соответственно второй выход A1, A2 фазового переключателя 6 и образуют соответствующую первую, соответственно вторую последовательность изображений, которые подаются в левый, соответственно правый канал BL, BR наблюдения для левого, соответственно правого стереоскопического изображения.
Таким образом, за счет этого составляется одна последовательность изображений с помощью неизмененных подаваемых изображений и другая последовательность изображений с помощью созданных из них, подвергнутых деформации изображений (асимметричная деформация). В качестве альтернативного решения можно изображения обеих последовательностей изображений подвергнуть деформации (симметричная деформация). Наконец, другая возможность состоит в том, чтобы дополнительно или в качестве альтернативного решения подавать в устройство 4 изображение, интерполированное во втором устройстве 2 запоминания изображений, и составлять из него в деформированном и/или недеформированном виде первую и/или вторую последовательность изображений.
Для этой цели с помощью интерполяции сохраненной во втором устройстве 2 запоминания изображений последовательности x(i,j, ) интерполированное изображение вычисляется с помощью, например, линейной сплайновой аппроксимации или аппроксимации более высокого порядка, соответственно полиномного аппроксимирования, всех точек изображения, при этом является переменной аппроксимации и обозначает временной интервал от текущего изображения, при котором было создано синтезированное (интерполированное) изображение. Для этого применяют способы, например, описанные в WO 01/76258. Поэтому полное содержание этого источника включается в данное описание.
Таким образом, с помощью устройства согласно изобретению можно из поступающей на вход Е последовательности снятых и оцифрованных изображений создавать первую и вторую последовательности изображений, которые совместно обеспечивают трехмерное наблюдение первоначально двумерных изображений, когда первая и вторая последовательности изображений подаются в левый, соответственно правый глаз.
Ниже сначала приводится описание первого способа создания последовательности стереоскопического изображения с помощью «асимметричной» деформации, в котором подводимая последовательность изображений используется, по существу, без изменений, т.е. подвергается «нулевой деформации», в качестве первой последовательности изображений, а вторая последовательность изображений создается посредством деформации изображений первой последовательности изображений.
Затем приводится описание второго способа создания последовательности стереоскопических изображений за счет «симметричной» деформации изображений, в котором также деформируются изображения первой последовательности изображений.
Наконец, затем приводится описание того, как с помощью сценарного анализа в реальном времени выбирается и согласовывается, соответственно оптимизируется выбор деформации изображения в соответствии с содержанием изображения (типом сцены), и как предпочтительно осуществляется переход между различными деформациями изображения так, чтобы не возникали помеховые переходные эффекты.
А. Пусть xi,j является оцифрованным изображением первой последовательности изображений в момент времени t (первое стереоскопическое изображение) с горизонтальным разрешением I и вертикальным разрешением J. Второе стереоскопическое изображение x*(i*,j*) получается из него следующим образом:
i*:=i+i_Index (i,j), соответственно j*:=j+j_Index (i,j).
Это означает, что новые точки i*j* изображения получаются за счет смещения в направлении i и j. Для этого можно в принципе применять все математические функции. Поэтому указанные ниже деформации следует понимать лишь как примеры таких функций.
I. Для первого способа ниже приводится описание трех различных деформаций:
1) Наклонная деформация
При этом точки нового изображения расширяются с непрерывным увеличением сверху вниз в соответствии со следующими формулами:
i_Index (i,j):=0;
j_Index (i,j):=(1-(tL-i)/tL)((0,5PpL-j)/0,5PpL)·наклон
для i:=0,...,tL и j:=0,...,PpL,
где tL обозначает число строк, PpL - число точек изображения (пикселей) в строке и «наклон» - любую постоянную масштабирования, которая определяет размер расширения.
2) Сферическая деформация
При этом точки нового изображения концентрически искажаются от средней точки изображения к краю в соответствии со следующими формулами:
i_Index (i,j):=((0,5PpL-j)/0,5PpL)(1-(4/tL2)(0,5tL-i) 2·сфера
j_Index (i,j):=((0,5tL-i)/0,5tL)(1-(4/PpL 2)(0,5PpL-j)·сфера
для i:=0,...,tL и j:=0,...,PpL
где tL обозначает число строк, PpL - число точек изображения (пикселей) в строке и «сфера» - любую постоянную масштабирования, которая определяет меру искажения.
3) Наклонно-сферическая деформация
При этом точки нового изображения одновременно сверху вниз и концентрически искажаются от средней точки изображения в соответствии со следующими формулами:
i_Index (i,j):=((0,5PpL-j)/0,5PpL)(1-(4/tL 2)(0,5tL-i)2)·сфера
j_Index (i,j):=((0,5tL-i)/0,5tL)(1-(4/PpL 2)(0,5PpL-j)2)·сфера
+((tL-i)/tL)((0,5PpL-j)/0,5PpL)·наклон
для i:=0,...,tL и j:=0,...,PpL,
где tL обозначает число строк, PpL - число точек изображения в строке и «сфера» - любую постоянную масштабирования, которая определяет меру искажения, и «наклон» - любую постоянную масштабирования, которая определяет размер расширения.
II) Во втором способе используют симметричную деформацию, при которой дополнительно деформируется, т.е. геометрически искажается также текущее оригинальное изображение. Оно представляет в обобщенном виде, как показано на фиг.2, отображение точек 0 - PpL текущего изображения в плоскости В изображения на выпуклую поверхность F (плоскость отображения), при этом это отображение рассматривается на расстоянии D из двух перспектив для левого и правого глаза A1, A2. Исходя от наблюдателя точки изображения (например, z(j) или зона xM) на поверхности F, отображения проецируются обратно на плоскость В изображения различным образом для обоих глаз A1, A2 (j' и xM' для A1, соответственно j" и хM" для A2). За счет этого в мозгу складывается впечатление рассматривания изображений под двумя углами зрения.
При этом также в этом случае в принципе можно применять любые математические функции, соответственно поверхности для проекции. Ниже приводится описание в качестве примера двух таких деформаций.
1) Шаровая проекция:
При этом поверхность изображения представляет выпуклую наружу шаровую поверхность. Для каждой точки x(i,j) оригинального изображения получается «синтезированная» точка z(i,j) изображения на выпуклой в сторону наблюдателя шаровой поверхности:
z(i,j)=(1-(4/PpL 2)(0,5PpL-j)2)(1-(4/tL2)(0,5tL-i) 2)·сфера,
где tL снова обозначает число строк, PpL - число точек изображения в строке и «сфера» -любую постоянную масштабирования, которая определяет меру искажения.
В соответствии с теоремой о лучах, отображают j-индекс для левой позиции E 1 наблюдения:
j':={(j-E1)/(1-z(i,j)/D)}+E 1
Поскольку справедливо 0 z(i,j) сфера, то очевидно, что постоянная «сфера» всегда должна быть меньше или равна расстоянию D до наблюдателя.
Для правой позиции Еr наблюдения получают:
j":={(j-E r/(1-z(i,j)/D)}+Er
2) Цилиндрическая проекция:
При этом поверхность изображения представляет выпуклую наружу цилиндрическую поверхность. Для каждой точки x(i,j) оригинального изображения получается «синтезированная» точка z(i,j) изображения на выпуклой в сторону наблюдателя сферической поверхности:
z(i,j)=(1-(4/PpL2)(0,5PpL-j)2)·сфера,
где PpL снова обозначает число точек изображения в строке и «сфера» - любую постоянную масштабирования, которая определяет меру искажения.
Для новых индексов j' и j'' индекс получают снова, как и для шаровой проекции, для левой позиции E1 наблюдения:
j':={(j-E1 )/(1-z(i,j)/D)}+E1
и для правой позиции Е r наблюдения получают:
j":={(j-Er )/(1-z(i,j)/D)}+Er
Для шаровой и цилиндрической проекции справедливо, что число позиций наблюдения не ограничивается двумя. Вместо только левой и правой позиции наблюдения можно рассчитать, по существу, любое множество левых и правых позиций наблюдения Ek (k=1, (,n). Это представляет особый интерес для автоматических стереоскопических мониторов для нескольких наблюдателей.
Поскольку за счет величин j' и j" обоих указанных выше индексов не все индексы, нового изображения могут получить величины, то возникающие за счет этого «пропуски» должны быть компенсированы, соответственно «заполнены» с помощью последующих способов сглаживания и интерполяции.
Для обоих способов (I и II) справедливо, что каждая отдельная деформация точно описывается индексами i_Index и j_Index. Величины (величины сдвига), которые получают из указанных выше формул для сдвига каждой точки изображения, для каждой деформации сохраняются в памяти 5 деформации изображения.
В) Ниже приводится описание способов, с помощью которых можно проводить анализ сцены и в зависимости от установленного типа сцены динамически управлять, соответственно выбирать применяемую деформацию изображения.
Для этого предпочтительно задаются три разных типа сцены, относительно которых исследуется изображение. Однако в принципе можно задавать также большее число типов сцены.
Приведенные ниже в качестве примера типы сцены представляют: "ближний снимок" N, "широкоугольный снимок" W и "снимок М со среднего расстояния (нормальный снимок)".
При ближнем снимке объект находится в средней точке изображения и закрывает большую часть изображения, исходя из средней точки. В этом случае наиболее пригодной для деформации (преобразования) является шаровая проекция. Тем самым обеспечивается определенный эффект выпуклости, при котором середина изображения кажется выступающей из изображения.
При широкоугольном снимке речь идет часто о снимках пейзажа. В этом случае наилучший трехмерный эффект достигается с помощью наклонной деформации.
Если речь идет о группе объектов в середине изображения, которые наблюдаются с помощью камеры на определенном расстоянии (нормальный снимок, соответственно снимок со среднего расстояния), то обычно наилучший трехмерный эффект достигается с помощью наклонно-сферической деформации.
Для последующих определений сначала принимают Р как неизменную постоянную с Р:=0,2 (0 Р 0,5).
1) Определение типа сцены «ближний снимок» (N):
Пусть xN является прямоугольным частичным изображением текущего изображения в зоне середины изображения с, например 60% всех точек общего изображения xG.
Пусть G 2 является средним квадратичным стандартным отклонением (дисперсией) общего изображения x G=x(i,j), a N 2 является средним квадратичным стандартным отклонением (дисперсией) частичного изображения x N. Если N 2 Р G 2, то имеет место тип сцены "ближний снимок" N. При этом
N 2:= (хij-xN)2 для i,j xN,
где среднее значение xN :=(1/|xN| xjj для i,j xN.
1) Определение типа сцены «снимок с нормального или среднего расстояния» (М):
Пусть х м является прямоугольным частичным изображением текущего изображения в зоне середины изображения с, например 40% всех точек изображения общего изображения xG.
Пусть G 2 является средним квадратичным стандартным отклонением (дисперсией) общего изображения x G=x(i,j), а M 2 является средним квадратичным стандартным отклонением (дисперсией) частичного изображения х M. Если M 2 Р G 2, то имеет место тип сцены "снимок М со среднего расстояния". При этом
M 2:= (x,j-хM)2 для i,j хM,
где среднее значение хM :=(1/|хM| хij для i,j xN.
Пусть x1 и x2 являются двумя прямоугольными частичными изображениями в левой, соответственно правой верхней зоне изображения, a y1 и y2 - двумя прямоугольными частичными изображениями в левой, соответственно правой нижней зоне изображения. Кроме того, пусть абсолютное значение перекрестной корреляции между зонами Х изображения выражается формулой
kx:=|( x1ix2i)/( x1i 2 x2i 2))|,
а абсолютное значение перекрестной корреляции между зонами Y изображения выражается формулой
ky:=|( y1iy2i)/( y1i 2 y2i 2))|.
Когда kx 1-Р и ky 1-Р, то области Х и Y являются сильно коррелированными. Это определяется как тип сцены "широкоугольный снимок" W.
С) При применении деформации изображения следует учитывать, что при изменении типа сцены по сравнению с предыдущим типом сцены не должно производиться простое переключение между соответствующими функциями деформации. Это воспринималось бы наблюдателем как помеха, соответственно как «застревание» или «дерганье».
В этом случае является более предпочтительным с помощью переходной функции обеспечивать относительно гладкий, соответственно постепенный переход предыдущей деформации с распределением примерно на два-три кадра в новую деформацию. Тем самым осуществляется динамическое согласование деформации с новым содержанием изображения.
Для этой цели для каждого перехода со «старой» деформации на другую «новую» деформацию задается переходная деформация, которая также хранится, например, в памяти 5 деформации изображения. Такая переходная деформация образуется с помощью заданного числа К переходных матриц, величины которых рассчитываются с помощью предпочтительно линейной интерполяции сохраненных величин сдвига для старой и новой деформации для каждой точки изображения и также сохраняются.
Таким образом, при смене типа сцены к передаваемому изображению, тип сцены которого изменился, применяют переходную функцию, которая состоит из переходной деформации, которая задана числом К переходных матриц, а также следующей деформации, которая соответствует определяемому новому типу сцены. В этом случае подаваемые в промежуточном временном интервале дальнейшие результаты сценарного анализа остаются во время применения переходной функции неучитываемыми.
Можно исходить, например, из того, что тип сцены как раз передаваемого изображения является «широкоугольным снимком», в то время как передаваемое перед этим изображение имело тип сцены «ближний снимок». Следовательно, необходимо выполнять переключение с соответствующей ближнему снимку (старой) деформации изображения, т.е. «сферической деформации», на соответствующую широкоугольному снимку (новую) деформацию изображения, т.е. «наклонную деформацию». Кроме того, пусть число К=2 и тем самым заданы две переходные матрицы.
Таким образом, прежде чем будет применена новая деформация изображения, необходимо применять к как раз передаваемому изображению первую переходную матрицу, а затем к следующему передаваемому изображению - вторую переходную матрицу, которые совместно образуют переходную деформацию.
Отдельные величины, которые содержаться в переходных матрицах и которые представляют переходной сдвиг для точки изображения, получают за счет линейной интерполяции величин сдвига старой деформации изображения (сферической) и новой деформации изображения (наклонной) в соответствии с числом К переходных матриц. Если, например, для одной точки изображения величина сдвига старой деформации изображения равна 0, а величина сдвига новой деформации изображения равна 6,0, то при К=2 для этой точки изображения получают в первой переходной матрице величину сдвига 2,0, а во второй переходной матрице - величину сдвига 4,0.
Для всех возможных переходов между типами сцен и тем самым между соответствующими деформациями можно заранее вычислять все переходные матрицы и сохранять в памяти 5 деформации изображения.
При этом следует учитывать, что переходные матрицы, которые находятся в памяти для перехода с первой на вторую деформацию, в случае перехода со второй на первую деформацию применяются к передаваемому изображению в обратной последовательности.
На фиг.3 показана графическая схема способа согласно изобретению.
В первой стадии 10 после включения устройства сначала в устройстве 4 для деформации изображения устанавливают первое состояние «текущая деформация» на стартовую деформацию в качестве применяемой деформации, которая является, например, цилиндрической деформацией. Затем во второй стадии 11 устанавливают второе состояние «новая деформация» на стандартную или заданную деформацию (деформацию по умолчанию), например, также цилиндрическую деформацию, а затем с помощью устройства 3 сценарного анализа определяют тип сцены текущего (подаваемого) изображения в соответствии с приведенным выше описанием.
Затем в третьей стадии 13 запрашивают, определен ли в качестве типа сцены ближний снимок N. Если это так, то в соответствии с четвертой стадией 13 устанавливают второе состояние «новая деформация: = сферическая деформация» и осуществляют переход на (девятую) стадию 18.
Если запрос в третьей стадии 12 получает ответ Нет, то в пятой стадии 14 запрашивают, является ли тип сцены снимком М со среднего расстояния. Если это так, то в соответствии с шестой стадией 15 устанавливают второе состояние «новая деформация: = наклонно-сферическая деформация» и переходят на (девятую) стадию 18.
Если запрос в пятой стадии 14 получает ответ Нет, то в шестой стадии 16 запрашивают, является ли тип сцены широкоугольным снимком W. Если это так, то в соответствии с восьмой стадией 17 устанавливают второе состояние «новая деформация: = наклонная деформация» и переходят на девятую стадию 18.
Если запрос в седьмой стадии 17 также получает ответ Нет, то переходят на девятую стадию 18, в которой запрашивают, являются ли установленные с помощью первого и второго состояния деформации одинаковыми.
Эти стадии 11-18 выполняют с помощью устройства 3 для сценарного анализа.
Если запрос в девятой стадии 18 получает ответ Да, то в соответствии с десятой стадией 19 подвергают текущее изображение (неизменяемой) деформации с помощью устройства 4 для деформации изображения и выдают в качестве изображения вторую последовательность изображений. Затем повторяют вторую стадию 12 способа для следующего изображения.
Если запрос в девятой стадии 18 получает ответ Нет, то следует применять переходную функцию, и в соответствии с одиннадцатой стадией 20 сначала устанавливают величину счетчика k:=0.
Затем в двенадцатой стадии 21 деформируют текущее изображение памяти 1 изображения с помощью первой переходной матрицы и выдают в качестве второй последовательности изображений. Затем величину счетчика повышают на 1 (k:=k+1). Затем в тринадцатой стадии 22 запрашивают, является ли состояние счетчика k больше числа К переходных матриц.
Если это не так, то повторяют двенадцатую стадию 21 и деформируют текущее в данный момент изображение памяти 1 изображений, а именно на этот раз с помощью второй (следующей) переходной матрицы для выдачи затем (второй) последовательности изображений в качестве следующего изображения.
После того как переходные матрицы применяют заданное число К раз, в конце переходной деформации подвергают текущее в этот момент изображение новой деформации в соответствии со стадиями 13, 15 или 17, и снова увеличивают состояние счетчика на 1. Выполняемый затем на тринадцатой стадии 22 запрос должен получить в качестве ответа Да, так что можно переходить на четырнадцатую стадию 23, в которой первое состояние «текущая деформация» устанавливают на новую деформацию. Затем способ повторяют посредством возврата во вторую стадию 11 со следующим подаваемым изображением.
Показанное на фиг.1 устройство предпочтительно осуществляется в системе цифровой обработки изображений для обеспечения трехмерного воспроизведения передаваемых или сохраненных изображений.
Описанный способ предпочтительно осуществлять в виде одной или нескольких компьютерных программ со средствами программного кода для выполнения отдельных стадий способа с помощью компьютера, в частности микропроцессорного блока.
Можно осуществлять способы также в виде продукта компьютерного программирования с записанным на машинночитаемом носителе информации кодом программы для выполнения стадий способа, когда он устанавливается в памяти микропроцессорного блока, соответственно выполняется в компьютере, которые являются составной частью системы цифровой обработки изображений.
Класс G06T3/00 Преобразование геометрического изображения в матрицу изображения, например из побитового в побитовое изображение, создающее другое изображение
Класс G06T17/20 формирование конечных элементов, например описания поверхности, ограниченной проволочной рамкой