устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа

Формула изобретения

1. Устройство генерирования стереоскопического изображения, содержащее:

модуль проецирования на цилиндрическую поверхность, выполненный с возможностью проецировать двумерное входное изображение на цилиндрическую поверхность, содержащую воображаемую окружность, расположенную по касательной к двум глазам, для генерирования цилиндрического изображения; и

модуль проецирования на поверхность дисплея, выполненный с возможностью проецировать цилиндрическое изображение на поверхность дисплея в отношении каждого из двух глаз для генерирования отображаемых изображений, подлежащих поступлению соответственно в два глаза.

2. Устройство генерирования стереоскопического изображения по п.1, в котором воображаемая окружность имеет радиус, установленный в соответствии с предполагаемым расстоянием наблюдения или размером дисплея.

3. Устройство генерирования стереоскопического изображения по п.2, дополнительно содержащее модуль измерения расстояния наблюдения, который выполнен с возможностью измерения расстояния между поверхностью дисплея и положением наблюдения,

причем радиус воображаемой окружности установлен в соответствии с расстоянием наблюдения, измеренным модулем измерения расстояния наблюдения.

4. Устройство генерирования стереоскопического изображения по п.1, в котором воображаемая окружность имеет радиус, установленный так, чтобы степень искажения отображаемых изображений была меньше заданного порогового значения.

5. Устройство генерирования стереоскопического изображения по п.1, дополнительно содержащее:

модуль генерирования информации о степени глубины, который выполнен с возможностью генерировать информацию о степени глубины с использованием двумерного входного изображения; и

модуль объединения информации о степени глубины, который выполнен с возможностью объединять информацию о степени глубины с цилиндрическим изображением,

причем модуль проецирования на поверхность дисплея проецирует цилиндрическое изображение с объединенной с ним информацией о степени глубины на поверхность дисплея для генерирования отображаемых изображений.

6. Способ генерирования стереоскопического изображения, содержащий:

процедуру проецирования на цилиндрическую поверхность, при которой проецируют двумерное входное изображение на цилиндрическую поверхность, содержащую воображаемую окружность, которая расположена по касательной к двум глазам, для генерирования цилиндрического изображения; и

процедуру проецирования на поверхность дисплея, при которой проецируют цилиндрическое изображение на поверхность дисплея в отношении каждого из двух глаз для генерирования отображаемых изображений, подлежащих поступлению соответственно в два глаза.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству генерирования стереоскопического изображения, более конкретно, к устройству генерирования стереоскопического изображения, которое генерирует стереоскопическое изображение из нестереоскопического изображения, способу его обработки, и программе, которая обеспечивает выполнение компьютером этого способа.

Уровень техники

В последние годы, размеры и угол обзора устройств дисплея увеличились, и стало доступным отображение более реалистических изображений, чем обычно. В обычном устройстве дисплея, однако, изображение вынужденно воспринимается как размещенное на поверхности дисплея устройства дисплея, и поэтому существует риск возникновения трудности при генерировании стереоскопического ощущения с помощью генерируемых стереоскопических элементов восприятия, таких как тени и композиция. Считается, что это связано с физиологическими элементами стереоскопического восприятия, такие как изменение угла схождения, возникающее когда поверхность дисплея устройства дисплея рассматривают двумя глазами, и возникновение искажений, связанное с бинокулярным несоответствием.

Известное оптическое устройство, предназначенное для удаления таких влияний, вызываемых физиологическими стереоскопическими элементами, представляет собой стереоскоп, называемый синоптером. Синоптер сконструирован так, что с помощью полуотражающего зеркала он по отдельности подает свет, принятый в одном положении, к двум глазам. Известно, что такой синоптер позволяет сделать изображение на сетчатке глаза для двух глаз идентичными друг другу так, чтобы можно было добавить к нестереоскопическому изображению стереоскопическую глубину (см., например, непатентный документ 1).

Соответствующий технический документ

Непатентный документ

Непатентный документ 1: Jan J Koenderink et al., "On so-called paradoxical monocular stereoscopy", Perception, Pion Publication (UK), 1994, volume 23, pp.583-594

Сущность изобретения

Техническая задача

Таким образом, оптическое устройство, такое как синоптер может устранять влияния, связанные с физиологическими стереоскопическими элементами, что обеспечивают возможность формирования идентичных друг другу изображений на сетчатке глаза для двух глаз, с тем, чтобы получить стереоскопическую глубину из нестереоскопического изображения. Такое оптическое устройство позволяет реализовать стереоскопическое зрение, используя простой механизм, но в то же время устройство дисплея не обладает гибкостью, так что трудно обеспечить дополнительные визуальные эффекты.

В соответствии с этим, цель настоящего изобретения состоит в том, чтобы устранить влияние физиологических стереоскопических элементов путем обработки изображения.

Техническое решение

Настоящее изобретение было выполнено для решения описанных выше задач, и первый его аспект направлен на устройство генерирования стереоскопического изображения, включающее в себя модуль проецирования на цилиндрическую поверхность, который проецирует двумерное входное изображение на цилиндрическую плоскость, включающую в себя воображаемую окружность, расположенную по касательной к двум глазам, для генерирования цилиндрического изображения, и модуль проецирования на поверхность дисплея, который проецирует цилиндрическое изображение на поверхность дисплея в отношении каждого из двух глаз для генерирования отображаемых изображений, подлежащих поступлению соответственно в два глаза, способ генерирования стереоскопического изображения для этого устройства или программу. Таким образом, может быть получен эффект соответствующей передачи в два глаза идентичных друг другу изображений на сетчатке глаза для устранения влияния, вызываемого физиологическими стереоскопическими элементами.

Кроме того, в этом первом аспекте радиус воображаемой окружности может быть установлен в соответствии с предполагаемым расстоянием наблюдения или размером дисплея. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения, соответствующего расстоянию наблюдения или размеру дисплея. В этом случае, в таком первом аспекте, устройство генерирования стереоскопического изображения может дополнительно включать в себя модуль измерения расстояния наблюдения, который измеряет расстояние между поверхностью дисплея и положением наблюдения, и радиус воображаемой окружности может быть установлен в соответствии с расстоянием наблюдения, измеряемым модулем измерения расстояния наблюдения. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения, соответствующего измеренному расстоянию наблюдения.

Кроме того, в этом первом аспекте радиус воображаемой окружности может быть установлен таким образом, чтобы степень искажений отображаемых изображениях была меньше заданного порогового значения. Таким образом, достигается эффект, обеспечивающий отображение изображения в пределах допустимого диапазона искажений.

Кроме того, в этом первом аспекте устройство генерирования стереоскопического изображения может дополнительно включать в себя модуль генерирования информации о степени глубины, который генерирует информацию о степени глубины, используя двумерное входное изображение, и модуль объединения информации о степени глубины, который объединяет информацию о степени глубины с цилиндрическим изображением, и модуль проецирования на поверхность дисплея может проецировать цилиндрическое изображение с объединенной с ним информацией о степени глубины на поверхность дисплея для генерирования отображаемых изображений. Таким образом, может быть достигнут эффект, обеспечивающий возможность отображения изображения с дополнительно улучшенным стереоскопическим ощущением.

Кроме того, второй аспект настоящего изобретения направлен на устройство генерирования стереоскопического изображения, включающее в себя модуль проецирования на плоскость излучения, который проецирует двумерное входное изображение на двумерные плоскости, которые, соответственно, расположены перпендикулярно линиям зрения двух глаз, для генерирования изображений излучения, соответствующих двум глазам, и модуль проецирования на поверхность дисплея, который проецирует соответствующие изображения излучения на поверхность дисплея в отношении двух глаз, для генерирования отображаемых изображений, подлежащих поступлению в два глаза, способ генерирования стереоскопического изображения для этого устройства или программу. Таким образом, может быть обеспечен эффект соответствующей подачи идентичных друг другу изображений к сетчатке глаза в два глаза для устранения влияния, вызываемого физиологическими стереоскопическими элементами.

Кроме того, в этом втором аспекте положения изображений излучения могут быть установлены в соответствии с предполагаемым расстоянием наблюдения. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения для расстояния наблюдения. В этом случае, в таком втором аспекте, устройство генерирования стереоскопического изображения может дополнительно включать в себя модуль измерения расстояния наблюдения, который измеряет расстояние между поверхностью дисплея и положением наблюдения, и положения изображений излучения могут быть установлены в соответствии с расстоянием наблюдения, измеренным модулем измерения расстояния наблюдения. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения для измеренного расстояния наблюдения.

Кроме того, третий аспект настоящего изобретения направлен на устройство генерирования стереоскопического изображения, которое преобразует двумерное входное изображение таким образом, что видеоизображения, соответственно проецируемые в правый глаз и в левый глаз с поверхности дисплея, становятся идентичными друг другу для соответствующего генерирования изображения правого глаза и изображения левого глаза, способ генерирования стереоскопического изображения для этого устройства или программу. Таким образом, может быть обеспечен эффект подачи в два глаза идентичных друг другу изображений на сетчатке глаза для устранения влияний, вызываемых физиологическими стереоскопическими элементами.

Технический результат

В соответствии с настоящим изобретением может быть достигнут результат, состоящий в том, что можно устранить влияние физиологических стереоскопических элементов в результате обработки изображения.

Краткое описание чертежей

На фиг.1 показана схема, иллюстрирующая пример конфигурации устройства генерирования стереоскопического изображения в варианте выполнения настоящего изобретения.

На фиг.2 показана схема, иллюстрирующая первый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.3 показана схема, иллюстрирующая одну форму проекции на поверхность гороптера в первом примере трехмерного модуля 130 преобразования в варианте выполнения настоящего изобретения.

На фиг.4 показана схема, иллюстрирующая конкретный пример проекции на гороптер в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.5 показана схема, иллюстрирующая один вид проекции на поверхность дисплея в первом примере трехмерного модуля 130 преобразования в варианте выполнения настоящего изобретения.

На фиг.6 показана схема, иллюстрирующая частный пример проекции на поверхность дисплея в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.7 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.8 показана схема, иллюстрирующая второй пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.9 показана схема, иллюстрирующая соотношение между размером окружности гороптера и положениями точек схождения.

На фиг.10 показана схема, иллюстрирующая одну форму проекции на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.11 показана схема, иллюстрирующая конкретный пример проекции на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.12 показана схема, иллюстрирующая третий пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.13 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и степенью искажения изображения.

На фиг.14 показана схема, иллюстрирующая пример взаимосвязи между углом 9 и степенью искажения Q изображения.

На фиг.15 показана схема, иллюстрирующая пример взаимосвязи между окружностью гороптера и вписанным углом.

На фиг.16 показана схема, иллюстрирующая четвертый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.17 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и поверхностью дисплея.

На фиг.18 показана схема, иллюстрирующая пятый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.19 показана схема, иллюстрирующая один вид проекции на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.20 показана схема, иллюстрирующая частный пример проекции на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.21 показана схема, иллюстрирующая частный пример проекции на поверхность дисплея в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.22 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую пятым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.23 показана схема, иллюстрирующая шестой пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.24 показана схема, иллюстрирующая общий вид обработки, выполняемой шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.25 показана схема, иллюстрирующая пример карты глубины поверхности гороптера в соответствии с шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.26 показана схема, иллюстрирующая пример информации о степени глубины, оценка которой была получена шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.27 показана схема, иллюстрирующая примерную конфигурацию модуля 363 объединения карты глубины в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.28 показана схема, иллюстрирующая пример стереоскопического изображения, генерируемого шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

На фиг.29 показана схема, иллюстрирующая другой пример стереоскопического изображения, генерируемого шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Подробное описание изобретения

Далее, подробно поясняется вариант выполнения настоящего изобретения со ссылкой на чертежи.

На фиг.1 показана схема, иллюстрирующая примерную конфигурацию устройства генерирования стереоскопического изображения в варианте выполнения настоящего изобретения. Такое устройство генерирования стереоскопического изображения включает в себя модуль 110 ввода сигнала изображения, модуль 120 обработки сигнала, модуль 130 трехмерного преобразования, модуль 140 установки параметра, модуль 150 измерения расстояния наблюдения, модуль 160 последующей обработки, модуль 170 преобразования формата, модуль 180 выбора источника и модуль 190 дисплея.

Модуль 110 ввода сигнала изображения выполнен с возможностью приема входного сигнала нестереоскопического изображения. Вводимое нестереоскопическое изображение не ограничено неподвижным изображением и может представлять собой движущееся изображение. Предполагается, что устройство - источник нестереоскопического изображения - представляет собой приемник телевизионного вещания, устройство воспроизведения (проигрыватель) видеоизображения, устройство формирования изображений (видеокамера) или подобное.

Модуль 120 обработки сигнала предназначен для выполнения заданной обработки сигналов для входного нестереоскопического изображения. Примеры обработки сигналов, как предполагается, включают в себя регулирование баланса белого, обработку снижения уровня шума, обработку коррекции уровня, и обработку коррекции гамма-характеристики.

Модуль 130 трехмерного преобразования представляет собой элемент, реализующий признаки настоящего изобретения, и предназначен для преобразования двумерного нестереоскопического изображения в трехмерное изображение. При такой обработке трехмерного преобразования, выполняемой в модуле 130 трехмерного преобразования, генерируется трехмерное изображение, которое основано на нестереоскопическом изображении. В качестве такого трехмерного изображения, например, получают изображение для левого глаза и изображение для правого глаза.

Модуль 140 установки параметра разработан для установки параметра, необходимого для трехмерной обработки преобразования, выполняемой в модуле 130 трехмерного преобразования. Такой параметр, как предполагается, представляет собой, например, радиус для задания окружности гороптера, описанной ниже, или тому подобное.

Модуль 150 измерения расстояния наблюдения предназначен для измерения расстояния между модулем 190 дисплея и положением наблюдателя. На основе расстояния наблюдения, измеренного таким модулем 150 измерения расстояния наблюдения, может быть выполнена обработка трехмерного преобразования в модуле 130 трехмерного преобразования. При этом можно использовать предварительно установленное расстояние наблюдения без фактического измерения расстояния наблюдения.

Модуль 160 последующей обработки предназначен для выполнения последующей обработки для недопущения возникновения ступенчатости в трехмерном изображении, полученном в результате обработки трехмерного преобразования, выполненной в модуле 130 трехмерного преобразования. Например, если предполагается, что изображение для левого глаза и изображение для правого глаза поочередно отображают, строка за строкой, в модуле 190 дисплея, существует риск возникновения зубчатых (ступенчатых кромок) отображения, из-за ступенчатости. Для предотвращения этого явления модуль 160 последующей обработки применяет фильтр в вертикальном направлении для сглаживания изменений изображения.

Модуль 170 преобразования формата предназначен для преобразования трехмерного изображения в формат, поддерживаемый модулем 190 дисплея. Модуль 170 преобразования формата может выполнять преобразование, так чтобы, например, изображение для левого глаза и изображение для правого глаза могли располагаться поочередно, строка за строкой, в соответствии с форматом, поддерживаемым модулем 190 дисплея.

Модуль 180 выбора источника предназначен для выбора в качестве источника изображения, предназначенного для отображения. То есть модуль 180 выбора источника выбирает выход модуля 120 обработки сигнала в случае, когда нестереоскопическое изображение требуется отобразить без изменений, и выбирает выход модуля 170 преобразования формата в случае, когда требуется отобразить трехмерное изображение для стереоскопического зрения.

Модуль 190 дисплея представляет собой дисплей, предназначенный для отображения изображения. Хотя, здесь предполагается, в качестве исходного условия, что модуль 190 дисплея имеет функцию отображения трехмерного изображения для стереоскопического зрения, средство для реализации такой функции не ограничено чем-либо конкретным. Например, как описано в публикации № 2002-365593 нерассмотренной заявки на японский патент, можно устанавливать через строку пластины толщиной, равной длине волны, для преобразования линейно поляризованных лучей света от строк с четными номерами и строк с нечетным номерами экрана дисплея в лучи света, перпендикулярные друг другу, чтобы обеспечить возможность попадания лучей света от разных изображений в два глаза.

На фиг.2 показана схема, иллюстрирующая первый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот первый пример модуля 130 трехмерного преобразования включает в себя модуль 311 проекции изображения на гороптер, модуль 316 проекции на поверхность дисплея для правого глаза, и модуль 317 проекции на поверхность дисплея для левого глаза.

Модуль 311 проекции изображения на гороптер предназначен для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала, через линию 129 сигнала, на цилиндрическую поверхность, включающую в себя окружность гороптера (гороптер). Термином «окружность гороптера» называется окружность, которая расположена по касательной к двум глазам, и при этом известно, что бинокулярные изображения на сетчатке глаз, относительно точки на этой окружности гороптера, идентичны друг другу. Такая цилиндрическая поверхность называется гороптером, и изображение, проецируемое на гороптер, называется изображением гороптера. Кроме того, пересечение визирных осей двух глаз называется точкой схождения, и угол, образуемый ими, называется углом схождения или вписанным углом. Углы схождения на окружности гороптера равны между собой. В этом первом примере размер окружности гороптера задается информацией об окружности гороптера. Кроме того, относительное взаимное положение для двух глаз задается расстоянием "2а" между глазами. Информацию об окружности гороптера и расстоянии "2а" между глазами передают из модуля 140 установки параметра через линию 149 сигнала. Следует отметить, что, хотя в дальнейшем размер окружности гороптера задается при помощи радиуса "r" в качестве информации об окружности гороптера, размер окружности гороптера может быть задан при помощи расстояния от центра двух глаз до вершины окружности гороптера, вписанного угла, или тому подобного. Следует отметить, что модуль 311 проекции изображения на гороптер является примером модуля проекции на цилиндрическую поверхность, описанного в формуле изобретения.

Модуль 316 проецирования на поверхность дисплея для правого глаза предназначен для проецирования изображения гороптера на поверхность дисплея для правого глаза. Модуль 317 проецирования на поверхность дисплея для левого глаза предназначен для проецирования изображения гороптера на поверхность дисплея для левого глаза. Модуль 316 проецирования на поверхность дисплея для правого глаза и модуль 317 проецирования на поверхность дисплея для левого глаза выполняют проецирование на поверхности дисплея для правого и левого глаз на основе расстояния "2а" между глазами, радиуса "r" окружности гороптера, и предполагаемого расстояния "d" наблюдения. Изображение, проецируемое на поверхность дисплея для правого глаза, называется изображением правого глаза, и изображение, проецируемое на поверхность дисплея для левого глаза, называется изображением левого глаза. Изображение правого глаза и изображение левого глаза подают в модуль 160 последующей обработки через линию 139 сигнала. Следует отметить, что модуль 316 проецирования на поверхность дисплея для правого глаза и модуль 317 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.

На фиг.3 показана схема, иллюстрирующая один вид проекции на гороптер на первом примере модуля 130 трехмерного преобразования в варианте выполнения. настоящего изобретения. Окружность 520 гороптера представляет собой окружность, которая проходит через правый глаз 511, левый глаз 512 и точку 531 (вершина) или 532 схождения. Здесь предполагается, что правый глаз 511 и левый глаз 512 отстоят на расстоянии "а" от центра двух глаз. То есть расстояние между глазами составляет "2а". Кроме того, радиус окружности 520 гороптера равен "r".

Бинокулярные изображения на сетчатке глаза для правого глаза 511 и левого глаза 512 относительно точки на окружности 520 гороптера идентичны друг другу. Это связано с тем, что углы схождения всегда равны друг другу, в случае, когда точки на окружности 520 гороптера установлены как точки схождения. Например, угол 533 схождения относительно точки 531 схождения и угол 534 схождения относительно точки 532 схождения равны друг другу. Нестереоскопическое изображение проецируют как изображение 530 гороптера на цилиндрическую поверхность (гороптер), включающую в себя окружность 520 гороптера. Таким образом, идентичные друг другу изображения на сетчатке глаза, у которых отсутствует бинокулярные различия, могут быть сформированы в правом глазу 511 и в левом глазу 512.

На фиг.4 показана схема, иллюстрирующая конкретный пример проекции на гороптер в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Часть (а) на фиг.4 иллюстрирует систему координат входного изображения I (p, q), подаваемого из модуля 120 обработки сигнала через линию 129 сигнала. Поскольку входное изображение представляет собой нестереоскопическое изображение, используют двумерную систему координат. Точка начала системы координат установлена как центральная точка входного изображения. Кроме того предполагается, что размер входного изображения (ширина) равен "2L".

Часть (b) на фиг.4 иллюстрирует систему координат гороптера, на который спроецировано изображение 530 гороптера. Поскольку гороптер является трехмерным, в данном случае используют трехмерную (х, у, z) систему координат. Начало системы координат установлено в центре окружности 520 гороптера. Часть (b) на фиг.4 представляет собой вид, наблюдаемый с направления, перпендикулярного гороптеру, то есть с направления, перпендикулярного оси Y.

В данном случае изображение Н (х, у, z) гороптера получают путем проецирования входного изображения I (p, q) на окружность гороптера, имеющую радиус r, и представляют с помощью следующей формулы:

H(x, y, z)=I(( /2- )×r, y),

где

z² +x²=r²,

=tg^-1(z/x).

Следует отметить, что хотя здесь предполагается, что размер (ширина) "2L" входного изображения является таким же, как и размер (ширина) поверхности дисплея, функция увеличения или уменьшения входного изображения может быть предусмотрена на предыдущем этапе для изменения физического размера изображения.

На фиг.5 показана схема, иллюстрирующая один вид проецирования на поверхность дисплея в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

В данном случае предусматривается, что точку 532 схождения на окружности 520 гороптера проецируют на поверхность 540 дисплея. Изображение, формируемое в правом глазу 511 относительно точки 532 схождения, отображают на участке 541 дисплея поверхности 540 дисплея. С другой стороны, изображение, формируемое в левом глазу 512 относительно точки 532 схождения, отображают в положении 542 дисплея на поверхности 540 дисплея. То есть, даже для одного и того же изображения 530 гороптера, изображения, отображаемые на поверхности 540 дисплея, в принципе, представляют собой разные изображения для правого глаза 511 и левого глаза 512.

На фиг.6 показана схема, иллюстрирующая частный пример проецирования на поверхность дисплея в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Часть (а) на фиг.6 иллюстрирует систему координат на гороптере и на поверхности дисплея. Хотя в данном случае используется трехмерная (х, у, z) система координат, в отличие от случая, показанного в части (а) на фиг.4, положение начала координат в плоскости ху установлено в среднюю точку, между правым глазом 511 и левым глазом 512. В данном случае расстояние с между началом координат в этой системе координат и центром окружности 520 гороптера выражается следующим образом:

c=(r² -а²)^1/2.

В части (b) на фиг.6 приведена система координат отображаемого изображения J(s, t), проецируемого на поверхность дисплея. Отображаемое изображение, соответственно, получают для правого глаза 511 и левого глаза 512. Поскольку каждое изображение представляет собой двумерное изображение, используют двумерную систему координат. Точку начала системы координат устанавливают в центральную точку отображаемых изображений.

В данном случае положение D (xR, yR, zR) на поверхности 540 дисплея, которое проецируют из правого глаза 511 через положение Н (х0, у0, z0) на изображении гороптера, задают с помощью следующей формулы:

D(x_R , y_R, z_R)=J(x_R, у_R )=Н(x₀, у₀, z_o).

Кроме того, поскольку расстояние от положения наблюдения равно расстоянию d наблюдения, получают z_R=d, и справедливы следующие формулы:

(х₀-а)/(х_R -а)=у₀/у_R=z₀/d,

x₀ ²+(z₀-c)²=r² ,

z₀>0.

В соответствии с этим, изображение, проецируемое в положение D (xR, yR, zR) на поверхности 540 дисплея, может быть определено при помощи положения Н (х0, у0, Z0). То есть {х0, у0, z0} получают из {xR, yR, zR}.

Следует отметить, что, хотя здесь пояснялось положение D (xR, yR, zR), которое проецируют из правого глаза 511, положение D (xL, yL, zL) на поверхности 540 дисплея, который проецируют из левого глаза 512 через положение Н (х0, у0, z0) на изображении гороптера, также может быть определено аналогичным образом.

Кроме того, хотя, пояснения были приведены для примера, когда размер окружности гороптера задан радиусом "r", например, как описано выше, размер окружности гороптера может быть задан при помощи расстояния от центра двух глаз до вершины окружности гороптера, вписанного угла, или тому подобное. Расстояние f от центра двух глаз до точки схождения дается следующей формулой:

f=r+с

=r+(r²-а²)^1/2.

Если перенести r на левую сторону и возвести в квадрат обе стороны, получим:

f²-2rf+r²=r ²-а²,

r=(f²+a ²)/2f.

Таким образом, радиус "r" может быть определен, используя расстояние "f от центра двух глаз до точки схождения и расстояние "2а" между глазами. Соотношение между вписанным углом и радиусом поясняется в дальнейшем примере (фиг.15).

На фиг.7 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую первым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Вначале, когда входное изображение I (p, q) выводят из модуля 120 обработки сигнала через линию 129 сигнала (этап S911), входное изображение I (p, q) проецируют как изображение Н (х, у, z) гороптера на поверхность гороптера (этап S912). Следует отметить, что этап S912 представляет собой пример процедуры проецирования на цилиндрическую поверхность, описанной в формуле изобретения.

Затем отображаемые изображения генерируют соответственно для правого глаза и левого глаза следующим образом (цикл L901). Вначале выполняют перспективное преобразование для поверхности 540 дисплея, на которой должно быть спроецировано изображение от правого глаза 511 через положение Н (х0, у0, z0) на изображении гороптера для получения трехмерного положения D (xR, yR, zR) (этап S913). Затем получают двумерное отображаемое изображение J(xR, yR) для поверхности дисплея из этого трехмерного положения (этап S914). Аналогично соответствующее преобразование выполняют для поверхности 540 дисплея, на которую должно быть спроецировано изображение левого глаза 512 через положение Н (х0, у0, z0) на изображении гороптера, для получения трехмерного положения D (xL, yL, zL) (этап S913). Затем из этого трехмерного положения получают двумерное отображаемое изображение J (xL, yL) для поверхности дисплея (этап S914). Следует отметить, что этапы S913 и S914 представляют собой примеры процедуры проецирования на поверхность дисплея, описанной в формуле изобретения.

Таким образом, в первом примере модуля 130 трехмерного преобразования в соответствии с вариантом выполнения настоящего изобретения нестереоскопическое изображение проецируют как изображение гороптера на окружность 520 гороптера, заданную по информации об окружности гороптера. Затем, изображение гороптера проецируют на поверхность дисплея, расположенную на фактически измеренном или оцененном расстоянии наблюдения. Таким образом, может быть сгенерировано стереоскопическое изображение для правого глаза 511 и для левого глаза 512.

На фиг.8 показана схема, иллюстрирующая второй пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот второй пример модуля 130 трехмерного преобразования включает в себя модуль 321 проецирования изображения на поверхность гороптера, модуль 322 установки точки схождения, модуль 326 проецирования на поверхность дисплея для правого глаза, и модуль 327 проецирования на поверхность дисплея для левого глаза.

Как и модуль 311 проецирования изображения на поверхность гороптера, модуль 321 проецирования изображения на поверхность гороптера предназначен для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала через линию 129 сигнала на цилиндрическую поверхность, включающую в себя окружность гороптера. В этом втором примере окружность гороптера задается при помощи радиуса "r", который основан на точке схождения, установленной модулем 322 установки точки схождения. Следует отметить, что модуль 321 проецирования изображения на поверхность гороптера представляет собой пример модуля проецирования на цилиндрическую поверхность, описанную в формуле изобретения.

Модуль 322 установки точки схождения предназначен для установки точки схождения и предоставления радиуса "r", который основан на этой точке схождения. Модуль 322 установки точки схождения устанавливает точку схождения, используя расстояние "2а" между глазами, расстояние "d" наблюдения, размер "2М" поверхности дисплея и размер "2L" входного изображения.

Аналогично первому примеру, модуль 326 проецирования на поверхность дисплея для правого глаза и модуль 327 проецирования на поверхность дисплея для левого глаза предназначены для проецирования изображения гороптера на поверхность дисплея для правого глаза или левого глаза. Следует отметить, что модуль 326 проецирования на поверхность дисплея для правого глаза и модуль 327 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.

На фиг.9 показана схема, иллюстрирующая соотношение между размером окружности гороптера и положениями точек схождения. Окружность гороптера однозначно определяется расстоянием между глазами и радиусом. Поэтому, в случае, когда радиус не фиксирован, как на этом чертеже, можно представить себе несколько окружностей гороптера, которые проходят через два глаза. Обычно, чем меньше расстояние до точки схождения, тем больше угол схождения и поэтому меньше радиус.

Следует понимать, что, если входное изображение проецируется на окружность гороптера при фиксированном размере входного изображения так, как показано на фигуре, его размер (ширина) на поверхности дисплея отличается при переходе от одной окружности гороптера к другой. То есть в случае окружности 521 гороптера чем меньше расстояние до точки схождения, тем больше размер (ширина) поверхности дисплея. В случае окружности 522 гороптера чем больше расстояние до точки схождения, тем меньше размер (ширина) поверхности дисплея. Поэтому во втором примере с целью отображения входного изображения по всей поверхности дисплея, точку схождения на окружности гороптера определяют путем обратного расчета из размера проекции на поверхности дисплея и затем устанавливают.

На фиг.10 показана схема, иллюстрирующая один вид проекции на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. В данном случае в предположении, что размер (ширина) входного изображения составляет "2L", учитывают формулу, в соответствии с которой определяется размер (ширина) "2m" изображения, спроецированного на поверхности дисплея.

Предполагая, что прямоугольный треугольник, определенный сторонами с длиной р, q и r, находится внутри окружности гороптера, р и q представляют следующими формулами:

p=r·sin ,

q=r·cos ,

где представляет собой угол, который представляет собой угол между сторонами длиной q и r. Угол представлен следующей формулой:

=(L/(2 r))·2 =L/r.

Кроме того, предполагается, что в пределах размера (ширины) "2m" изображения, проецируемого на поверхность дисплея, участок, который перекрывает прямоугольный треугольник, описанный выше, образец х, и правый его участок обозначен у. Исходя из подобия прямоугольного треугольника получают следующее соотношение:

p:x=q:(d-с).

Таким образом, х дается следующей формулой:

x=p·(d-c)/q.

Кроме того, исходя из подобия прямоугольного треугольника с вершиной Т, получают следующие взаимозависимости:

t:a=(t+c):s,

t:a=(t+с+q):p.

Отсюда s дается следующей формулой:

s=((p-а)/(а·(c+q)))·((a·(c+q)/(p-a))+с)·а

=(a·q-c·p)/(c+q).

Кроме того, исходя из подобия треугольника, формируемого сторонами длиной s и радиусом r, получают следующее соотношение:

s:y=q:(q-(d-c)).

Таким образом, у определяется следующей формулой:

y=((q-d+c)/q)·s

=((q-d+c)·(a·q-c·p))/(q·(c+q)).

Сумма х и у, получаемых таким образом, равна одной второй от размера (ширины) "m" изображения, проецируемого на поверхности дисплея:

m=х+у

=р·(d-c)/q+((q-d+c)·(a·q-c·p))/(q·(c+q)).

На фиг.11 показана схема, иллюстрирующая частный пример проецирования на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Во втором примере, как описано выше, точка схождения установлена таким образом, что ширина проекции на поверхности 540 дисплея может быть сделана растянутой на всю поверхность 540 дисплея. Поэтому, как показано на этом чертеже, сама ширина "2М" поверхности 540 дисплея выполнена такой, чтобы она соответствовала ширине "2m" проекции на поверхности дисплея, которую получают с помощью указанной выше формулой.

Поскольку размер (ширина) "2М" поверхности 540 дисплея, размер "2L" (ширина) входного изображения, расстояние "2а" между глазами и расстояние "d" наблюдения заданы для модуля 322 установки точки схождения, радиус г окружности гороптера может быть определен таким образом, что сделать размер (ширина) "2m" проекции на поверхность отображения, полученный с помощью приведенной выше формулы, совпадающим с "2М".

Таким образом, во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения путем предварительной установки размера поверхности 540 дисплея можно установить точку схождения таким образом, что проецируемое изображение на поверхности 540 дисплея может отображаться на всей поверхности 540 дисплея, и можно однозначно задавать окружность гороптера.

На фиг.12 показана схема, иллюстрирующая третий пример модуля 130 трехмерного преобразования в соответствии с вариантом выполнения настоящего изобретения. Этот третий пример модуля 130 трехмерного преобразования предназначен определять точку схождения так, чтобы подавлять увеличение степени искажений изображения на поверхности дисплея. Чем больше отклонение от точного направления вперед для каждого из двух глаз, тем больше степень искажений между центром и краями изображения. Таким образом, точку схождения устанавливают так, чтобы эта степень искажения могла попасть в пределы приемлемого диапазона. Такой третий пример модуля 130 трехмерного преобразования включает в себя модуль 331 проецирования изображения на гороптер, модуль 332 установки точки схождения, модуль 336 проецирования на поверхность дисплея для правого глаза и модуль 337 проецирования на поверхность дисплея для левого глаза.

Как и модуль 311 проецирования изображения на гороптер, модуль 331 проецирования изображения на гороптер предназначен для проецирования нестереоскопического изображения, подаваемого в модуль 120 обработки сигнала через линию 129 сигнала, на цилиндрическую поверхность, включающую в себя окружность гороптера. В этом третьем примере окружность гороптера задается при помощи вписанного угла " ", который основан на точке схождения, установленной модулем 332 установки точки схождения. Следует отметить, что модуль 331 проецирования изображения на гороптер представляет собой пример модуля проецирования на цилиндрическую поверхность, описанного в формуле изобретения.

Модуль 332 установки точки схождения предназначен для установки точки схождения и предоставления вписанного угла " ", который основан на этой точке схождения. Модуль 332 установки точки схождения устанавливает точку схождения, используя расстояние "2а", между глазами, расстояние "d" наблюдения, максимальную степень искажения "Qmax" и минимальный угол " ". Подробности установки поясняются со ссылкой на следующую фигуру.

Аналогично первому примеру, модуль 336 проецирования на поверхность дисплея для правого глаза и модуль 337 проецирования на поверхность дисплея для левого глаза предназначены для проецирования изображения гороптера на поверхность дисплея для правого глаза или левого глаза. Следует отметить, что, хотя в данном случае проецирование на поверхность дисплея выполняют при помощи вписанного угла " ", передаваемого из модуля 332 установки точки схождения, радиус "r" в первом примере и вписанный угол " " в настоящем примере эквивалентны друг другу в отношении установки точки схождения. Поэтому, они оба могут при необходимости заменять друг друга. Следует отметить, что модуль 336 проецирования на поверхность дисплея для правого глаза и модуль 337 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.

На фиг.13 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и степенью искажений изображения. Хотя степень искажений. определяется здесь для левого глаза 512, то же самое относится и к правому глазу 511.

Сравнение расстояний на поверхности 540 дисплея выполняют для случая, когда положение 535 на окружности гороптера, которую наблюдают непосредственно перед левым глазом 512, и положение 536, которое повернуто на угол , относительно этого положения, отклонились каждое на малый угол " ". В случае, когда положение 535 отклонено на малый угол " ", угол обзора из центральной точки о окружности гороптера составляет "2 ". Таким образом, имеет место отклонение "2 r" в положении 535 на окружности гороптера. В этом отношении, в случае, когда положение 536 отклонено на небольшой угол " ", угол обзора из центральной точки о окружности гороптера также составляет "2 ". Таким образом, аналогично, имеет место отклонение "2 r" в положении 536 на окружности гороптера.

В положении 545 на поверхности 540 дисплея, которое соответствует положению 535 на окружности гороптера, если взять прямоугольный треугольник, каждая сторона которого имеет расстояние "d" наблюдения и угол " /2", ширина Q1 отклонения выражается следующей формулой:

Q1=2d·tan( /2).

С другой стороны, в положении 546 на поверхности 540 дисплея, которое соответствует положению 536 на окружности гороптера, если взять прямоугольный треугольник со сторонами, каждая из которых имеет расстояние "d" наблюдения и угол " ", ширина Q2 отклонения выражается следующей формулой:

Q2=2d·(tan -tan( - /2)).

Поэтому степень Q искажений получают в виде следующей формулы:

Q=Q2/Q1

=(2d·(tan -tan( - /2)))/(2d·tan( /2))

=(tan -tan( - /2))/tan( /2).

На фиг.14 показана схема, иллюстрирующая пример соотношения между углом и степенью искажения Q изображения. В данном случае степень искажения Q получают в случае, когда на фиг.13 малый угол установлен равным "0,01", а угол изменяется от "-70°" до " +70°".

Как также можно видеть из этого примера, чем больше отклонение от положений, находящихся непосредственно перед глазами, тем больше степень искажения Q между центром и краями изображения. В этом третьем примере, поэтому, максимальная степень искажения "Qmax" задается в качестве порогового значения степени искажения, а угол устанавливается так, что степень искажений становится меньше порогового значения.

На фиг.15 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и вписанным углом. Если предположить, что вписанный угол равен " ", тогда угол, под которым рассматривают центральную точку о окружности 520 гороптера от правого глаза 511 и левого глаза 512 равен "2 ". Этот угол разделен пополам перпендикуляром от центральной точки о к центру двух глаз, и каждый из углов составляет " ". На этом чертеже показан угол " " относительно левого глаза 512.

Если обратиться к треугольнику, образованному пересечением 537 центральной линии между правым глазом 511 и левым глазом 512 и окружностью 520 гороптера, левым глазом 512 и центральной точкой о окружности 520 гороптера, то оба угла в точке пересечения 537 и в левом глазу 512 равны " /2". Поскольку линия, соединяющая положение 535 на окружности гороптера, которое находится непосредственно перед левым глазом 512, и левым глазом 512 параллельна центральной линии между правым глазом 511 и левым глазом 512, угол, формируемый в левом глазу 512 точкой пересечения 537 и конечной точкой 538 входного изображения, выражен как " - /2". При этом угол 9 представляет собой угол, формируемый в левом глазу 512 положением 535 и конечной точкой 538 входного изображения. Таким образом, угол, под которым рассматривают центральную точку о окружности 520 гороптера из точки 537 пересечения и конечной точки 538 входного изображения равен "2×( - /2)". В данном случае длина дуги окружности соответствует размеру (ширине) входного изображения "L". Таким образом, справедлива следующая формула:

2·( - /2)·r=L.

Кроме того, если обратиться к прямоугольному треугольнику, образуемый центральной точкой между правым глазом 511 и левым глазом 512, центральной точкой о окружности 520 гороптера и левым глазом 512, то радиус г выражается приведенной ниже формулой. То есть следует понимать, что радиус "r" может быть определен при помощи вписанного угла " " и расстояния "2а" между глазами.

r=a/sin ( ).

Поэтому, удаляя радиус г из двух приведенных выше формул, получим следующую формулу:

2·( - /2)·(a/sin(r))=L.

Из приведенной выше формулы видно, что если известны угол " ", половина расстояния между глазами "а" и размер "L" входного изображения, может быть получен вписанный угол " ".

Таким образом, в третьем примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения, путем задания малого угла " " и максимальной степени искажений "Qmax" можно установить точку схождения так, чтобы искажение между центром и краями экрана было сделано равным или меньше максимальной степени искажений, и можно задать окружность гороптера.

На фиг.16 показана схема, иллюстрирующая четвертый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот четвертый пример модуля 130 трехмерного преобразования предназначен для определения точки схождения для подавления увеличения искажения изображения на поверхности дисплея и для увеличения или уменьшения размера (ширины) входного изображения таким образом, чтобы отобразить входное изображение на всей поверхности дисплея. Этот четвертый пример модуля 130 трехмерного преобразования включает в себя модуль 341 проецирования изображения на гороптер, модуль 342 установки точки схождения, модуль 343 масштабирования, модуль 346 проецирования на поверхность дисплея для правого глаза и модуль 347 проецирования на поверхность дисплея для левого глаза.

Модуль 342 установки точки схождения предназначен для установки точки схождения и выдачи радиуса "r", который основан на этой точке схождения, и угла " ". Модуль 342 установки точки схождения устанавливает точку схождения, используя расстояние "2а" между глазами, расстояние "d" наблюдения, максимальную степень искажения "Qmax", малый угол " " и размер "2М" поверхности дисплея.

Модуль 343 масштабирования предназначен для увеличения или уменьшения (увеличения или уменьшения масштаба) нестереоскопического изображения, подаваемого из модуля 120 обработки сигнала через линию 129 сигнала, в соответствии с точкой схождения, установленной модулем 342 установки точки схождения.

Модуль 341 проецирования изображения на гороптер предназначен для проецирования нестереоскопического изображения, увеличенного или уменьшенного с помощью модуля 343 масштабирования, на цилиндрическую поверхность, включающую в себя окружность гороптера. Следует отметить, что модуль 341 проецирования изображения на гороптер представляет собой пример модуля проекции на цилиндрическую поверхность, описанного в формуле изобретения.

Как и в первом примере, модуль 346 проецирования на поверхность дисплея для правого глаза и модуль 347 проецирования на поверхность дисплея для левого глаза предназначены для проецирования изображения гороптера на поверхности дисплея для правого глаза или левого глаза. Следует отметить, что модуль 346 проецирования на поверхность дисплея для правого глаза и модуль 347 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.

На фиг.17 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и поверхностью дисплея. В этом четвертом примере, аналогично третьему примеру, угол " " определяют таким образом, что степень искажений, относительно малого угла " " можно сделать меньше максимальной степени искажений "Qmax". Затем на основе угла " " определяют окружность гороптера и, кроме того, определяют размер входного изображения.

Поскольку конечная точка 538 входного изображения расположена на окружности 520 гороптера, угол, под которым рассматривают конечную точку 538 входного изображения из правого глаза 511 и левого глаза 512, равен " ". Кроме того, если обратиться к прямоугольному треугольнику, образованному пересечением 548 линии, соединяющей левый глаз 512 и конечную точку 538 входного изображения, и поверхности 540 дисплея, пересечением 545 линии, соединяющей левый глаз 512 и точку 535, расположенную непосредственно перед левым глазом, и поверхности 540 дисплея, и положением 512 левого глаза, то угол, образованный в точке 548 пересечения из левого глаза 512, равен " /2- ". Кроме того, если обратиться к прямоугольному треугольнику, включающему в себя вершину Т, то угол, образованный в точке 549 пересечения из вершины Т, равен "tg^-1(x/a)".

Здесь, х удовлетворяет следующему соотношению:

х:а=(x+d):M,

и поэтому может быть записано следующим образом:

х=a·d/(M-a).

Поэтому внутренний угол в точке 549 пересечения выражается как " -tg^-1(x/a)". В соответствии с этим, угол " " определяют приведенной ниже формулой. То есть окружность гороптера определяют путем установки таким образом, чтобы была справедлива следующая формула:

= -( /2)+tg^-1(x/a).

Кроме того, как рассчитано в третьем примере, угол, под которым видна центральная точка о окружности 520 гороптера из точки 537 пересечения и конечной точки 538 входного изображения, выражается как "2·( - /2)". В данном случае длина дуги окружности соответствует размеру (ширине) входного изображения "L". Таким образом, будет справедлива следующая формула:

L=2·( - /2)·r.

В третьем примере размер входного изображения зафиксирован, в то время как в данном четвертом примере размер входного изображения может изменяться, и входное изображение формируют с увеличением или уменьшением с помощью модуля 343 масштабирования таким образом, чтобы удовлетворять приведенной выше формуле.

Таким образом, в четвертом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения точка схождения может быть установлена так, чтобы искажения между центром и краями экрана можно было бы сделать равными или меньше максимальной степени искажений, и может быть задана окружность гороптера. Кроме того, входное изображение можно масштабировать с увеличением или уменьшением таким образом, чтобы входное изображение можно было отображать на всей поверхности дисплея.

На фиг.18 показана схема, иллюстрирующая пятый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот пятый пример модуля 130 трехмерного преобразования предназначен для генерирования стереоскопического изображения путем проецирования нестереоскопического изображения на плоскости наклона-сдвига, соответствующие соответствующим глазам, с последующим проецированием получаемых изображений на поверхность дисплея без выполнения процедуры проецирования нестереоскопического изображения на окружность гороптера. В этом отношении, как показано ниже, изображение, отображаемое в соответствии с этим пятым примером, эквивалентно изображению, отображаемому через окружность гороптера, пояснявшемуся со ссылкой в первый - четвертый примеры. Поэтому в одном случае предполагается, что для генерирования стереоскопического изображения предполагают наличие окружности гороптера, и радиус этой окружности гороптера задают как параметр. Этот пятый пример модуля 130 трехмерного преобразования включает в себя модуль 354 установки плоскости наклона-сдвига для правого глаза, модуль 355 установки плоскости наклона-сдвига для левого глаза, модуль 356 проецирования на поверхность дисплея для правого глаза и модуль 357 проецирования на поверхность дисплея для левого глаза.

Модуль 354 установки плоскости наклона-сдвига для правого глаза предназначен для установки, в предположении, что продолжение точки зрения, для которой точка схождения находится на равном расстоянии от двух глаз, рассматривают правым глазом, плоскости наклона-сдвига, которая перпендикулярно пересекает это продолжение точки зрения, и для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала через линию 129 сигнала, в качестве изображения наклона-сдвига для правого глаза. Модуль 355 установки плоскости наклона-сдвига для левого глаза предназначен для установки, в предположении, что продолжение точки зрения, для которой точка схождения находится на равном расстоянии от двух глаз, рассматривают левым глазом, плоскости наклона-сдвига, которая перпендикулярно пересекает это продолжение точки зрения, и для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала через линию 129 сигнала, в качестве изображения наклона-сдвига для левого глаза. Модуль 354 установки плоскости наклона-сдвига для правого глаза и модуль 355 установки плоскости наклона-сдвига для левого глаза выполняют проецирование на поверхности наклона-сдвига для правого и левого глаз на основе расстояния "2а" между глазами, радиуса "r" окружности гороптера, предполагаемого расстояния "d" наблюдения и расстояния "k" до плоскости наклона-сдвига. Следует отметить, что каждая из плоскостей наклона-сдвига представляет собой пример плоскости облучения, описанной в формуле изобретения. Кроме того, модуль 354 установки плоскости наклона-сдвига для правого глаза и модуль 355 установки плоскости наклона-сдвига для левого глаза представляют собой примеры модуля проецирования плоскости облучения, описанного в формуле изобретения.

Модуль 356 проецирования на поверхность дисплея для правого глаза предназначен для проецирования изображения наклона-сдвига для правого глаза на поверхность дисплея для правого глаза. Модуль 357 проецирования на поверхность дисплея для левого глаза предназначен для проецирования изображения наклона-сдвига для левого глаза на поверхность дисплея для левого глаза. Модуль 356 проецирования на поверхность дисплея для правого глаза и модуль 357 проецирования на поверхность дисплея для левого глаза выполняют проецирование на поверхности дисплея для правого и левого глаз на основе расстояния "2а" между глазами, радиуса "r" окружности гороптера и предполагаемого расстояния "d" наблюдения. Изображение, проецируемое на поверхность дисплея для правого глаза, называется изображением для правого глаза, и изображение, проецируемое на поверхность дисплея для левого глаза, называется изображением для левого глаза. Изображения для правого глаза и левого глаза передают в модуль 160 последующей обработки через линию 139 сигнала. Следует отметить, что модуль 356 проецирования на поверхность дисплея для правого глаза и модуль 357 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанные в формуле изобретения.

На фиг.19 показана схема, иллюстрирующая одну форму проецирования на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Пересечение центральной линии между правым глазом 511 и левым глазом 512 и окружностью 520 гороптера представляет собой точку схождения 527, которая расположена на равном расстоянии от двух глаз. Плоскость 550 наклона-сдвига для правого глаза представляет собой плоскость, которая перпендикулярно пересекает в точке 551 продолжение точки зрения, в которой точка 527 схождения видна из правого глаза 511. Плоскость 560 наклона-сдвига для левого глаза представляет собой плоскость, которая перпендикулярно пересекает в точке 561 продолжение точки зрения, в которой точка схождения 527 видна из левого глаза 512. Предположим, что расстояние между отрезком, соединяющим положение правого глаза 511 и положение левого глаза 512, и отрезком, соединяющим точки 551 и 561, составляет расстояние "k" до плоскости наклона-сдвига.

В данном случае предполагается, что изображения на плоскости 550 наклона-сдвига для правого глаза и на плоскости 560 наклона-сдвига для левого глаза проецируют на плоскость 570 дисплея. Предположим, что расстояние между правым и левым глазами 511 и 512 и поверхностью 570 дисплея составляет расстояние "d" наблюдения. Изображение, формируемое в точке 552, которая расположена на расстоянии "S" от точки 551 на плоскости 550 наклона-сдвига для правого глаза, отображают в положении 571 дисплея на поверхности 570 дисплея. Изображение, формируемое в точке 562, которая расположена на расстоянии "S" от точки 561 на плоскости 560 наклона-сдвига для левого глаза, отображают в положении 572 дисплея на поверхности 570 дисплея. При этом линия, соединяющая правый глаз 511 и точку 571, и линия, соединяющая левый глаз 512 и точку 572, пересекаются друг с другом в точке 522 пересечения на окружности 520 гороптера. Таким образом, изображение, отображаемое в соответствии с этим пятым примером, эквивалентно изображению, отображаемому через окружность гороптера, пояснявшуюся со ссылкой на первый-четвертый примеры.

На фиг.20 показана схема, иллюстрирующая частный пример проецирования на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Часть (а) фиг.20 иллюстрирует систему координат входного изображения I (p, q), передаваемого из модуля 120 обработки сигнала через линию 129 сигнала. Поскольку входное изображение представляет собой нестереоскопическое изображение, используют двумерную систему координат. Начало системы координат установлено в центральной точке входного изображения. Кроме того, предполагается, что размер (ширина) входного изображения составляет "2L".

В части (b) на фиг.20 иллюстрируется система координат плоскостей наклона-сдвига, на которые проецируют изображения наклона-сдвига. Поскольку плоскости наклона-сдвига являются трехмерными, в данном случае используют трехмерную систему координат (х, у, z). Начало системы координат установлено в центре между правым глазом 511 и левым глазом 512. Часть (b) фиг.20 представляет собой чертеж, на котором показан вид из направления, перпендикулярного плоскостям наклона-сдвига, то есть, из направления, перпендикулярного оси Y.

Если считать, что угол, под которым рассматривают точку схождения на окружности 520 гороптера из правого глаза 511 и из левого глаза 512, представляет собой угол " " схождения, каждая из плоскости 550 наклона-сдвига для правого глаза и плоскости 560 наклона-сдвига для левого глаза имеет угол " /2" относительно горизонта.

Если обратиться к точке 582 пересечения перпендикуляра к линии, соединяющей два глаза из точки 561 на плоскости 560 наклона-сдвига для левого глаза, расстояние между левым глазом 512 и точкой 582 пересечения выражается как "k·tg( /2)". Поэтому расстояние между точкой 589, которая находится на расстоянии, равном расстоянию "k" до плоскости наклона-сдвига от начала координат, вдоль оси Z, и точкой 561 на плоскости 560 наклона-сдвига для левого глаза, выражается как "a-k·tg( /2)". Поэтому, соотношение между изображением L (х, у, z) наклона-сдвига для левого глаза на плоскости 560 наклона-сдвига для левого глаза и входным изображением I (p, q) представлено следующей формулой:

L(х, у, z)=I((x+а-k·tg( /2))/(cos( /2)), у),

где для этого изображения L (х, у, z) наклона-сдвига для левого глаза справедливо следующее:

z=k-((х+а-k·tg( /2))/sin( /2)).

Кроме того, аналогично, соотношение между изображением R (х, у, z) наклона-сдвига для правого глаза на плоскости 550 наклона-сдвига для правого глаза и входным изображением I (p, q) представлено следующей формулой:

R(x, у, z)=I((х-а+k·tg(r/2))/(cos( /2)), у),

где для этого изображения R (х, у, z) наклона-сдвига для правого глаза справедливо следующее:

z=k+((х-а+k·tg( /2))/sin( /2)).

На фиг.21 показана схема, иллюстрирующая частный пример проецирования на поверхность дисплея в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

В части (а) фиг.21 иллюстрируется система координат плоскостей наклона-сдвига и поверхности дисплея. Здесь используется трехмерная система координат (х, у, z).

В части (b) на фиг.21 иллюстрируется система координат изображения J(s, t), проецируемого на поверхность дисплея. Отображаемое изображение, соответственно, получают для правого глаза 511 и левого глаза 512. Поскольку каждое изображение представляет собой двумерное изображение, используют двумерную систему координат.

Начало системы координат установлено в центральной точке отображаемого изображения.

На этот раз изображение DL (x_L, у_L z_L) на поверхности 570 дисплея, которое проецируют из левого глаза 512 через точку L (x₀, y₀, z₀) на изображении наклона-сдвига для левого глаза, определяется следующей формулой:

D_L(x_L, y _L, z_L)=J(x_L, y_L)=L(x ₀, y₀, z₀).

Кроме того, поскольку расстояние от положения наблюдения равно расстоянию d наблюдения, получают z_R=d, и справедливо следующее выражение:

(х₀+а)/(x_L+а)=у ₀/y_L=z₀/d,

z ₀>0.

В этом отношении, как поясняется со ссылкой на фиг.20, справедливо следующее выражение:

z₀=k-((x₀+а=k·tg( /2))/sin( /2)).

Следует отметить, что, хотя здесь приведены пояснения для изображения D_L(x_L , у_L z_L), которое проецируют из левого глаза 512, изображение D_R(x_R, у_R , z_R) на поверхности 570 дисплея, которое проецируют из правого глаза 511 через точку R (x₀, y₀ , z₀) на изображении наклона-сдвига для правого глаза, также может быть определено аналогичным образом.

На фиг.22 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую, в соответствии с пятым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

Вначале, когда входное изображение, I (p, q) вводят из модуля 120 обработки сигнала через линию 129 сигнала (этап S921), входное изображение I (p, q), соответственно, проецируют в качестве изображения наклона-сдвига. Таким образом, в отличие от первого примера, предусмотрены отдельные плоскости наклона-сдвига для правого глаза и левого глаза, и отображаемое изображение генерируют следующим образом (цикл L902).

Когда входное изображение I (p, q) проецируют в качестве изображения R (х, у, z) наклона-сдвига для правого глаза на плоскость 550 наклона-сдвига для правого глаза (этап S922), выполняют перспективное преобразование для поверхности 570 дисплея, и получают трехмерное положение D_R (x_R, y_R, z _R) (этап S923). Затем из этого трехмерного положения получают двумерное изображение J (x_R, y_R) дисплея на поверхности дисплея (этап S924). Аналогично, когда входное изображение I (p, q) проецируют в качестве изображения L (х, у, z) наклона-сдвига для левого глаза на плоскость 550 наклона-сдвига для левого глаза (этап S922), выполняют перспективное преобразование для поверхности 570 дисплея и получают трехмерное положение D _L (x_L, y_L z_L) (этап S923). Затем из этого трехмерного положения получают двумерное изображение J (x_L, y_L) дисплея на поверхности дисплея (этап S924). Следует отметить, что этап S922 представляет собой пример процедуры проецирования плоскости облучения, описанный в формуле изобретения. Кроме того, этапы S923 и S924 представляют собой примеры процедуры проецирования на поверхность дисплея, описанные в формуле изобретения.

Таким образом, в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения нестереоскопическое изображение проецируют в качестве изображений наклона-сдвига для правого глаза и левого глаза соответственно на плоскости наклона-сдвига для правого глаза и левого глаза. Затем изображения наклона-сдвига для правого глаза и левого глаза проецируют на поверхность дисплея, расположенную на фактически измеренном или оцененном расстоянии наблюдения. Поэтому может быть сгенерировано стереоскопическое изображение для правого глаза 511 и левого глаза 512.

На фиг.23 показана схема, иллюстрирующая шестой пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот шестой пример предназначен для генерирования стереоскопического изображения в соответствии с картой глубины, которая основана на информации о степени глубины. Этот шестой пример модуля 130 трехмерного преобразования включает в себя модуль 361 генерирования карты глубины входного изображения, модуль 362 генерирования карты глубины на гороптере, модуль 363 объединения карт глубины, модуль 366 проецирования на поверхность дисплея для правого глаза и модуль 367 проецирования на поверхность дисплея для левого глаза.

Модуль 361 генерирования карты глубины входного изображения предназначен для генерирования карты глубины для нестереоскопического изображения (входного изображения), передаваемого из модуля 120 обработки сигнала через линию 129 сигнала. Карта глубины предназначена содержать информацию, относящуюся к степени глубины для каждого пикселя, и ее получают в результате оценки на основе, например, яркости, высокочастотного компонента, движения, насыщенности и т.п. Например, в публикации № 2007-502454 находящейся на экспертизе заявки на японский патент описан модуль генерирования изображения с множеством точек обзора, который генерирует карту глубины на основе кромок, детектируемых во входном изображении. Следует отметить, что модуль 361 генерирования карты глубины входного изображения представляет собой пример модуля генерирования информации о степени глубины, описанного в формуле изобретения.

Модуль 362 генерирования карты глубины на гороптере предназначен для генерирования карты глубины для гороптера. Как в первом примере, гороптер задан так, что размер окружности гороптера задается информацией об окружности гороптера, а соотношение относительного положения двух глаз определяется расстоянием "2а" между глазами.

Модуль 363 объединения карт глубины предназначен для объединения карты глубины входного изображения, сгенерированной модулем 361 генерирования карты глубины входного изображения, с картой глубины на гороптере, сгенерированной модулем 362 генерирования карты глубины на гороптере. Следует отметить, что модуль 363 объединения карты глубины представляет собой пример модуля объединения информации о степени глубины, описанного в формуле изобретения.

Модуль 366 проецирования на поверхность дисплея для правого глаза предназначен, в случае подачи нестереоскопического изображения из модуля 120 обработки сигнала через линию 129 сигнала, для проецирования стереоскопического изображения для правого глаза на поверхность дисплея для правого глаза с учетом объединенной карты глубины, полученной с помощью 363 объединения карты глубины. Кроме того, модуль 367 проецирования на поверхность дисплея для левого глаза предназначен, в случае подачи нестереоскопического изображения из модуля 120 обработки сигнала через линию 129 сигнала, для проецирования стереоскопического изображения для левого глаза на поверхность дисплея для левого глаза с учетом объединенной карты глубины, полученной с помощью модуля 363 объединения карты глубины.

На фиг.24 показана схема, иллюстрирующая общую схему обработки, выполняемую шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

В этом шестом примере информацию о степени глубины оценивают с помощью модуля 361 генерирования карты глубины входного изображения и объединяют с гороптером. Таким образом, в дополнение к ощущению глубины с использованием описанного выше характера окружности гороптера стереоскопическое ощущение может быть дополнительно улучшено путем дополнительного добавления информации о степени глубины, соответствующей трехмерной структуре сцены.

Например, поскольку точка 621 после объединения расположена перед окружностью гороптера, ее проекция на поверхность дисплея воспринимается как расположенная в более близком положении. Кроме того, поскольку точка 622 после объединения расположена позади окружности гороптера, ее проекция на поверхность дисплея воспринимается как расположенная в более дальнем положении.

На фиг.25 показана схема, иллюстрирующая пример карты глубины на гороптере, в соответствии с шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

В данном случае карта глубины поверхности гороптера обозначена dp_H . Гороптер имеет трехмерную форму, включающую в себя окружность гороптера, и задан расстоянием от плоскости х. То есть карта глубины на поверхности гороптера представляет собой функцию х и y, и представлена следующей формулой:

dp _H(х, y)=z (х, у).

При этом если считать, что расстояние до гороптера от плоскости х относительно координат (х_i, у_i) составляет d_i, тогда функция z (х, у) задана следующей формулой:

z (x_i, y_i)=d_i (i=1, 2, ,n).

На фиг.26 показана схема, иллюстрирующая пример информации о степени глубины, которую оценивают с помощью шестого примера модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.

В данном случае карта глубины с информацией о степени глубины представлена как dp_i. Информация о степени глубины предназначена для указания степени глубины, соответствующей каждому пикселю, и представлена как трехмерная информация. То есть карта глубины с информацией о степени глубины представляет собой функцию от х и у и представлена следующей формулой:

dp _i(x, у)=z(x, у).

При этом если предполагается, что информация о степени глубины от плоскости х относительно координат (х_i, у_i) имеет значение е _i, функция z (х, у) задана следующей формулой:

z(x_i, y_i)=e_i (i=1, 2, ,n).

На фиг.27 показана схема, иллюстрирующая примерную конфигурацию модуля 363 объединения карт глубины в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Как описано выше, модуль 363 объединения карт глубины предназначен для объединения карты глубины входного изображения, которую генерируют с помощью модуля 361 генерирования карты глубины входного изображения, с картой глубины на поверхности гороптера, которая сгенерирована модулем 362 генерирования карты глубины на поверхности гороптера. Модуль 363 объединения карт глубины включает в себя модуль 3631 расчета среднего значения, блок 3632 вычитания, и сумматор 3633.

Модуль 3631 расчета среднего значения предназначен для расчета среднего значения карт глубины для каждого входного изображения. Блок 3632 вычитания разработан для вычитания среднего значения карт глубины для каждого входного изображения из карты глубины для каждого пикселя входного изображения. Таким образом, получают компоненты АС карт глубины относительно среднего значения в качестве центрального значения. Сумматор 3633 предназначен для суммирования компонентов АС карт глубины входного изображения, передаваемого из блока 3632 вычитания, с картой глубины поверхности гороптера. Таким образом, может быть получена объединенная карта глубины на поверхности гороптера.

На фиг.28 показана схема, иллюстрирующая пример стереоскопического изображения, генерируемого в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. В этом примере входное нестереоскопическое изображение проецируют на изображение для левого глаза 630 на изогнутую поверхность 620, соответствующую картам глубины, и проецируют на изображение для правого глаза 640, соответствующее соответствующим точкам на искривленной поверхности 620.

Например, точку 631 изображения для левого глаза 630, которую рассматривают из левого глаза 512, проецируют на точку 621 на искривленной поверхности 620. Затем, когда точку 621 рассматривают из правого глаза 511, точку 621 проецируют на точку 641 на изображении для правого глаза 640. Аналогично точку 632 на изображении для левого глаза 630, которую рассматривают левым глазом 512, проецируют на точку 622 на искривленной поверхности 620. Затем, когда точку 622 рассматривают правым глазом 511, точку 622 проецируют на точку 642 изображения для правого глаза 640.

Следует отметить, что, хотя на этом чертеже для удобства пояснения изображение для левого глаза 630 и изображение для правого глаза 640 представлены со сдвигом положения относительно друг друга в направлении z, на самом деле оба они расположены на одной и той же плоской поверхности.

На фиг.29 показана схема, иллюстрирующая другой пример стереоскопического изображения, генерируемого, в соответствии с шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. На этом чертеже входное нестереоскопическое изображение проецируют в качестве изображения (входного изображения 650), которое рассматривают из центра 513 между правым глазом и левым глазом, на искривленную поверхность 620, соответствующую картам глубины, и проецируют на изображение для левого глаза 630 и изображение для правого глаза 640, соответствующие соответствующим точкам на искривленной поверхности 620.

Например, точку 651 на входном изображении 650, которую рассматривают из центра 513, проецируют в точку 621 на искривленной поверхности 620. Затем, когда точку 621 рассматривают с помощью левого глаза 512, точку 621 проецируют в точку 631 на изображении для левого глаза 630. Когда точку 621 рассматривают с помощью правого глаза 511, точку 621 проецируют в точку 641 на изображении для правого глаза 640. Аналогично, когда точку 652 на входном изображении 650, которую рассматривают из центра 513, эту точку 652 проецируют на точку 622 на искривленной поверхности 620. Затем, когда точку 622 рассматривают с помощью левого глаза 512, точку 622 проецируют в точку 632 на изображении для левого глаза 630. Когда точку 622 рассматривают с помощью правого глаза 511, точку 622 проецируют в точку 642 на изображении для правого глаза 640.

Следует отметить, что, хотя на данном чертеже для удобства пояснения изображение для левого глаза 630, изображение для правого глаза 640 и входное изображение 650 иллюстрируются со сдвигом положения относительно друг друга в направлении z, на самом деле все они расположены на одной и той же плоской поверхности.

Таким образом, в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения, карту глубины, которая основана на информации о степени глубины, объединяют при помощи стереоскопического зрения, в котором используется гороптер, пояснявшийся со ссылкой на другие варианты выполнения, обеспечивая таким образом возможность генерирования более выраженного стереоскопического изображения.

Следует отметить, что вариант выполнения настоящего изобретения иллюстрирует пример воплощения настоящего изобретения, и, как описано выше, имеет соответствующую взаимосвязь с частными заявленными в формуле изобретения объектами. Однако настоящее изобретение не ограничивается этим вариантом выполнения, и различные изменения могут быть внесены без выхода за пределы объема настоящего изобретения.

Кроме того, процедуры обработки, пояснявшиеся в варианте выполнения настоящего изобретения, можно считать способами, имеющими описанные выше последовательности процедур, или, кроме того, можно рассматривать как программу, обеспечивающую выполнение компьютером описанной выше последовательности процедур, или как носитель записи, на котором записана эта программа. Такой носитель записи может быть реализован с использованием, например CD (компакт-диск), MD (мини-диск), DVD (цифровой универсальный диск), карты памяти, диска Blue-ray (зарегистрированный товарный знак) или тому подобного.

Пояснение номеров ссылочных позиций

110 модуль ввода сигнала изображения

120 модуль обработки сигнала

130 модуль трехмерного преобразования

140 модуль установки параметра

150 модуль измерения расстояния наблюдения

160 модуль последующей обработки

170 модуль преобразования формата

180 модуль выбора источника

190 модуль дисплея

311, 321, 331, 341 модуль проецирования изображения на гороптер

316, 326, 336, 346, 356, 366 модуль проецирования на поверхность дисплея для правого глаза

317, 327, 337, 347, 357, 367 модуль проецирования на поверхность дисплея для левого глаза

322, 332, 342 модуль установки точки схождения 343 модуль масштабирования

354 модуль установки плоскости наклона-сдвига для правого глаза

355 модуль установки плоскости наклона-сдвига для левого глаза

361 модуль генерирования карты глубины входного изображения

362 модуль генерирования карты глубины гороптера

363 модуль объединения карт глубины

520 окружность гороптера

530 изображение гороптера

540, 570 поверхность дисплея

620 искривленная плоскость после объединения

630 изображение для левого глаза

640 изображение для правого глаза

650 входное изображение

640 изображение для правого глаза

650 входное изображение.