аудиоуправляемый захват изображений

Формула изобретения

1. Способ управления захватом изображения, включающий

прием множества изображений, соответствующих периоду времени, который включает выбранный момент;

прием аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств приема аудиосигнала;

анализ принятого аудиосигнала для определения аудиособытия, связанного с желаемым выходным изображением; и

выбор по меньшей мере одного изображения из упомянутого множества изображений на основе упомянутого анализа принятого аудиосигнала для последующей обработки с получением желаемого выходного изображения;

при этом упомянутый анализ принятого аудиосигнала включает оценку основной частоты принятого аудиосигнала для определения по меньшей мере одного изображения из множества изображений, в котором объект, создающий аудиосигнал, находится наиболее близко к устройству для захвата изображений, предоставляющему упомянутое множество изображений.

2. Способ по п.1, в котором

прием упомянутого множества изображений включает захват множества изображений в течение периода времени, который включает выбранный момент, с использованием блока захвата изображений в ответ на подачу пользователем устройства для захвата изображений команды на спуск затвора в упомянутый выбранный момент; и

прием аудиосигнала включает захват аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата.

3. Способ по п.1 или 2, также включающий:

прием множества изображений, соответствующих первому интервалу времени, перед наступлением упомянутого выбранного момента.

4. Способ по п.1 или 2, также включающий:

прием множества изображений, соответствующих второму интервалу времени, после наступления выбранного момента.

5. Способ по п.1 или 2, в котором

упомянутые средства приема аудиосигнала включают один или более микрофонов.

6. Способ по п.1 или 2, в котором

упомянутые средства приема аудиосигнала включают микрофонный массив, состоящий из двух или более микрофонов.

7. Способ по п.6, также включающий:

оценку направления прихода аудиосигнала для определения момента, в который объект, создающий аудиосигнал, находится в желаемой части изображения.

8. Способ по п.7, в котором расположение упомянутого объекта, создающего аудиосигнал, по существу перпендикулярно упомянутому микрофонному массиву, используют для определения момента, в который объект находится в желаемой части изображения.

9. Способ по п.1 или 2, также включающий:

оценку энергии принятого аудиосигнала для определения события, представляющего интерес, в множестве изображений.

10. Способ по п.9, в котором резкое изменение энергии принятого аудиосигнала используют для определения желаемого момента наступления события, представляющего интерес.

11. Способ по п.1, также включающий:

использование упомянутой оценки основной частоты для выбора изображения, в котором объект, создающий аудиосигнал, приближается к устройству для захвата изображений, предоставляющему упомянутое множество изображений.

12. Способ по п.1 или 2, также включающий:

получение информации, связанной с расстоянием между устройством для захвата изображений, предоставляющим упомянутое множество изображений, и объектом, создающим аудиосигнал; и

регулировку приема аудиосигнала с учетом задержки, обусловленной временем распространения звука на упомянутое расстояние.

13. Устройство для управления захватом изображения, включающее:

блок приема изображений, предназначенный для приема множества изображений, соответствующих периоду времени, который включает выбранный момент;

блок приема аудиосигнала, предназначенный для приема аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата;

блок анализа, предназначенный для анализа принятого аудиосигнала для определения аудиособытия, связанного с желаемым выходным изображением; и

блок выбора, предназначенный для выбора по меньшей мере одного изображения из упомянутого множества изображений на основе упомянутого анализа принятого аудиосигнала для последующей обработки с получением желаемого выходного изображения;

при этом упомянутый блок анализа выполнен с возможностью оценки основной частоты принятого аудиосигнала для определения по меньшей мере одного изображения из множества изображений, в котором объект, создающий аудиосигнал, находится наиболее близко к устройству для захвата изображений, предоставляющему упомянутое множество изображений.

14. Устройство по п.13, также включающее:

средства спуска затвора для подачи команды на спуск затвора в выбранный момент для приема по меньшей мере одного изображения; при этом

блок приема изображений включает блок захвата изображений для захвата упомянутого множества изображений в течение периода времени, включающего выбранный момент, причем блок приема изображений реагирует на подачу пользователем устройства команды на спуск затвора в выбранный момент; и

блок приема аудиосигнала включает блок аудиозахвата для захвата аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата.

15. Устройство по п.13 или 14, в котором

блок приема изображений выполнен с возможностью приема множества изображений, соответствующих первому интервалу времени, перед наступлением упомянутого выбранного момента.

16. Устройство по п.13 или 14, в котором

блок приема изображений выполнен с возможностью приема множества изображений, соответствующих второму интервалу времени, после наступления выбранного момента.

17. Устройство по п.13 или 14, в котором

упомянутые средства приема аудиосигнала включают один или более микрофонов.

18. Устройство по п.13 или 14, в котором

упомянутые средства приема аудиосигнала включают микрофонный массив, состоящий из двух или более микрофонов.

19. Устройство по п.18, в котором

блок анализа выполнен с возможностью оценки направления прихода аудиосигнала, захваченного микрофонным массивом, для определения момента, в который объект, создающий аудиосигнал, находится в желаемой части изображения.

20. Устройство по п.19, в котором

блок анализа выполнен с возможностью определения того, что объект находится в желаемой части изображения, когда объект, создающий аудиосигнал, расположен по существу перпендикулярно микрофонному массиву.

21. Устройство по п.13 или 14, в котором

блок анализа выполнен с возможностью оценки энергии принятого аудиосигнала для определения события, представляющего интерес, в упомянутом множестве изображений.

22. Устройство по п.21, в котором

блок анализа выполнен с возможностью определения того, что желаемый момент наступления события, представляющего интерес, происходит при резком изменении энергии принимаемого аудиосигнала.

23. Устройство по п.13, которое выполнено с возможностью использования упомянутой оценки основной частоты для выбора изображения, в котором объект, создающий аудиосигнал, приближается к устройству для захвата изображений, предоставляющему упомянутое множество изображений.

24. Устройство по п.13 или 14, которое выполнено с возможностью

получения информации, связанной с расстоянием между устройством для захвата изображений, предоставляющим упомянутое множество изображений, и объектом, создающим аудиосигнал; и

регулировки приема аудиосигнала с учетом задержки, обусловленной временем распространения звука на упомянутое расстояние.

25. Машиночитаемый носитель, включающий компьютерную программу для управления захватом изображений, которая, при ее исполнении в устройстве обработки данных, конфигурирована для выполнения способа по любому из пп.1-12.

26. Модуль камеры, подключаемый к устройству обработки данных и включающий:

блок захвата изображений, реагирующий на подачу пользователем устройства обработки данных команды на спуск затвора в выбранный момент и предназначенный для захвата множества изображений в течение периода времени, который включает выбранный момент спуска затвора;

блок аудиозахвата, предназначенный для захвата аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата;

блок анализа, предназначенный для анализа захваченного аудиосигнала для определения аудиособытия, связанного с желаемым выходным изображением; и

блок выбора, предназначенный для выбора по меньшей мере одного изображения из упомянутого множества изображений на основе анализа захваченного аудиосигнала для последующей обработки с получением желаемого выходного изображения;

при этом упомянутый блок анализа выполнен с возможностью оценки основной частоты захваченного аудиосигнала для определения по меньшей мере одного изображения из множества изображений, в котором объект, создающий аудиосигнал, находится наиболее близко к блоку захвата изображений, предоставляющему упомянутое множество изображений.

Описание изобретения к патенту

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области формирования изображений, в частности к управлению захватом статичных изображений в соответствии с аудиоинформацией.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

В области технологии захвата изображений, наряду с обеспечением по возможности наилучшего качества изображения, многие камеры снабжают так называемой функцией съемки серии кадров. При наличии функции съемки серии кадров, когда пользователь нажимает кнопку спуска, устройство для захвата изображений обеспечивает получение нескольких изображений для захвата подходящего момента. Впоследствии пользователь может выбрать лучшее (или лучшие) изображение из указанного множества изображений. В более продвинутых системах пользователь устройства для захвата изображений может комбинировать несколько изображений или все захваченные изображения в одно составное выходное изображение с повышенным визуальным качеством.

В еще одном известном варианте осуществления функции съемки серии кадров получают множество изображений с различными временами экспозиции и выбирают желаемое (или желаемые) изображение в качестве выходного изображения или для последующей обработки с целью получения составного выходного изображения с повышенным визуальным качеством.

Однако по-прежнему сохраняются отдельные недостатки. При захвате изображения от пользователя может потребоваться быстрая реакция, чтобы поймать желаемый кадр. При этом, если фотографируемый объект движется, момент времени, в который осуществляется фотографирование, легко может оказаться неоптимальным, объект может не попасть в кадр и желаемый момент может быть упущен. Кроме того, в известных решениях с применением съемки серии кадров для выбора изображения с наилучшим качеством или для получения улучшенного выходного изображения всегда требуется последующая обработка захваченных изображений, которая может быть трудоемкой и вызывать трудности для пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В настоящем описании предложены улучшенный способ и техническое оборудование для реализации этого способа, посредством которых пользователь устройства для захвата изображений получает содействие при съемке фотографий с улучшенным качеством. Различные аспекты настоящего изобретения включают способ, устройство и компьютерную программу, отличительные особенности которых изложены в независимых пунктах формулы изобретения. Различные варианты осуществления настоящего изобретения раскрыты в зависимых пунктах формулы изобретения.

В соответствии с первым аспектом, способ согласно настоящему изобретению основан на идее, заключающейся в приеме множества изображений, соответствующих периоду времени, который включает выбранный момент; приеме аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата; анализе принятого аудиосигнала для определения аудиособытия, связанного с желаемым выходным изображением; и выборе по меньшей мере одного изображения из упомянутого множества изображений на основе упомянутого анализа принятого аудиосигнала для последующей обработки с получением желаемого выходного изображения.

В соответствии с одним из вариантов осуществления настоящего изобретения упомянутый способ также включает прием упомянутого множества изображений, включающий захват множества изображений в течение периода времени, включающего выбранный момент, с использованием блока захвата изображений в ответ на подачу пользователем устройства для захвата изображений команды на спуск затвора в упомянутый выбранный момент времени; а упомянутый прием аудиосигнала включает захват аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также прием множества изображений, соответствующих первому интервалу времени, перед наступлением упомянутого выбранного момента.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также прием множества изображений, соответствующих второму интервалу времени, после наступления выбранного момента.

В соответствии с одним из вариантов осуществления настоящего изобретения упомянутые средства аудиозахвата включают один или более микрофонов.

В соответствии с одним из вариантов осуществления настоящего изобретения упомянутые средства аудиозахвата включают микрофонный массив, состоящий из двух или более микрофонов.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также оценку направления прихода аудиосигнала для определения момента, в который объект, создающий аудиосигнал, находится в желаемой части изображения.

В соответствии с одним из вариантов осуществления настоящего изобретения для определения того, что объект находится в желаемой части изображения, используют расположение упомянутого объекта, создающего аудиосигнал, по существу перпендикулярно упомянутому микрофонному массиву.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также оценку энергии принимаемого аудиосигнала для определения события, представляющего интерес, в упомянутом множестве изображений.

В соответствии с одним из вариантов осуществления настоящего изобретения для определения упомянутого желаемого момента, соответствующего событию, представляющему интерес, используют резкое изменение энергии принимаемого аудиосигнала.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также оценку основной частоты принятого аудиосигнала для определения по меньшей мере одного изображения из упомянутого множества изображений, при котором объект, создающий аудиосигнал, находится наиболее близко к устройству для захвата изображений, предоставляющему упомянутое множество изображений.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также использование упомянутой оценки основной частоты для выбора изображения, при котором объект, создающий аудиосигнал, приближается к устройству для захвата изображений, предоставляющему упомянутое множество изображений.

В соответствии с одним из вариантов осуществления настоящего изобретения способ включает также получение информации, связанной с расстоянием между устройством для захвата изображений, предоставляющим упомянутое множество изображений, и объектом, создающим аудиосигнал; а также регулирование захвата аудиосигнала с учетом задержки, обусловленной временем распространения звука на упомянутое расстояние.

Система, выполненная в соответствии с настоящим изобретением, обеспечивает значительные преимущества. На базовом уровне она обеспечивает пользователю устройства для захвата изображений возможность получать фотографии с повышенным качеством или упрощает их получение путем анализа аудиосигнала, связанного с множеством изображений, для определения оптимального выходного изображения на основе множества изображений. А именно пользователь может захватывать изображения с повышенным качеством путем автоматического выбора из набора изображений, например, тех изображений, на которых объект, представляющий интерес, расположен в центре видоискателя, или в которых происходит конкретное аудиособытие (например, столкновение или взрыв), или объект приближается к камере (фронтальное изображение). При этом автоматически выбирается изображение, полученное в момент времени, наиболее близкий к желаемому аудиособытию.

В соответствии со вторым аспектом предложено устройство, включающее: блок приема изображений, предназначенный для приема множества изображений, соответствующих периоду времени, который включает выбранный момент; блок приема аудиосигнала, предназначенный для приема аудиосигнала, связанного с упомянутым множеством изображений, с использованием средств аудиозахвата; блок анализа, предназначенный для анализа принятого аудиосигнала с определением аудиособытия, связанного с желаемым выходным изображением; и блок выбора, предназначенный для выбора по меньшей мере одного изображения из упомянутого множества изображений на основе упомянутого анализа принятого аудиосигнала для последующей обработки с получением желаемого выходного изображения.

Эти и другие аспекты настоящего изобретения, а также связанные с ним варианты осуществления станут более очевидны из последующего подробного описания вариантов осуществления настоящего изобретения.

ЧЕРТЕЖИ

Далее будут более подробно описаны различные варианты осуществления настоящего изобретения со ссылками на приложенные чертежи, среди которых:

фиг.1 демонстрирует пример серии изображений, полученной с помощью функции съемки серии кадров;

фиг.2 демонстрирует пример многомикрофонного массива, входящего в состав устройства для захвата изображений;

фиг.3 демонстрирует пример функциональных блоков, реализованных в соответствии с вариантом осуществления настоящего изобретения;

фиг.4 демонстрирует типовой микрофонный массив, состоящий из множества микрофонов в конфигурации, формирующей луч;

фиг.5 демонстрирует пример оценки направления прихода звука для захватываемого аудиосигнала;

фиг.6 демонстрирует пример оценки уровня громкости захватываемого аудиосигнала и

фиг.7 демонстрирует пример оценки основной частоты захватываемого аудиосигнала.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Далее настоящее изобретение будет проиллюстрировано со ссылкой на устройства для захвата изображений в общем, а также с периодическим обращением к камерам в качестве общеизвестных примеров. Следует, однако, отметить, что настоящее изобретение не ограничено исключительно отдельными камерами, но может быть реализовано в любом устройстве для захвата изображений, включающем датчик изображений и средства обработки захватываемых изображений и аудиоинформации. Например, настоящее изобретение может использоваться в мобильном терминале, устройстве PDA, наладонном или портативном компьютере, оснащенном модулем камеры. Следовательно, настоящее изобретение следует также рассматривать с точки зрения устройства, получающего изображения от блока захвата изображений и/или аудиоинформацию от блока аудиозахвата, при этом устройство впоследствии обрабатывает принятое изображение и аудиоинформацию в соответствии с описанием вариантов осуществления настоящего изобретения.

В описанных ниже вариантах осуществления настоящего изобретения предложен способ управления устройством для захвата изображений при его работе в режиме съемки серии кадров. В режиме съемки серии кадров устройство для захвата изображений, например камера, конфигурировано для приема множества изображений при каждом спуске затвора. Количество изображений, получаемых в режиме съемки серии кадров, может представлять собой задаваемую по умолчанию настройку устройства для захвата изображений или может регулироваться пользователем в настройках устройства, при этом количество захватываемых изображений может изменяться от двух изображений до десятков или даже сотен изображений. Примеры, описанные ниже в вариантах осуществления настоящего изобретения, основаны на настройке, соответствующей захвату десяти изображений в каждой серии кадров.

При работе в режиме съемки серии кадров устройство для захвата изображений, как правило, выполнено с возможностью съемки множества изображений в течение периода времени, который охватывает, то есть включает желаемый момент спуска затвора. Предпочтительно, съемка серии изображений может начинаться еще до того, как кнопка спуска нажата до упора, а, например, еще при нажатии кнопки до половины, что позволяет регулировать фокусное расстояние для последующих изображений. Камера может быть выполнена с возможностью хранения заранее заданного количества изображений, полученных до и, соответственно, после полного нажатия кнопки. Например, в серии кадров из десяти изображений первые пять изображений могут быть захвачены после нажатия кнопки до половины, но до ее полного нажатия, а затем осуществляют захват оставшихся пяти изображений после полного нажатия кнопки.

Независимо от количества изображений, получаемых в серии при съемке серии кадров, устройство для захвата изображений может включать заранее заданное предельное значение, управляющее его работой так, чтобы изображения, захваченные раньше заранее заданного предела до полного спуска затвора, могут быть впоследствии отброшены без их последующей обработки или сохранения в память.

Фиг.1 демонстрирует пример серии из первых пяти изображений объекта, в данном случае, проезжающего мимо гоночного автомобиля, полученных при нажатии пользователем кнопки. Последние пять изображений не показаны на этом чертеже. Этот же пример, показанный на фиг.1, использован для иллюстрации описанных ниже вариантов осуществления настоящего изобретения.

В соответствии с вариантами осуществления настоящего изобретения, устройство для захвата изображений при работе в режиме съемки серии кадров и захвате множества изображений при съемке серии кадров выполнено также с возможностью захвата аудиосигнала, связанного с упомянутыми изображениями в серии кадров. Временной сегмент, для которого захватывают аудиосигнал, может представлять собой задаваемую по умолчанию настойку устройства для захвата изображений или может регулироваться пользователем в настройках устройства. Захват аудио предпочтительно начинается по существу в одно время с началом захвата изображений. Соответственно, устройство для захвата изображений предпочтительно выполнено с возможностью захвата подходящего временного сегмента, например пяти секунд, аудиосигнала, связанного с серией изображений, до того, как пользователь полностью нажмет кнопку, и соответственно, второго подходящего временного сегмента после полного нажатия кнопки пользователем.

Устройство для захвата изображений может хранить захваченный аудиосигнал в памяти для последующего анализа аудиосигнала. Альтернативно, анализ аудиосигнала, в соответствии с дальнейшим подробным описанием, может быть выполнен немедленно, без сохранения всего аудиосегмента в память.

Целью анализа захваченного аудиосигнала, связанного с изображениями в серии кадров, является определение момента (моментов), когда одно или более изображений этой серии кадров с наибольшей вероятностью включает изображение желаемого объекта с оптимальным качеством. Анализ захваченного аудиосигнала, связанного с упомянутым множеством изображений, может быть основан на определении направления прихода основных составляющих звука для определения момента, когда источник звука (то есть упомянутый объект) находится в желаемой части изображения, или любое изменение уровня громкости, спектральной составляющей или основной частоты может быть использовано для запуска алгоритма выбора одного или более изображений для дальнейшей обработки.

После идентификации наиболее подходящего момента времени одно или более изображений серии кадров, связанные с упомянутым моментом, могут быть выбраны в качестве изображений с оптимальным качеством. Изображение с оптимальным качеством может затем быть выбрано в качестве выходного изображения как такового, или одно или более изображений могут быть выбраны для последующей обработки, чтобы получить выходное изображение с улучшенным качеством.

Пользователю также предоставляется возможность выбора другого изображения в качестве выходного изображения, нежели изображение с оптимальным качеством, предлагаемое упомянутым анализом. Например, в примере на фиг.1 пользователь может выбрать изображение, захваченное при расположении гоночного автомобиля в правой части видоискателя, в качестве выходного изображения. Таким образом, захваченные изображения могут включать некоторые другие части события сцены, важные для пользователя.

Аудиосигнал может захватываться с помощью одного или более микрофонов, либо встроенных в устройство для захвата изображений, либо функционально связанных с ним и, предпочтительно, расположенных в непосредственной близости от устройства для захвата изображений. В частности, если необходимо определить направление прихода основных составляющих звука, то может применяться микрофонный массив, состоящий из двух или более микрофонов, предпочтительно, установленный на устройстве для захвата изображений. Пример подобного многомикрофонного массива представлен на фиг.2, на котором продемонстрирован отслеживаемый объект 200, изображение которого получают с помощью модуля 204 камеры устройства для захвата изображений, при этом данное изображение отображается в видоискателе 206 устройства. Устройство для захвата изображений включает также многомикрофонный массив 202, предпочтительно расположенный таким образом, что аудиозахват по направлению наведения модуля камеры может быть осуществлен максимально беспрепятственно.

Направленный многомикрофонный массив может включать два или более микрофонов. Как правило, минимальное расстояние между источником аудиосигнала (объектом) и любым из микрофонов массива превышает максимальное расстояние между микрофонами. Следовательно, применение, например, 3, 4, 5 или более микрофонов позволяет обеспечить улучшенную селективность по направлению.

Пример функциональных блоков для реализации вариантов осуществления настоящего изобретения продемонстрирован на фиг.3. Блок 300 захвата изображений включает датчик изображений, выполненный с возможностью захвата множества изображений серии при съемке серии кадров в соответствии с инструкциями, принимаемыми от блока 302 управления. Блок 302 управления, в свою очередь, подает инструкции в ответ на нажатие пользователем кнопки спуска затвора (не показана). Аналогично, блок 302 управления подает инструкции при нажатии пользователем кнопки спуска затвора в блок 304 аудиозахвата для запуска захвата аудиосигнала. Блок 304 аудиозахвата может включать упомянутые один или более микрофонов или многомикрофонный массив. Множество захваченных изображений может временно храниться в памяти 306 или сразу подвергаться процедуре отбора в блоке 308 выбора.

Процедура отбора в блоке 308 выбора управляется информацией, принимаемой из блока 310 анализа аудиосигнала, в котором захваченный аудиосигнал, связанный с упомянутым множеством изображений, анализируют для определения аудиособытия, связанного с желаемым выходным изображением. В результате упомянутого анализа затем в блоке 308 выбора может быть выбрано изображение, с наибольшей вероятностью имеющее наилучшее качество, в качестве собственно выходного изображения 314. Альтернативно, одно или более изображений из серии кадров могут быть выбраны в блоке 308 выбора для последующей обработки в блоке 312 обработки, чтобы получить выходное изображение 314 с лучшим качеством. В блоке 312 обработки к выбранным одному или более изображениям могут быть применены различные алгоритмы обработки изображений для получения составного выходного изображения с повышенным визуальным качеством, или, если множество изображений было выбрано для последующей обработки, они могут быть просто скомбинированы для получения улучшенного выходного изображения. Выходное изображение может затем, например, храниться в средствах хранения (не показаны на фиг.3) или быть отображено на дисплее (не показан на фиг.3).

Далее описаны более подробно различные варианты осуществления настоящего изобретения для реализации блока 310 анализа аудиосигнала, показанного на фиг.3, то есть варианты осуществления, предназначенные для анализа захваченного аудиосигнала, связанного с множеством изображений для определения аудиособытия, связанного с желаемым выходным изображением.

В соответствии с первым вариантом осуществления настоящего изобретения упомянутый анализ осуществляют путем оценки направления прихода аудиосигнала для определения момента, в который источник звука находится в желаемой части изображения. В соответствии с еще одним вариантом осуществления настоящего изобретения для оценки направления прихода аудиосигнала может применяться техника, известная как "формирование луча , при которой используют многомикрофонный массив.

Направление прихода аудиосигнала, то есть местоположение объекта в видоискателе камеры, может быть получено с использованием алгоритмов формирования луча. Типовой микрофонный массив, состоящий из множества (М) микрофонов в конфигурации, формирующей луч, показан на фиг.4.

Выходной сигнал микрофонного массива, показанного на фиг.4, задается как:

где Н_m(n) - фильтр формирования луча, a L - длина фильтров H₁, H₂, ,Н_м формирования луча. Наиболее простым вариантом фильтров H₁, H₂, ,Н_м являются линии задержки, что дает следующий выходной сигнал микрофонного массива;

где _m - задержка, соответствующая направлению прихода каждого из сигналов x₁, х₂, ,х_М. Направленность может быть также реализована в области частотного поддиапазона или, например, в области дискретного преобразования Фурье (discrete fourier transform, DFT). В таком случае задержка для каждого микрофона может зависеть от частоты.

Направление прихода звука от источника (см. фиг.2) относительно номинальной оси, перпендикулярной изображению видоискателя и микрофонному массиву, определяют путем нахождения оптимального значения задержки для каждой микрофонной линии. Задержку _m понимают как разницу расстояний между источником и различными микрофонами в соответствии со следующим выражением:

где s - координаты местоположения требуемого отслеживаемого источника аудиосигнала, х_m - местоположение микрофона m, х_i - местоположение микрофона i с нулевой задержкой , с - скорость звука. Следует отметить, что в данном варианте осуществления настоящего изобретения задержка в микрофоне i всегда устанавливается равной нулю. Микрофоном с нулевой задержкой, то есть микрофоном i, может быть назначен любой из микрофонов массива.

В соответствии с данным вариантом осуществления настоящего изобретения для определения местоположения источника аудиосигнала используют многомикрофонный формирователь луча, например, путем нахождения коэффициентов фильтров, максимизирующих выходную энергию микрофонного массива. В самом простом случае определяют значения задержки для линии каждого микрофона таким образом, чтобы выходная энергия имела максимальное значение:

Направление прихода аудиосигнала от аудиоисточника может быть определено, например, в диапазоне - /2 /2, где нулевой угол соответствует перпендикуляру к микрофонному массиву. На основе оптимальной задержки для линии каждого микрофона и с использованием информации о положении микрофонов (расстояния между микрофонами) требуемое направление прихода звука может быть определено путем решения уравнения:

При таком подходе направление прихода звука является одинаковым для каждого микрофона, причем расстояние до источника звука считают значительно превосходящим расстояния между микрофонами. Аналогичное определение временных задержек может выполняться как в горизонтальном, так и вертикальном направлении, если схема микрофонного массива является двумерной.

Фиг.5 демонстрирует пример оценки направления прихода звука для захватываемого аудиосигнала, соответствующего серии изображений на фиг.1. Соответствующее направление прихода звука определяют для каждого интервала времени, когда осуществляется захват изображения. Масштаб оси времени на фиг.5 соответствует масштабу оси времени на фиг.1, как проиллюстрировано ниже, при этом масштаб направления прихода представляет собой диапазон - /2 /2, причем нулевой угол располагается приблизительно в центре вертикальной оси.

Как можно видеть, кривая, оценивающая направление прихода аудиосигнала, достигает точки нулевого угла (то есть объект находится по существу перпендикулярно многомикрофонному массиву) в интервал времени, соответствующий третьему изображению. Это с наибольшей вероятностью указывает на то, что источник звука находится в центре видоискателя во время съемки третьего изображения и, соответственно, третье изображение можно рассматривать в качестве наиболее подходящего кандидата для оптимального выходного изображения.

В соответствии со вторым вариантом осуществления настоящего изобретения анализ захваченного аудиосигнала, связанного с упомянутым множеством изображений осуществляют путем определения уровня громкости аудиосигналов. Это довольно простой подход, при котором резкое изменение уровня громкости может применяться для выявления желаемого момента для захвата изображения. Для его реализации не требуется направленный микрофонный массив, для захвата аудиосигнала может быть использован одиночный микрофон. Уровень сигнала микрофона определяют для каждого отсчета, например, с использованием уравнения:

из которого может быть получена оценка уровня громкости как функция времени, потраченного на захват упомянутого множества изображений.

На фиг.6 продемонстрирован пример оценки уровня громкости захваченного аудиосигнала, соответствующего серии изображений, показанных на фиг.1. Соответствующий уровень громкости определяют для каждого интервала времени, в который захватывают изображение. Масштаб оси времени на фиг.6 соответствует масштабу оси времени на фиг.1, как показано ниже. Как можно видеть, в интервал времени, соответствующий третьему изображению, кривая уровня громкости быстро меняется и достигает максимального значения в этот интервал времени. Такое быстрое изменение может быть использовано как указание на то, что источник звука находится в центре видоискателя или по меньшей мере какое-то особое событие произошло приблизительно во время съемки третьего изображения. Альтернативно или дополнительно, максимальный уровень громкости может быть использован как указание на то, что источник звука был в центре видоискателя приблизительно во время съемки третьего изображения.

В соответствии с третьим вариантом осуществления настоящего изобретения анализ захваченного аудиосигнала, связанного с упомянутым множеством изображений, осуществляют путем определения изменения основной частоты звука, поступающего от объекта. В соответствии с общеизвестными свойствами эффекта Допплера объекты, приближающиеся к приемнику (или микрофону), характеризуются сдвигом частот в сторону более высоких частот, по сравнению с объектами, удаляющимися от приемника. Таким образом, путем определения интервала времени, в который происходит изменение с более высокой основной частоты на более низкую основную частоту, может быть также выявлено, когда объект, являющийся источником звука, находится наиболее близко к приемнику, то есть, в данном контексте, к устройству для захвата изображений.

Основная частота звука, источником которого является объект, может быть определена как величина, обратная временной задержке, соответствующей максимальному значению автокорреляции основного источника аудиосигнала. В соответствии с этим, предпочтительно, выполняют простой корреляционный анализ основного источника звука, причем задержку _n, максимизирующую автокорреляцию, в заранее заданном диапазоне возможных значений d определяют следующим образом:

где Ф_n(d,k) - нормализованная корреляция:

где

a k - интервал времени взятия отсчета, s_n - звуковой сигнал.

После этого основная частота звука, поступающего от объекта, может быть определена как величина, обратная упомянутому значению задержки.

На фиг.7 продемонстрирован пример оценки основной частоты захваченного аудиосигнала, соответствующего серии изображений, показанных на фиг.1. Соответствующую основную частоту определяют для каждого интервала времени, когда осуществляют захват изображения. Масштаб оси времени на фиг.7 соответствует масштабу оси времени на фиг.1, как показано ниже. Как можно видеть, во время захвата двух первых изображений основная частота является постоянной и более высокой, что указывает на приближение объекта к микрофону устройства для захвата изображений. Затем в интервал времени, соответствующий третьему изображению, происходит линейное изменение основной частоты до более низкого уровня, после чего основная частота остается постоянной и равной упомянутой более низкой частоте, что указывает на удаление объекта от микрофона устройства для захвата изображений. Таким образом, изменение во время съемки третьего изображения от более высокой основной частоты к более низкой основной частоте указывает на то, что источник звук был максимально близко к устройству для захвата изображений и, наиболее вероятно, находился в центре видоискателя, или по меньшей мере какое-то особое событие произошло приблизительно во время съемки третьего изображения.

В соответствии с одним из вариантов осуществления настоящего изобретения оценка основной частоты может использоваться для выбора изображения, соответствующего приближению объекта к микрофону устройства для захвата изображений, т.е. изображения, соответствующего более высокой основной частоте. Эта информация может использоваться, например, для получения фронтального изображения объекта.

В соответствии с одним из вариантов осуществления настоящего изобретения при нахождении объекта относительно далеко от камеры может потребоваться учет ограничения скорости распространения звука. Если известно, что расстояние до объекта составляет, например, 340 метров, необходимо учитывать задержку, равную приблизительно одной секунде, при захвате аудиоинформации и ее связывании с множеством захваченных изображений. Естественно, задержка должна корректироваться в соответствии с фактическим или оцененным расстоянием до объекта, например, на расстоянии 500 м задержка составляет около 1,5 секунды, а на расстоянии 170 м задержка составляет около 0,5 секунды.

В соответствии с одним из вариантов осуществления настоящего изобретения информация, указывающая расстояние до объекта, может извлекаться, например, из локального хранилища. Альтернативно, информация о расстоянии может оцениваться стереоскопической камерой, в которой два датчика изображений расположены на конкретном расстоянии в одном устройстве, что, таким образом, обеспечивает получение двух изображений с несколько отличающимися видами одной сцены. Эти отличия затем используют для оценки расстояния до конкретного объекта в кадре.

Специалистам в данной области техники понятно, что любой из вариантов осуществления настоящего изобретения, описанный выше, может быть осуществлен в сочетании с одним или более другими вариантами осуществления настоящего изобретения, если явно или неявно не указано, что конкретные варианты осуществления изобретения являются альтернативой друг другу.

Модуль камеры может быть реализован в устройстве для захвата изображения как его интегральная часть, то есть в виде встроенной структуры, или модуль камеры может представлять собой отдельный модуль, который включает необходимые функциональные возможности для захвата и/или обработки изображений и аудиосигналов и может подключаться к устройствам обработки данных различных типов.

Функциональные возможности вариантов осуществления настоящего изобретения могут быть реализованы в устройстве для захвата изображений предпочтительно в виде компьютерной программы, которая при исполнении ее в центральном процессорном блоке (central processing unit, CPU) или в специальном цифровом сигнальном процессоре (digital signal processor, DSP), обеспечивает реализацию устройством процедур настоящего изобретения. Функции компьютерной программы (SW) могут быть распределены по нескольким отдельным программным компонентам, взаимодействующим между собой. Компьютерное программное обеспечение может храниться в любых средствах памяти, например, на жестком диске персонального компьютера или на диске CD-ROM, откуда оно может загружаться в память устройства. Компьютерное программное обеспечение может также загружаться через сеть, например, с применением стека протоколов TCP/IP.

Для реализации средств настоящего изобретения возможно также применение аппаратных решений или комбинации аппаратных и программных решений. Соответственно, упомянутый выше компьютерный программный продукт может быть по меньшей мере частично реализован в виде аппаратного решения, например, в виде специализированной интегральной микросхемы схемы (ASIC) или программируемой вентильной матрицы (FPGA), в виде аппаратного модуля, включающего средства соединения этого модуля с электронным устройством, или в виде одной или более интегральных схем (integrated circuits, IC), при этом упомянутый аппаратный модуль или интегральные схемы включают также различные средства выполнения упомянутых задач программного кода, а упомянутые средства реализуют в виде аппаратного и/или программного обеспечения.

Очевидно, настоящее изобретение не ограничено исключительно описанными выше вариантами его осуществления и может быть модифицировано без выхода за рамки приложенной формулы изобретения.