РАБОТА КОМПЬЮТЕРА С ВИДЕОИЗОБРАЖЕНИЯМИ. СТАНДАРТЫ И ПРИНЦИПЫ ПОСТРОЕНИЯ ВИДЕОИЗОБРАЖЕНИЙ.

Работа компьютера с видеоизображениями. стандарты и принципы построения  видеоизображений.

1. Преобразователи форматов.

                TV-адаптеры (конверторы) или как их иногда называют преобразователи форматов позволяют на обычном телевизоре просматривать изображения созданные на компьютере и записывать эти изображения на видеомагнитофон. TV-адаптеры поддерживают телевизионные стандарты NTSC, PAL и европейский стандарт PAL/SECAM.

           Преобразователи форматов (например, VGA-TV конвертор) могут представлять собой отдельные внешние устройства со стандартным интерфейсом компьютерного монитора на входе и каким-либо телевизионным сигналом на выходе. В простейшем вари­анте конвертор только преобразует сигналы из RGB в один из интерфейсов телеприемника, но при этом требуется установка разрешения и частот синхро­низации графического адаптера, совпадающих со стандартом телеприемника. Для пользователя PC эти ограничения малоприятны, а иногда и невыполнимы. Более сложные конверторы имеют собственную буферную память, которая за­полняется вновь оцифрованным видеосигналом, снятым с выхода графического адаптера. На телевизионный выход информация из буфера выдается уже с те­левизионной частотой. Буфер может хранить одну, несколько или все строки экрана. От этого зависят ограничения на режим разрешения и соотношения частот регенерации графического адаптера и телевизионного монитора (в пос­леднем случае они вообще могут быть не связанными). Естественно, эти три варианта сильно отличаются по сложности и цене (конвертор с полноэкранным буфером самый дорогой). Однако, когда графический адаптер выводит движу­щееся изображение, смена которого привязана к кадровой синхронизации, при несовпадении кадровых частот на телевизионном экране движение будет иска­жаться. Общей проблемой конверторов является необходимость борьбы с мерцанием (flickering): поскольку в телеприемниках используется чересстрочная развертка, горизонтальная полоса шириной в пиксел будет отображаться с час­тотой 25 или 30 Гц, что улавливается глазом. Возможны и варианты встроенных адаптеров (ISA-карта), подключаемых к шине расширения PC и внутренне­му разъему графической карты (VFC или VAFC). Некоторые модели конверто­ров позволяют накладывать графическое изображение на внешний видеосигнал (например, для создания титров). Ввиду ограниченной горизонтальной разре­шающей способности телеприемников (полоса пропускания шире 5 МГц для телевизора как такового бессмысленна), возможность замены монитора телеви­зором для регулярной работы сомнительна. В стандарте NTSC обеспечивается разрешение 640х480, в PAL и  SECAM  -  800х600.   Однако такое разрешение реально достижимо только при использовании интерфейса S-Video. Композит­ный сигнал, как было сказано выше, не обеспечивает столь высокого разреше­ния. Microsoft рекомендует устанавливать на новых графических картах кроме стандартного интерфейса VGA (RGB-Analog) выход композитного сигнала и S-Video. Более того, рекомендуется предусмотреть возможность од­новременной работы VGA-монитора и TV-приемника, что не так-то просто обес­печить из-за различия параметров синхронизации.

2. Видеоовер­лейные платы (overlay board).

Вывод видеоизображе­ния на экран компьютерного монитора используется гораздо чаще. Видеоизображение выводится в окно, занимающее весь экран или его часть. Поскольку вывод видео перекрывает часть графического изображения, такой способ вывода называют видеооверлеем (Video Overlay), а платы, обеспечивающие данный режим, называют видеоовер­лейными (overlay board). Эти платы позволяют изменять размер окна видео так же, как и размер любого окна в Windows. В оверлейной плате для видеоизоб­ражения имеется специальный «слой» видеопамяти, независимой от видеобу­фера графического адаптера. В этом слое содержится оцифрованное растровое отображение каждого кадра видеосигнала. Поскольку для видеосигнала принято цветовое пространство в координатах Y-U-V, в этом слое памяти пикселы также отображаются в этом пространстве, а не в R-G-B, свойственном графическим адаптерам. В такой системе движущееся видеоизображение, видимое на экране монитора, существует лишь в оверлейном буфере, но никак не попадает в видео­память графического адаптера и не передается ни по каким внутренним цифро­вым шинам компьютера. В видеопамяти графического адаптера «расчищается» окно, через которое «выглядывает» видеоизображение из оверлейного буфера. Некоторый цвет (комбинация бит RGB) принимается за прозрачный. Оверлей­ная логика сравнивает цвет очередного пиксела графического буфера с этим прозрачным, и если он совпадает, вместо данного пиксела выводится соответ­ствующий пиксел видеооверлея. Если цвет не совпадает с прозрачным, то выво­дится пиксел из графического буфера. Таким образом, имея доступ к пикселам графического буфера, можно на видеоизображение накладывать графику для организации видеоэффектов или вывода в видеоокне «всплывающих» (PopUp) меню. Наложение производится на уровне потока бит сканируемых пикселов, который может передаваться в оверлейную плату через разъем Feature Connec­tor.

3. Фрейм-граббер (Frame Grabber или Video Capture).

Телевизионные сигналы от различных источников (наример от видеомагнитофона или видеокамеры) запоминаются в компьютере для их последующего воспроизведения или редактирования. Для того чтобы записывать и хранить телевизионное изображение в компьютере в виде файла, необходимы специальные устройства - видео оверлейными платами с средствами захвата видеоизображения. Такая оверлейная плата обычно имеет несколько входов для источ­ников аналогового видеосигнала и программно-управляемые средства выбора одного из них. Такое устройство обычно имеет в своем составе и фрейм-граббер (Frame Grabber) - средство захвата видеокадра. Его другое название - Video Capture. По команде оператора движущееся изображение может быть мгновенно зафиксировано в оверлейном буфере, после чего захваченный кадр может быть записан на диск в каком-либо графическом формате для последующей обработ­ки и использования. Для записи телепрограммы длительностью в две секунды требуется около 80 мегабайт на жестком диске. Поскольку файлы с телепрограммами занимают слишком много места на дисках их сжимают(упаковывают) аппаратными или программными средствами осуществляющими компрессию данных. Более совершенные устройства позволяют записывать в реальном времени последовательность видеокадров, выполняя их компрессию методами M-JPEG, DVI или INDEO (MPEG-кодирование требует слишком больших ресурсов для выполнения преобразования в реальном времени). Фрейм-граббер может и не иметь отношения к видеооверлею, а быть отдель­ным устройством, подключаемым к источнику видеосигнала и какому-либо интерфейсу компьютера. В этом случае видеоизображение наблюдается уже не на мониторе компьютера, а на обычном телевизоре, подключенном к тому же источнику видеосигнала или фрейм-грабберу. По команде оператора требуемый кадр фиксируется в буферной памяти фрейм-граббера, откуда по интерфейсу поступает в компьютер для обработки или (и) хранения.

4. TV-тюнер.

TV-тюнер  -   устройство приема видеосигналов с радиочастотного входа (ан­тенны), в сочетании с оверлейной платой позволяет просматривать телепрограм­мы на обычном мониторе компьютера. Тюнер может поддерживать стандарты цветопередачи PAL, SECAM и NTSC, но из-за несовпадения стандартов на про­межуточную частоту звукового сопровождения некоторые карты не принимают звуковое сопровождение отечественных телепрограмм.

5. Сжатие видеоизображений  (кодек — компрессор-декомпрессор видеосигнала).

Передача видеоизображения в цифровом виде, естественном для графической системы компьютера (Bitmap), требует обеспечить поток данных 175 Мбит/с, или около 22 Мбайт/с. О том, чтобы записывать такой поток данных даже на самый быстрый винчестер, пока не может быть и речи -  то, что интерфейс, например Ultra DMA, позволяет передавать данные со ско­ростью 33 Мб/с, вовсе не означает, что винчестер может поддерживать такой поток записи на физический носитель. Кроме того, этот поток заполнил бы диск емкостью 1 Гб всего за 44 секунды. Конечно, если пожерт­вовать количеством цветов и «опуститься», например, до режима High Color (16 бит на пиксел), то требуемый поток уменьшится до 116 Мбит/с. Но и такой поток не под силу выдержать компонентам современного компьютера. Выходом может быть только сжатие передаваемой информации. Выше уже отмечалось, что формат Bitmap является довольно расточитель­ным способом описания изображений. Соседние (по вертикали и горизонтали) элементы реального изображения обычно между собой сильно взаимосвязаны (коррелированны), поэтому имеются богатые возможности сжатия описания. Иллюстрация этому  -  очень большой коэффициент сжатия файлов *.BMP лю­бым архиватором. Если сжатие файлов данных при архивации обязательно тре­бует возможности точного восстановления исходных данных при распаковке, то при сжатии изображений в большинстве случаев можно позволить некоторые вольности, когда восстановленное изображение будет не совсем точно соответ­ствовать оригиналу. И наконец, соседние кадры движущегося изображения между собой в большинстве случаев тоже сильно связаны, что наводит на мысль о применении дифференциального описания кадров.  Все эти рассуждения под­водят нас к пониманию возможностей сжатия видеоинформации и принципов действия  кодеков  -  компрессоров-декомпрессоров видеосигнала. Как и в случае программного сжатия и восстановления данных, задача компрессии оказывается сложнее задачи восстановления (легко заметить, что распаковка файлов, напри­мер архиватором ARJ, происходит гораздо быстрее упаковки). Процедура сжа­тия может выполняться как одноступенчатым, так и двухступенчатым способом. В первом случае сжатие выполняется одновременно с записью в реальном мас­штабе времени. Во втором случае поток несжатых данных интенсивностью в несколько десятков Мбайт/с записывается на специальный (очень большой и очень быстрый) диск. По окончании записи фрагмента выполняется его сжатие, которое может занимать на порядок больше времени, чем сама запись. Деком­прессия, естественно, представляет интерес лишь в том случае, если она выпол­няется в реальном масштабе времени (к счастью, она и реализуется проще). Ряд кодеков позволяет осуществлять декомпрессию в реальном времени чисто программными способами, используя стандартный графический адаптер SVGA. Однако программная декомпрессия сильно загружает процессор, что неблаго­приятно сказывается на многозадачном использовании компьютера. Ряд сов­ременных дисплейных адаптеров имеют специальные аппаратные средства декомпрессии, разгружающие центральный процессор. На долю процессора ос­тается лишь организация доставки сжатого потока данных к плате адаптера.

Сжатие движущихся изображений.

Сжатие движущихся изображений включает внутрикадровое (intraframe com­pression) и межкадровое (interframe compression) сжатие. Для внутрикадрового сжатия используются методы, применяемые для сжатия неподвижных изобра­жений. В межкадровом сжатии применяется система ключевых фреймов (key frame), содержащих полную информацию о кадре, и дельта-фреймов (delta frame), содержащих информацию о последовательных изменениях кадров отно­сительно ключевых. Благодаря корреляции соседних кадров дельта-фреймы в общем случае несут гораздо меньше информации, чем ключевые, и, следова­тельно, поток их данных не так интенсивен. Периодическое вкрапление ключе­вых кадров позволяет избежать накопления ошибки в изображении, а также начинать прием потока в любой момент (дождавшись ближайшего ключевого фрейма). При съемке различных сюжетов межкадровая корреляция, конечно же, будет существенно варьироваться. Поэтому, чтобы оценить качество работы кодека, применяют, например, сюжеты типа «говорящие головы» (Talking heads) с вы­сокой степенью корреляции кадров и более сложные полнодвижущиеся изобра­жения (Actions)  -  карусель, где все элементы перемещаются. Оценка качества ведется как по объективным показателям, так и по субъективному восприятию. Объективными показателями является максимальная частота кадров (Frame Rate), которая обеспечивается без отбрасывания кадров, и процент отбрасыва­емых кадров (Drop Frames) при обработке потока со стандартной частотой кад­ров. Эти показатели характеризует производительность декомпрессора, которая может оказаться и недостаточной для обработки потока данных без потерь. Ин­тересен также и коэффициент загрузки центрального процессора (CPU Utiliza­tion) при отработке стандартного потока, по которому можно судить о возможности исполнения других задач во время видеовоспроизведения. В процессе декомпрессии может потребоваться масштабирование кадров, для того чтобы вписать изображение в окно заданного размера. В простейшем случае декомпрессия производится в масштабе 1:1, при этом видеоизображение обычно занимает лишь часть экрана. Примитивное масштабирование дости­гается дублированием пиксела  -  один пиксел видео копируется в несколько (например 4) смежных пикселов графического экрана. Однако при этом качест­во изображения заметно падает  -  крупные «кирпичики», из которых строится изображение, с небольшого расстояния выглядят плохо. Более тонкий механизм масштабирования выполняет интерполяцию цветов пикселов, при этом качество изображения заметно улучшается. Однако такое масштабирование уже требует значительных затрат вычислительных ресурсов, и если их недостаточно, то вывод видеоизображения в окно большого размера будет сопровождаться поте­рями кадров и, возможно, перебоями звукового сопровождения. Так что говоря о качестве вывода видео, следует всегда оговаривать масштаб или размер ви­деоэкрана.

Кодеки, применяемые для сжатия изображений

1)         JPEG (Joint Photographic Expert Group)  -  метод сжатия неподвижных изображений, основанный на одновременной обработке информации мат­рицы пикселов (например, 8х8) в пространстве Y-U-V с приоритетом со­хранения яркостной информации. Метод почти универсален: он позволяет обеспечивать и максимальную степень сжатия, правда при этом информа­ция восстанавливается с некоторыми потерями, и обеспечивать сжатие без потерь, но, конечно, в меньшей степени. Кроме того, возможен послойный прием изображения, когда сначала приходит грубое описание всей кар­тинки, затем следуют постепенные уточнения (утончения) деталей. Такая передача представляет ценность при использовании каналов связи с ограни­ченной производительностью, например в сети Интернет: быстро получив общий вид, можно отказаться от приема полного описания изображения, если оно не заинтересовало получателя. Конечно, все достоинства JPEG не могут использоваться одновременно  -  чем-то приходится жертво­вать. Степень сжатия зависит от характера изображения  -  лучше всего сжимается цветное изображение, несколько хуже  -  полутоновое серое. Черно-белое изображение для JPEG должно представляться в полутоно­вом формате, что, конечно, снижает эффективность его сжатия. В соответствии с алгоритмом сжатия JPEG, исходный сигнал преобразуется в последовательность неподвижных изображений, которые затем можно отредактировать избыточная информация из каждого кадра удаляется. Средняя степень сжатия - 30:1.

2)         M-JPEG (Motion JPEG)  - метод сжатия движущихся изображений. Суть этого метода заключается в том, что каждый кадр обрабатывается как отдельное статическое изображение, то есть выполняется только внутри-кадровое сжатие. M-JPEG не получил широкого распространения из-за больших затрат времени на компрессию и декомпрессию.

3)         DVI (Digital Video Interactive)  - система аппаратного сжатия движущих­ся видеоизображений с коэффициентом сжатия до 160:1 и записи звуко­вого сопровождения по методу ADPCM.

4)         Indeo (INtel viDEO)  -  одноступенчатый кодек на базе набора микрос­хем i82750, развитие системы DVI. Позволяет воспроизводить видео­записи и с программным декодированием (необходим PC не ниже 486SX-25, SVGA 256 цветов и звуковая карта с ADPCM для звукового сопровождения).

5)         Cinepak  -  программный кодек для воспроизведения «живого» видео в окне 320х240 пикселов.

6)         Кодеки MPEG. Кодеки, предназначенные для работы (по крайней мере, деком­прессии) в реальном масштабе времени, выпускаются MPEG (Motion Picture Expert Group  -  группа экспертов в области движущихся изображений). Пос­кольку видео без звука «живым» представить трудно, MPEG занимается и аудио-кодеками. Кодеки MPEG работают в пространстве Y-U-V, причем яркостная информация обрабатывается с большим разрешением, чем цветовая. В сжатом потоке данных присутствуют кадры нескольких типов:

• I (intrа)-фреймы  -  ключевые кадры, кодированные без ссылок на другие (то есть содержащие полное описание статического изображения).
• Р (predicted)  - фреймы содержат описание различий текущего кадра с предыдущим.
• В (bi-directional)  -  фреймы являются двунаправленными: они ссылаются и на кадр вперед, и на кадр назад.

Наличие двунаправленных кадров подразумевает, что декодер должен иметь буфер, по крайней мере, на три принятых кадра, а изображение будет выво­диться с некоторым отставанием от входного потока. Для того чтобы кодек мог быстро включиться в работу с любого места потока, I-фреймы должны вклю­чаться в поток регулярно (в MPEG-1  -  не реже, чем через 0,4 с). Степень сжатия примерно 30:1, но при использовании отбора опорных кадров степень сжатия возрастает до 200:1 при достаточно высоком качестве изображения. При использовании межкадрового сжатия записываются только отличия между двумя соседними последовательными кадрами. Но этот алгоритм не позволяет моделировать или редактировать отдельные элементы (фазы) движения.

 MPEG-1 (стандарт ISO/IEC 11172).

MPEG-1  -  стандарт ISO/IEC 11172, принятый еще в 1992 году. Полное назва­ние  -  «Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1,5 MBit/s»  -  раскрывает его суть: кодек предназна­чен для записи и воспроизведения движущихся изображений и связанно­го с ними аудиосопровождения на цифровом носителе с потоком данных до 1,5 Мбит/с. При этом обеспечивается качество изображения на уровне кассетного видеомагнитофона VHS (Video Home System) со стереофоничес­ким звуковым сопровождением. Исходное изображение  -  352х240 пиксе­лов, 30 кадров в секунду. В стандарт входит и программная реализация кодера и декодера на языке С. Скорость потока данных позволяет исполь­зовать в качестве носителя видеоинформации обыкновенный CD-ROM ,  и MPEG-1 используется в дисках CD-i. Однако декомпрессия требует большой мощности процессора, из-за чего диски CD-i без специаль­ной платы может воспроизводить лишь очень мощный компьютер. Из-за ограничений производительности воспроизводящих систем, для того что­бы кадры не пропадали, а звук не прерывался, изображение на дисках CD-i записывается с очень низким разрешением.

MPEG-2 ( стандарт ISO/IEC 13818).

MPEG-2 (ISO/IEC 13818)  -  кодек для высококачественной передачи изображений (720х480 пикселов), аудиоинформации и данных при потоке 2-80 Мбит/с. Стандарт предусматривает одновременную передачу мно­жества TV-каналов с возможностью шифрования для ограничения досту­па к информации. Аудиокодек многоканальный  -  имеет 2 стереоканала (фронт и тыл), обеспечивающих объемное звучание (Surround), и один низкочастотный с полосой до 100 Гц. MPEG-2 обеспечивает несколько уровней качества. Основной уровень обеспечивает качество на уровне телеприемника, высокие уровни используются в профессиональ­ной видеозаписи.

Уровни качества MPEG-2

MPEG-3.

То, что должно было стать MPEG-3, вылилось в высший уровень MPEG-2. Этот уровень обеспечивает качество телевидения высокой четкости ТВЧ (HDTV - High Definition TV).

MPEG-4.

MPEG-4  -  стандарт, ориентированный на интерактив­ное использование мультимедиа и сетевых коммуникаций. За счет приме­нения мощных аппаратных средств сжатия снижается скорость передачи данных с тем, чтобы видеоизображение можно было передавать по каналу с пропускной способностью 4800 - 64000 бит/с. Правда, при этом разрешение будет на уровне 176х144 пиксела при частоте до 10 кад­ров/с.

Стандарт MPEG-4 задает принципы работы с цифровым представлением медиаданных для трех областей: собственно интерактивного мультимедиа (включая продукты, распространяемые на оптических дисках и через Сеть), графических приложений (синтетического контента) и цифрового телевидения — DTV. Фактически формат задает правила организации среды, причем среды объектно-ориентированной. Он имеет дело не просто с потоками и массивами медиаданных, а с медиаобъектами.

При одном и том же битрейте и определённых условиях кодирования, качество изображения фильма в MPEG-4 может быть сравнимо или даже лучше, чем в случае применения MPEG-1 или MPEG-2. Алгоритм компрессии видео в MPEG-4 работает по той же схеме, что и в предыдущих форматах. При кодировании исходного изображения кодек сохраняет ключевые кадры, а вместо сохранения промежуточных — прогнозирует и сохраняет лишь информацию об изменениях в текущем кадре по отношению к предыдущему. Полученная таким образом информация помещается в файл. Компрессия звука чаще всего производится в формат MP3, Ogg Vorbis, WMA. Однако возможно использование любого кодека, вплоть до применяемого в DVD шестиканального AC-3.

Звуковая дорожка в MPEG-4 может быть моно, стерео и даже многоканальной AC3, аналогично используемый в DVD. Поддерживаются форматы звука: MP3, Ogg Vorbis, WMA, ACC, VGF, AC3 и другие.

MPEG-плейер.

MPEG-плейер  -  аппаратный декодер MPEG, обеспечивающий воспроиз­ведение с компакт-дисков форматов MPEG, CD-I, VideoCD,  -  является уже широко распространенным дополнением графического адаптера. В отличие от программных MPEG-декомпрессоров, он обеспечивает высокое качество вос­произведения с невысокой загрузкой процессора. В состав MPEG-плейера может входить и аудиодекодер, при этом на графической плате появляется не­много неожиданный дополнительный разъем аудиовыхода. Видеосигнал в сжатом формате может быть сохранен на вполне рядовом носителе информации (винчестер, CD) и воспроизведен с него на мониторе компьютера. С этой цифровой записью могут выполняться любые операции нелинейного монтажа (монтажа с произвольным доступом к кадрам). Возмож­ности такого монтажа определяются программным обеспечением и, по сути, безграничны (конечно, они определяются и производительностью компьюте­ра,  -  если монтаж одной минуты потребует, скажем, недели, то мало кто им будет пользоваться). Для обмена видеоданными с другими устройствами cжатый поток может быть передан, например, по шине FireWire или через средства телекоммуникаций . Если компьютер оборудован телекамерой со средствами компрессии и передачи изображений по телекоммуникационным ка­налам, то появляется возможность организации видеотелефона и даже видео­конференций.

6. ПОДКЛЮЧЕНИЕ НЕСКОЛЬКИХ МОНИТОРОВ.

Операционная система Windows  позволяет иметь в составе персонального компьютера до 9 мониторов, подключенных каждый к своему адаптеру. С помощью вкладки управления дисплеем можно отдельно настроить каждый дисплей. Операционная система Windows  создает в видеопамяти виртуальный рабочий стол, причем этот стол по размерам  может быть много  больше изображения, которое можно отобразить на одном дисплее. Первичный дисплей отображает всегда левый верхний угол так называемого виртуального рабочего стола, а дополнительные дисплеи могут видеть любую область виртуального рабочего стола. Одновременное отображение различных областей  и окон виртуального рабочего стола, для некоторого класса программ является единственной возможностью эффективной работы.