• Русский
  • English

Алгоритмы сжатия и передачи мультимедиа информации

Теория

Практика

 

Алгоритмы сжатия и передачи мультимедиа-информации. Теория

Лекция 1: Мультимедиа в мобильных устройствах
Лекция 2: Хранение мультимедиа
Лекция 3: Обработка мультимедиа
Лекция 4: Передача мультимедиа

Лекция 1: Мультимедиа в мобильных устройствах

  1. Цели и задачи курса. Место дисциплины в учебном процессе. Методические рекомендации по изучению курса.
  2. Понятие «мультимедиа». Компоненты мультимедиа: цифровые изображения, звук, видео.
  3. Мобильные устройства, их отличия от настольных компьютеров. Понятие мобильная операционная система (ОС). Обзор современных архитектур мобильных ОС. Особенности Windows Phone, Android, iOS как мультимедиа-платформ для мобильных устройств. Встроенные мультимедийные возможности, средства обработки мультимедиа мобильных ОС. Особенности работы с мультимедиа на мобильных устройствах.
  4. Обзор средств программной разработки для мобильных устройств. Синхронизация с мобильным устройством, установка и запуск программ. Программные эмуляторы мобильных устройств, основные принципы работы с ними, запуск программ на эмуляторе.

Лекция 2: Хранение мультимедиа

  1. Понятие «цифровое изображение», цифровая фотография и рисунки. Форматы хранения изображений, сопоставление. Растровая и векторная графика.
  2. Современные технологии сжатия изображений. Формат JPEG. Применение в цифровой фотографии. Принципы стеганографии в цифровых изображениях, технология «water-marking».
  3. Цифровые изображения в Интернет. Основные требования к цифровым изображениям. Формат GIF. Анимация GIF.

Лекция 3: Обработка мультимедиа

  1. Аудиообработка. Особенности работы со звуком на мобильных устройствах. Объекты-проигрыватели. Воспроизведение звука. Компрессия звука. Сжатие информации без потерь. Методы компрессии и декомпрессии. Аудио MPEG. Кодирование стереозвука. Основные форматы файлов: AU, VOC, WAVE, AIFF, MP3, WMA, OGG, RA. Воспроизведение информации по инструментам и звуковым дорожкам. Банки инструментов, синтез музыкальных инструментов. Стандарт MIDI. Обработка звуков, преобразование Фурье, спектр, фильтрация. Преобразование форматов.
  2. Видеообработка, особенности мобильных устройств при работе с видеоданными. Проигрыватели видеофайлов. Воспроизведение видео. Хранение видеоинформации, кодирование. Программы-кодеки. Различия в форматах кодирования: AVI, MPEG4, WMV. Принципы системы DVD. Способы защиты DVD от нелегального распространения. Преобразование форматов.
  3. Обработка речи, онлайн кодирование, принципы распознавания.

Лекция 4: Передача мультимедиа

  1. Технологии HTML5 на мобильных устройствах.
  2. Компакт-диски, организация CD, технология записи и считывания CD. Формат аудио-CD. Технология «караоке», караоке-диски. Перенос информации с аудио-CD на мобильное устройство. DVD-диски, организация DVD. Технология записи и считывания DVD. Форматы DVD-audio и DVD-video. Перенос DVD-видео на мобильное устройство.
  3. Удаленная передача мультимедиа, технологии. Передача мультимедиа между мобильными телефонами, MMS. Смартфоны: мобильный компьютер, телефон и цифровая камера в одном корпусе. Объединение различных мультимедиа устройств с помощью беспроводных сетей с единым центром управления, проблемы организации. Технология Digital Rights Management. Передача посредством Wi-Fi и Bluetooth.
  4. Мультимедиа в распределенных средах, видеоконференции, цифровые радио и телевидение. Понятие «потоковое кодирование». Проблемы вещания в сети: полоса пропускания, задержки, потери, обеспечение QoS. Форматы MPEG4, ACC, пакетная система H.323. Технология передачи голосовых сообщений VoIP. Стандарт организация конференций на базе T.120. Кодеки G.711, G.723.1, G.726, G.729, H.261, H.263, H.264, iLBC, семейство MPEG. Кодирование речи AMR-NB и AMR-WB в сетях третьего поколения 3GPP. Протоколы передачи мультимедиа RTP и RTSP. Поддержка передачи мультимедиа в IPv6.
  5. Итоги изучения дисциплины. Методические рекомендации по применению полученных знаний, умений и навыков.

В начало

Алгоритмы сжатия и передачи мультимедиа информации. Практика

Лабораторные работы

Самостоятельная работа

Дополнительно

 

Лабораторные работы

Мультимедиа в мобильных устройствах

  1. Архитектуры ОС Windows Phone, Android, iOS. Цель работы — знакомство с особенностями мобильного устройства на примере ОС Windows Phone, Android, iOS. Результат работы — понимание архитектуры, компонентов и взаимодействия компонентов мобильного устройства.
  2. Средства мультимедиа в ОС Windows Phone, Android, iOS. Цель работы — знакомство с программным эмулятором мобильного устройства на базовом примере ОС Windows Phone, Android, iOS, демонстрация возможностей мобильной ОС по работе с различными мультимедиа-данными, в т. ч. изображениями, аудио- и видео-информацией. Результат — ознакомление с особенностями работы с мультимедиа-данными на мобильных устройствах.

Хранение мультимедиа

  1. Хранение цифрового изображения. Цель работы — подробное ознакомление с форматом сжатия изображений JPEG, сравнение с форматами WMF и BMP. Результат работы — получение детальных знаний о формате JPEG, получение навыков по «чтению» формата изображения и сопоставлению разнообразных форматов.
  2. Графическое кодирование изображений. Цель работы — написание программы, выполняющей преобразование, сохранение и декодирование различных форматов цифрового изображения, разработка приложения, осуществляющего вставку «авторской» информации в цифровое изображение. Результат работы — приобретение навыков по программированию конвертеров графических файлов для мобильных устройств, ознакомление с принципами оценки производительности и быстродействия алгоритмов, реализованных для мобильных устройств, организация «авторской цифровой подписи» изображений

Обработка мультимедиа

  1. Аудио-преобразование. Цель работы — ознакомление с форматами аудио-файлов, написание программы-кодека для ОС Windows Phone, Android, iOS. Результат работы — приобретение навыков программирования аудио-преобразователей для мобильных устройств, получение знаний о принципами воспроизведения аудио на мобильных устройствах.
  2. Кодирование речи. Цель работы — написание программы, осуществляющей архивирование звуковой информации, поступающей от микрофона мобильных устройств на базе ОС Windows Phone, Android, iOS. Результат работы — приобретение знаний и навыков, касающихся звукозаписи и создания голосовых заметок.
  3. Воспроизведение видео. Цель работы — ознакомление с основными современными форматами видео-файлов, разработка программы, осуществляющей воспроизведение видео на мобильных устройствах на базе ОС Windows Phone, Android, iOS. Результат работы — получение представления о средствах воспроизведения видео-данных, приобретение навыков по программированию средств декодирования различных форматов файлов видео.
  4. HTML5. Цель работы — знакомство с технологиями HTML5 на мобильных устройствах, написание Web-приложения, содержащего аудио- и видео-данные и запускающего их обработчики. Результат работы — ознакомление с базовыми принципами HTML5 на мобильных устройствах, приобретение навыков по разработке Web-приложений, управляющими мультимедиа-файлами.

Передача мультимедиа

  1. Передача аудио-информации. Цель работы — ознакомление с технологией Bluetooth, разработка приложения, осуществляющей соединение и передачу аудио-файла на мобильное устройство. Результат работы — ознакомление с принципами и особенностями организации передачи мультимедиа с хост-компьютера на мобильное устройство.
  2. Потоковое кодирование. Цель работы — ознакомление с форматами потокового кодирования звука, разработка приложения, осуществляющего кодирование и передачу голосовых сообщений. Результат работы — приобретение навыков по потоковому кодированию аудио-данных.
  3. Цифровое радиовещание. Цель работы — разработка приложения, осуществляющего прием и запись аудио- и видео-информации из Интернет для отложенного воспроизведения. Результат работы — получение навыков по взаимодействию с Интернет-источниками радио- и телевещания.

Для реализации курса лабораторных работ на компьютерах должно быть установлено следующее программное обеспечение:

  • MS Windows Vista/7/8/8.1;
  • MS Office 2010/2013 (включая PowerPoint и Visio);
  • MS Visual Studio версии 2010/2013;
  • Windows Phone SDK;
  • Android SDK;
  • iOS SDK;
  • JetBrains Intellij IDEA;
  • JetBrains AppCode;
  • Эмуляторы мобильных устройств на базе ОС Windows Mobile, Android, iOS.

Остальное программное обеспечение определяется и устанавливается по мере проведения соответствующих работ. Для реализации курса лабораторных работ необходимо наличие Bluetooth-адаптера (в виде платы или USB-устройства), а в случае отсутствия эмулятора — мобильное устройство на базе ОС Windows Phone, Android, iOS, имеющего слоты карт-памяти (желательно CompactFlash) и Bluetooth-адаптер.

 

Самостоятельная работа

Для самостоятельного изучения студентам предлагаются следующие темы, более детальное содержание которых определяется по результатам собеседования с преподавателем.

Мультимедиа в мобильных устройствах

  • Организация и возможности устройств ввода мультимедиа-данных: сенсорный экран и микрофон мобильных устройств. Цель работы — ознакомление с позиционированием на экране, получением данных от микрофона, программирование устройств мультимедиа.

Хранение мультимедиа

  • Редактирование графики на мобильных устройствах. Цель работы — написание графического редактора (примитивы рисования геометрических фигур и задания цвета), ознакомление с позиционированием посредством сенсорного экрана, сохранение и восстановление графических файлов.

Обработка мультимедиа

  1. Организация мобильных хранилищ мультимедиа на базе флэш-карт. Цель работы — знакомство с организацией флэш-памяти, подключением и распознаванием флэш-памяти на мобильных устройствах, операциями доступа к флэш-памяти.
  2. Кодирование видео. Цель работы — разработка программного кодека выбранного формата.

Передача мультимедиа

  1. Представление медиа-презентации в сети. Цель работы — создание презентации, связь с компонентами MS Office, создание интерактивного слайд-фильма и представление презентации на конференции в сети.
  2. Исследование системы H.323. Цель работы — детальное ознакомление с принципами цифрового распространения потокового мультимедиа, создание программного комплекса, осуществляющего цифровое радио- или телевещание.

 

Расчетно-графическая работа

  1. Построение блок-схемы алгоритма чтения файла формата JPEG.
  2. Расчет и построение диаграммы результатов оценки влияния вставки водяных знаков в защищаемое изображение.

 

Курсовая работа

Выполняется по согласованию и по тематикам с LG-SoftLabs либо предлагается на выбор студента:

  1. Конвертер аудио-файлов.
  2. Конвертер видео-файлов.
  3. Аудио-проигрыватель для мобильного устройства.
  4. Видео-проигрыватель для мобильного устройства.
  5. Прототип речевого командного процессора для мобильного устройства.
  6. Цифровая видеоконференция.

 

Домашняя работа

  • Тематика определяется согласно направлению соответствующего лекционного раздела и выбранной курсовой работы. Работа выполняется студентом в качестве дополнительного ознакомительного задания, согласованного с преподавателем.

 

Семинары

  • Тематика определяется согласно направлению соответствующего лекционного раздела, выполняется в форме коллективного обсуждения соответствующих вопросов лекционного или практического материала.

 

Контрольная работа

  • Выполняется по итогам обучения, содержит вопросы по тематике курса и изученного материала. Может выполняться в виде нескольких тестов по мере завершения разделов курса.

В начало