Aufzeichnung, Konvertierung, Management bzw. Distribution von

Mehrkanalige Medien-Systeme für Internet-TV und Business-TV Aufzeichnung, Konvertierung, Management bzw. Distribution von stereoskopischen und multiperspektivischen Audio bzw. Video-Inhalten M.Sc. M.Sc. Thomas Thomas Niedergesäß Niedergesäß -- Prof. Prof. Dr. Dr. Jürgen Jürgen Lohr Lohr -- nanocosmos nanocosmos Informationstechnologien Informationstechnologien GmbH GmbH

Forschungshintergrund Forschungshintergrund

Neben Neben der der Verbreitung Verbreitung von von AudioAudio- und und Videoinhalten Videoinhalten mittels mittels Broadcast Broadcast über über klassische Systeme wie Radio und klassische Systeme wie Radio und Fernsehen gewannen in der neueren Fernsehen gewannen in der neueren Vergangenheit verstärkt webbasierte Vergangenheit verstärkt webbasierte Mediendienste an Bedeutung. Hier Mediendienste an Bedeutung. Hier finden bereits On-Demandund Livefinden bereits On-Demand- und LiveBroadcast-Dienste mittels Web-StreamingBroadcast-Dienste mittels Web-StreamingTechnologien weite Verbreitung. Mit der Technologien weite Verbreitung. Mit der Distribution über ein bidirektionales Distribution über ein bidirektionales Netzwerk ergeben sich jedoch auch neue Netzwerk ergeben sich jedoch auch neue Möglichkeiten der Interaktion und des Möglichkeiten der Interaktion und des Medienkonsums. Dies ermöglicht die Medienkonsums. Dies ermöglicht die Loslösung vom klassischen Broadcast. Loslösung vom klassischen Broadcast.

Die Die Übertragung Übertragung mehrerer mehrerer inhaltlich inhaltlich verknüpfter verknüpfter Medienströme Medienströme mit mit der der Möglichkeit der Wahl der Präsentationart Möglichkeit der Wahl der Präsentationart bietet dafür ein geeignetes Medienbietet dafür ein geeignetes MedienSzenario. Die parallele synchronisierte Szenario. Die parallele synchronisierte Übertragung von Audiound Videostreams Übertragung von Audio- und Videostreams im Multi-Channel-Verfahren stellt hierbei im Multi-Channel-Verfahren stellt hierbei ein ‚State of The Art’ im Bereich des ein ‚State of The Art’ im Bereich des Media-Streamings dar. Skalierbare und Media-Streamings dar. Skalierbare und Multiview-Videocodierung, RTMP/RTSP/ Multiview-Videocodierung, RTMP/RTSP/ HLS Streaming, HTML5, H264/H265 sowie HLS Streaming, HTML5, H264/H265 sowie neue Multiplex-Audio/Video-Formate wie neue Multiplex-Audio/Video-Formate wie OGG Vorbis und WEBM wurden als künftig OGG Vorbis und WEBM wurden als künftig dominierende Technologien identifiziert. dominierende Technologien identifiziert.

Forschungsziel Forschungsziel

Im Rahmen des Projektes soll ein Im Rahmen des Projektes soll ein innovatives Medien-System entstehen. innovatives Medien-System entstehen. Es sollen neue Verfahren zur möglichst Es sollen neue Verfahren zur möglichst vollständig automatisierten Erstellung und vollständig automatisierten Erstellung und Publikation von mehrkanaligen parallelen Publikation von mehrkanaligen parallelen interaktiven Audio- und Video-Inhalten interaktiven Audio- und Video-Inhalten erarbeitet werden, die eine innovative erarbeitet werden, die eine innovative interaktive Medienapplikation (Player) interaktive Medienapplikation (Player) mit einschließen. Hierbei steht vor allem mit einschließen. Hierbei steht vor allem echtes Live-Streaming von Audio und echtes Live-Streaming von Audio und Video mit Mehrkanaligkeit im Fokus. Video mit Mehrkanaligkeit im Fokus. Das Ziel besteht darin, die Echtzeit- und Das Ziel besteht darin, die Echtzeit- und

Forschungsergebnis Forschungsergebnis

LiveStream-Szenario (4 Channel VideoMix) LiveStream-Szenario (4 Channel VideoMix) Live 1 Live 1 Live 2

Live 2

Internet (Download) Encoder -PC Encoder

-PC

Internet (Download) RTMP/RTSP/HLSStream RTMP/RTSP/HLSStream

Live 3

Live 3 Live 4

Live 4

MediaServer (z.B. MediaWOWZA) Server (z.B.

WOWZA)

RTMP-Stream

RTMP-Stream Internet (Upload) Internet (Upload)

Clients (Player in Browser) Clients (Player in

Browser)

Abb. 2: LiveStream mit 4 Videoquellen # die Livequellen werden Abb. 2: LiveStreaminmit 4 Videoquellen # die Livequellen auf Encoderseite Echtzeit gemixt, komprimiert und werden mittels auf Encoderseite Echtzeit und mittels RTMP-Protokoll aufinden Kanal gemixt, geschicktkomprimiert # ein Media-StreamingRTMP-Protokoll auf den # ein Media-StreamingServer transkodiert und Kanal verteiltgeschickt den LiveStream # auf Clientseite Server transkodiert und verteilt denPlayer LiveStream # auf Clientseite wird der Stream dekodiert und im angezeigt wird der Stream dekodiert und im Player angezeigt

• Entwicklung eines dynamischen, modularisierten (On• Entwicklung eines dynamischen, modularisierten (OnDemand) Multi-Channel-Players (Audio/Video) in HTML5/ Demand) Multi-Channel-Players (Audio/Video) in HTML5/ Javascript/XML als Referenz (Abb. 1) Javascript/XML als Referenz (Abb. 1) • Identifizierung von RTMP-Streaming mittels Media-Server • Identifizierung von RTMP-Streaming mittels Media-Server (Wowza) als Basis für weitere Forschung (Wowza) als Basis für weitere Forschung • Side-By-Side Multichannel-LiveStreaming in HD-Qualität mit • Side-By-Side Multichannel-LiveStreaming in HD-Qualität mit 4 Quellen auf DirectShow-Ebene (Abb.2) 4 Quellen auf DirectShow-Ebene (Abb.2)

Abb. 1: Interaktiver Multi-Channel-Player mit 5 Video- und Audio Abb. 1: Interaktiver(HTML5-On-Demand-Streaming) Multi-Channel-Player mit 5 Video- und Audio (Stereo)-Kanälen (Stereo)-Kanälen (HTML5-On-Demand-Streaming)

Synchronitätsbedingung zu erfüllen Synchronitätsbedingung zu erfüllen und zugleich einen kontinuierlichen, und zugleich einen kontinuierlichen, unterbrechungsfreien Medienfluss auf unterbrechungsfreien Medienfluss auf hohem Qualitätsniveau zu gewährleisten. hohem Qualitätsniveau zu gewährleisten. Da es sich um eine webbasierte Da es sich um eine webbasierte Entwicklung handelt, muss bei der Entwicklung handelt, muss bei der Übertragung auf spezifische Faktoren wie Übertragung auf spezifische Faktoren wie unterschiedliche Endsysteme, Kanalwege unterschiedliche Endsysteme, Kanalwege und etwaige Störfaktoren wie Bandbreiund etwaige Störfaktoren wie Bandbreitenschwankungen durch Skalierbarkeit tenschwankungen durch Skalierbarkeit dynamisch reagiert werden können. dynamisch reagiert werden können.

Forschungsausblick Forschungsausblick

• Entwicklung eines interaktiven webbasierten Live-Multi• Entwicklung eines interaktiven webbasierten Live-MultiChannel-Players Channel-Players • Einsatz skalierbarer Komponenten auf Encoder/Server-Seite • Einsatz skalierbarer Komponenten auf Encoder/Server-Seite zur Stream-Optimierung mit Zweck der Qualitätssteigerung zur Stream-Optimierung mit Zweck der Qualitätssteigerung und -sicherung und -sicherung • Weiterentwicklung und Test der Multi-Channel-Technologien • Weiterentwicklung und Test der Multi-Channel-Technologien und Szenarien und Szenarien