Projecto de Computação Multimédia

Nomes:

  • Francisco Ferreira, Nº 70640
  • João Sardinha, Nº 70819
  • Patrícia Semedo, Nº 79428

    • METI, 2014/2015

    1. História da Televisão 3D

    Uns dos primeiros acontecimentos no mundo 3D aconteceu em 1922 quando foi emitido o primeiro filme 3D recorrendo a tecnologia anaglífica (uso de óculos com uma “lente” vermelha e outra azul inventados por L.D. DuHaron). Em agosto de 1958 John Baird fez a primeira demostração de televisão 3D estereoscópica, com óculos, a funcionar . Em 1935 é produzido o primeiro filme 3D a cores e nos anos 50 quando a televisão se popularizou nos Estados Unidos da América, muitos filmes 3D foram produzidos e exibidos nos cinemas. Entretanto com o passar do tempo o entusiasmo no 3D começou a desaparecer. Mas passado alguns anos voltou outra vez em força , fazendo assim chegar aos cinemas os filmes como Avatar que chegou a Portugal em dezembro de 2009, que revolucionaram o mercado e fazendo com que as empresas considerassem melhor as tecnologias 3D, acabando por mudar o rumo das tecnologias.

    2. Ofertas de Mercado

    Principais fabricantes de equipamento 3D

    • a) Evolução temporal

      • A tecnologia 3D TV tem vindo revolucionando o mercado desde de 2009 e mudando a forma como as pessoas vem a televisão. No ano de 2010 os primeiros 3DTV começaram a ser comercializados em alguns mercados, o objetivo era passar a experiencia de 3D cinema para casa das pessoas. Mas para que isso fosse possível o 3D TV deveria possuir alguns elementos como captura de cenas 3D, codificação, descodificação, transporte e display. Em janeiro de 2010, a ESPN e Discovery communication anunciaram os primeiros planos para lançarem os primeiros 3D networks. Mais tarde a Sony e IMAX juntaram forças para também laçarem no ano de 2011. Nesse ano de 2010, a ESPN lançou um canal ESPN 3D em que mostrou a primeira FIFA World Cup match South Africa Vs. México, também o Master Golf Tournament 2010 foi possível ver em 3D. O que fez com que a procura da Televisão 3D aumentasse nesse ano e o Consumer Electronics Association (CEA) estimaram que cerca de 2.2 milhões de 3D TV iria ser vendido neste ano. Mais tarde o GigaOM, um grupo de pesquisadores de US estimaram que no ano de 2013 iriam existir mais de 50 milhões de televisores 3D no mercado. Isso conduziu com que as empresas trouxessem para o mercado 3D TV, televisões cada vez mais inovadoras e de alta qualidade. De acordo com o relatório do Market research as televisões 3D vão ter um crescimento de 35.85% dentro do período de 2013 a 2018.

    • b) Conteúdos actualmente disponiveis (televisão, cinema, jogos, Bluray e OTT)
      1. USA - MSG (TV channel)
      2. Asia- sotht korea - sky 3D
      3. Europa,Penthouse 3D HD, Brava3D
      4. Espanha -Canal+ 3D España
      5. Portugal-

      Em portugal existem duas operadoras que fornecem conteudos 3D na televisão , a NOS e a MEO. A NOS foi uma das pioneiras a lancar um canal 3D , mas devido a pouco adesão por parte dos portugueses deixou de investir muito nesta tecnologia. Na operadora MEO existe um canal 3D que se encontra na posição 280 , mas é preciso ter uma tecnologia Real 3D , Óculos 3D activos e uma MEOBox Full HD ligada ao televisor com um cabo HDMI, , em que os conteudos desponiveis são desporto , musica e animação infantil. A operadora NOS possui cinemas 3D e IMAX 3D em que podemos ver filmes em 3D com oculos 3D activos. Em relação à canais 3D disponiveis existe uma na posição 270 em que podemos ver jogos em 3D mas devemos ter oculos polarizados e uma televisão 3D correspondente.

    • c) Televisões

    Existem no mercado varias empresas que produzem televisões 3D, como Samsung , Philips , sony LG Toshiba. Os Preços das televisões 3D variam de acordo com a qualidade ,resolução , frequência e tamanho.

    • Samsung : 500 a 6050 euros
    • LG: 600 a 8000 euros
    • Philips : 800 a 1200 euros
    • Sony :800 a 8000 euros
    • Panasonic: 500 a 3000 euros
    • Toshiba: 6000 a 1000 euros

    Samsung: Smart Tv 3D 102 cm

    • Preço: 555,35€
    • Resolução nativa : full HD 1920*1080
    • Frequencia Ecrã CMR 400 HZ
    • Entradas HDMI 4x
    • Entradas USB 3x
    • 3D -samsung 3D , conversor 3D , Wifi incorporado

    Samsung: Smart Tv 3D 165 cm

    • Preço: 2066,99€
    • Resolução nativa : full HD 1920*1080
    • Entradas HDMI 4x
    • Entradas USB 3x
    • 3D -samsung 3D, conversor 3D

    Samsung: Smart Tv curvo 4K UHD 3d 165 cm

    • Preço: 3499,99€
    • Resolução nativa : 4k ultra HD 3840*2160
    • Entradas HDMI 4x
    • Entradas USB 3x
    • 3D -samsung 3D, conversor 3D, Wi- fi IEEE 802.11ac

    Samsung: Smart Tv curvo 4K UHD 3d 198 cm

    • Preço: 6012,34€
    • Resolução nativa: 4k ultra HD 3840*2160
    • Entradas HDMI 4x
    • Entradas USB 3x
    • 3D -samsung 3D, conversor 3D, Wi-fi IEEE 802.11ac

    Link para vários tipos de 3D Tv da marca Samsung:

    LG Smart TV 3D 32LF650V 81cm Full HD |500 Hz | 3x HDMI

    • Preço: 551,67€
    • Resolução nativa: full HD 1920*1080
    • Frequencia Ecrã 500 HZ
    • Entradas HDMI 3x
    • Entrada de componente x1
    • 3D -cinema 3D, Tecnologia LED, Wi-fi direct

    LG Smart TV 4K UHD 3D 49UB850V 124cm

    • Preço: 1.025,99€
    • ULTRA-HD TV | EDGE LED | CINEMA SCREEN DESIGN | RESOLUÇÃO 3840X2160P | SMART TV
    • SISTEMA SOM 2.0 | 4X HDMI | 3X USB | DUAL-PLAY | MHL | 2ND DISPLAY
    • LG IPS ULTRA-HD TV 49UB850V
    • LG SMART TV COM WEBOS
    • PAINEL IPS ULTRA HD 4K
    • DLNA, MIRACAST, MHL & DUAL PLAY
    • CINEMA 3D | DESIGN CINEMA SCREEN
    A TV 3D UD tem a melhor imagem que conseguimos encontrar no mercado. São 8,3 milhões de píxeis por frame, com uma resolução de 3840x2160 pixeis, a deslumbrar graças ao avançado LG Motor Triplo XD.

    LG Smart TV 4K UHD 3D 84UB980V 213cm

    • Preço: 7.831,74€
    • Resolução Nativa 4k Ultra HD 3840*2160
    • Frequencia Ecrã Ultra Clarity Index 1300 Hz
    • Entradas HDMI 4x
    • Ligações USB 3X
    • 3D, Cinema 3D, wifi incorporado

    Link para vários tipos de 3D Tv da marca LG:

    • d) Máquinas de Filmar (Uso doméstico e Profissional)

    AG-3DP1, a P2HD professional fully-integrated twin-lens Full HD 3D camera recorder

    • e) Outros devices “concorrentes”

    Nintendo 3DS

    Telemóveis 3D

    3d full HD Bluray 5.1 canais sistema de cinema em casa HT-H4 550

    Link para site do sistema de cinema:

    Oculus Rift Samsung VR gear Sony Headset

    Mais informações sobre Oculos Rift

    • f) Soluções Comerciais
      • MEO

    Back to top

    3. Tecnologias

    3.1. Tipos de Display

    3.1.1. Sterioscópicas Planares

    Foi a primeira forma de visualização em 3D em que as imagens (ou fotografias) ambas tiradas por câmeras muito próximas são expostas, uma para cada olho. Ainda hoje este método é utilizado tendo como exemplo o Samsung Gear VR, Oculus Rift ou Sony VR

    Figura: Foto Samsung Gear (Mais Informação)

    Figura: Foto Sony VR (Mais Informação)

    Figura: Oculos Rift (Mais Informação)

    Recorre á utilização de filtros ou “shutters” sendo que usa uma polarização diferente para cada canal (esquerdo e direito). Esta técnica permite um elevado nº de espectadores em simultâneo mas o preço varia consoante o custo dos ocúlos.

    A primeira tentativa desta técnica designada como “Anaglyph”, recorreu ao uso de oculos com lentes coloridas, normalmente Azuis e Vermelhos.

    As principais vantagens desta técnica são:

    1. Reduzido custo de aquisição de ocúlos
    2. Podia ser visualizado em qualquer equipamento capaz de reproduzir cor

    Principal contra:

    1. A representação de cores deixava muito a desejar.
    2. falta de parallax
    3. discrepância cromática podia causar naúseas, dores de cabeça e mau estar

    Figura: Anaglyph (Mais Informação)

    Actualmente a técnica baseia-se no uso de lentes polarizadas (linear e horizontal), sendo que cada olho tem uma polarização diferente, ou “active shutter”

    A principal vantagem das duas técnicas é a representação de cor.

    Figura: Oculos LG (Mais Informação)

    Sendo que as lentes polarizadas têm vantagens adicionais em relação ao active shutter tal como:

    1. O preço de cada par de óculos é inferior
    2. Não ha limite ao número de pessoas que podem visualizar simultaneamente
    3. Não requer baterias
    4. peso inferior e mais agradável de utilizar

    As principais desvantagens dos óculos de visualização passiva são:

    1. Continua a ser uma técnica imperfeita sendo que as lentes polarizadas são sensíveis á rotação/movimento da cabeça. Este problema pode ser minimizado quando se utiliza um projector através da utilização de filtros de polarização circulares rotativos.
    2. Bloqueia muita luz logo a iluminação terá de ser superior
    3. O alinhamento / polarização terá de ser mantido

    Active shutter recorre á utilização de “shutters” de cristais líquidos. Este método é menos sensível ao movimento da cabeca (+) mas o nº de pessoas a visualizar depende da capacidade do dispositivo pois os óculos têm de ser sincronizados com o “display” (-) e são mais caros para adquirir, sendo que o preço ronda em media os 100 euros por par.

    Figura: Óculos Active Shutter (Mais Informação)

    Back to top

    3.1.2. Autosterioscopica

    Principal vantagem:

    • Não requer uso de óculos (que é o principal factor limitante do sterioscopica… o factor de inconveniencia e desconforto)

    Principais desvantagens:

    • zona de visualização “óptima” muito reduzida
    • Perda de resolução horizontal
    • Apenas mostra uma perspectiva (não tem parallax)

    Existem duas abordagens para conseguir o efeito pretendido:

    Figura: Paralax barrier e microlente

    Figura: Autosterioscopic display from “3-D Displays and Signal Processing”

    1. Microlentes - pequenas lentes semi cilindricas coladas ao ecrá sendo que o ângulo de visão para cada microlente é diferente mas requer que o espectador esteja numa determinada posição em relação ao ecrá para poder visualizar correctamente. Esta tecnica apresenta custos mais elevados mas permite um ângulo de visualização superior.
    2. “parallax barriers” - consiste numa camada opaca de barras estreitas e espaçadas de forma a regular o que cada olho vé. A grande vantagem é o custo, embora movimientos rápidos com a cabeça possam causar inversão de perspectiva que gera grande desconforto na visualização. É igualmente a técnica mais simples de implementar. A utilização das ranhuras diminuí a eficiência luminosa (luz que efectivamente chega aos olhos do espectador)

    Back to top

    3.1.3. Multiview Planos

    Todos os écras sterioscopicos limitam-se a mostrar apenas uma perspectiva independentemente da posição do espectador. isto leva à possível:

    1. confusão com a forma e dimensões dos objectos
    2. falha ao providenciar um sentido de profundidade quando há movimento da cabeça (parallax horizontal ou vertical sendo que o ser humano é mais sensível à parallax horizontal)

    Para poder proporcionar o sentido de parallax é necessário mostrar uma gama de perspectivas aos espectadores.

    Existem dois sistemas:

    1. Multiview Activa em que a posição do espectador é utilizada para calcular a perspectiva a mostrar recorrendo a câmeras que identificam a orientação rosto ou olhos.
      • (-) Geralmente “single view” pois apenas consegue seguir ou faz sentido seguir um observador, logo é mais indicado para écras pequenos
    2. Multiview Passiva: diversas perspectivas projectadas em simultâneo (IMAGEM). Utiliza multiplexagem espacial sendo que cada vista é direcionada para zonas de visualização distintas sendo que o movimento do espectador induz um sentido de parallax.
      • (-) espectador tem de estar sentado a uma determinada distância do écra
      • (+) suporta múltiplos espectadores
      • (+) não requer óculos e mais tolerável a longo prazo em termos de conforto ocular.
      • (+) forma mais prática de ver conteudos pois não requer óculos e suporta múltiplas pessoas em simultâneo

    Back to top

    3.1.4. Multiview Projectadas

    Incluí projectores holográficos e volumétricos

    Utiliza múltiplos projectores ou scanners ópticos que geram zonas de visualização específicas para apresentar múltiplas perspectivas simultaneamente. Tecnologia ainda em desenvolvimento e mais distante sendo que deverá apresentar os melhores resultados e superar as principais limitações da tecnologia actual.

    Back to top

    3.2. Formato de imagem a transmitir

    O formato desejado para distribuir video sterioscopico é através da transmissão de duas imagens independentes em Full HD, mas isto implica 2X a largura de banda e á medida que o número de perspectivas aumenta, a largura de banda aumenta de igual modo. Para que a televisão 3D tenha futuro é necessário encontrar métodos de visualizção compativeis com a tecnologia actual, tanto de visualização como de transmissão (largura de banda disponível para transmitir dados para os clientes).

    De forma a ultrapassar as limitações de largura de banda do distribuidor de conteúdos (service provider) foram desenvolvidos múltiplos formatos para transmissão.

    Side by side:

    1. Frame Compatable: Sterio multiplexing num único frame (downsampling na resolução horizontal, vertical, diagonal ou em alternativa temporal). Esta técnica permite reutilizar rede de distribuição actual e não exige a alteração/upgrade ao descodificador. Assim o content provider pode preservar os decoders “legacy” em que o sinal é tratado como um sinal HD convencional e a televisão formata a imagem correctamente (manter infraestrutura existente).
    2. Service Compatable: Class de visualização sterioscopica em que uma das duas imagens é visualizada a uma resolução inferior sendo que a imagem com maior resolução é disponibilizada para dispositivos não 3D. A segunda imagem normalmente terá entre ¾ a ½ da resolução da imagem primária. As imagens L e R são transmitidas em streams independentes e conteúdos 3D e 2D podem ser consumidos simultaneamente.
    3. Depth Based / (color + depth): Informação sobre profundidade pode ser extraida analisando correspondência sterio, através da utilzação de “range cameras (IMAGENS e Marcas)” ou pela natureza do conteudo (imagens gerados por computador).

    Figura: Exemplos de Color + depth

    • (+) não especifica com que profundidade é codificada de forma a ser compativel com equipamento legacy
    • (-) não suporta oculusões, apenas profundidade que por vezes pode parecer plano como um livro “pupup”
    • (-) sensível á qualidade de dados de profundidade (ruido)
    • (-) não lida bem com fumo, nuvens, transparências ou vidro
    • (+) componente profundidade pode ser comprimido a uma fracção do tamanho do componente cor pois somos menos sensíveis á profundidade e muitos componentes de profundidade não possuem elementos de elevada frequência.
    • (+) elimina assimetrias fotométricas
    • (+) permite separação ao gerar conteudos de “displays” embora mantenha em mente as limitações de transmissão e produção.
    • (+) Suporta todo os displays

    Multiview - provem da captura de vistas de multiplas cameras em array

    • (+) suporta multiview e freeview
    • (+) Elevado bitrate
    • (+) profundidade tem de ser estimada
    • (+) suporta parallax

    Multiview+Depth - Igual ao multiview normal mas adiciona profundidade

    • (+) menos vistas a cores necessárias para ter boa qualidade
    • (-) dificil de gerar informação de profundidade correcta para múltiplas vistas

    Layered depth - semelhante ao multiview+depth mas permite oclusões

    • (+) potencial para produzir a melhor imagem
    • (-) maior largura de banda necessária
    • (-) MPEG 4 AVC não é muito eficiente pois a redundância espacial não esta totalmente correlada com redundância temporal…. por enquanto é ineficiente.

    Figura: Exemplo Layered depth

    Back to top

    3.3. Metadados

    São inseridos metadados nos frames de video de forma a ser retrocompativel e insensível ao método de transporte de dados.

    Durante a descodificação linhas extras podem ser removidas.

    Sinalização pode ser embutida em linhas extras e anexadas ao video a ser apresentado e não acarreta custos adicionais para o “broadcaster” pois não exige hardware ou descodificadores novos.

    Apenas os dispositivos sensíveis ao sinal extra conseguem extrair os dados para cada frame.

    “SEI” - metadados presentes na codificação MPEG-4 AVC e significa Supplemental Enhancement Information (SEI) messages

    • definido no standard AVC e indica o método de “packing” do frame
    • indica ao descodificador qual é a vista esquerda e direita e que estão juntos numa única frame de alta defenicção. Indica igualmente como estão dispostos as imagens (top-bottom, side-by-side ou ate mesmo “interleaving” temporal).

    Back to top

    3.3. Codificação

    • MPEG -2 multiview profile
      • Primeira forma que suportava codificação video multiview
      • explora redundâncias entre vistas
      • apenas permite codificação de duas vistas sendo que a vista esquerda é utilizada para perdição entre vistas para a vista direita
    • MPEG - 2 Frame Compatable
      • Semelhante ao multiview e adiciona suporte quincunx
    • MPEG - 4 AVC / H.264
      • descrito como sendo “network friendly”
    • MVC - extensão multiview para AVC, standardizado em 2008
      • permite compactar múltiplas vistas
      • permite utilizar uma resolução mais elevada e mais qualidade para video “frame compatable”
      • durante o desenvolvimento foi especificado que tinha de ser retrocompatible permitindo a extração de dados 2D para televisores não 3D
      • explora redundâncias entre vistas baseadas na “disparity” e reference frame
    • Hybrid MPEG 2 / AVC - Norma utilizada na Korea desde 2011, permite a transmissão de conteudos 3D utilizando os dois codecs de forma independente de forma a assegurar retrocompatibilidade com receptores legacy.
      • MPEG -2 serve como vista base
      • AVC é utilizado para envio da segunda vista
    • HEVC ou MPEG-H / H.265 - desenvolvido com o objectivo de melhorar eficiência de compressão comparado com AVC na ordem dos 50%. Utiliza blocos de tamanho variável contrariamente ao AVC que utiliza blocos de tamanho fixo (16x16)

    Back to top

    3.3.1. Captura e processamento

    Como máquinas de filmar em 3D conseguem ser dificeis de encontrar e são mais caras que as convencionais, foi necessario desenvolver técnicas de captura de imagens captadas em 2D e de as manipular para dar uma sensação de 3D. Esta “batota” não vem sem um custo associado pois são necessários suportes especiais com calibragem extremamente precisa de cada maquina e do conjunto de forma a não gerar fadiga visual.

    Câmeras 2D apenas

    Para câmeras 2D, múltiplas imagens dos diferentes pontos de vista são utilizados para calcular profundidade mas para tal existe um conjunto de condições que têm de ser satisfeitas.

    1. para poder estimar profundidade de forma eficaz, é necessário gravar com uma resolução elevada e com pouco ruído.
    2. todas as imagens têm de ter caracteristicas semelhantes (brilho, ruído e saturação de cor) de forma a minimizar diferenças cromáticas que dão origem a cansaço visual.
    3. perspectivas intermédias têm de ser geradas de forma a impedir que se note alterações súbitas quando a perspectiva muda.
    4. Tanto os suportes como as câmeras de filmar têm de permitir um elevado grau de controlo / calibragem

    Câmeras 2D + Máquinas ToF(Time-of-flight camera)

    ToF - Time of Flight

    • São utilizados em conjunto com câmeras 2D
    • contém um conjunto de sensores que captam profundidade a frame rates elevados gerando coeficientes de profundidade per pixel
    • (+) compacta e leve
    • (+) pemite utilzar apenas uma câmara 2D que simplifica gravação
    • (-) possui uma resolução geralmente inferior ao da máquina de filmar
    • (-) gera mapa de profundidade com consideravelmente mais ruído do que a imagem 2D que pode ser dificil de remover

    Figura: Cam cube da PDM technologies

    Figura: exemplo imagem gerada por câmera ToF

    Existe uma alternativa a esta técnica que consiste no mapeamento a base de laser que consegue gerar resultados consideravelmente mais precisos mas é consideravelmente mais pesado, difícil de operar e caro que a máquina ToF.

    Exemplos de captura de video 3D:

    Captura stereoscópica - configuração com duas máquinas. Não é facil de capturar imagens pois desalinhamentos ou ajustes incorrectos geram imagens 3D de qualidade reduzida que dão origem a dores de cabeça e fadiga visual a quem as observa.

    2 parâmetros importantes a considerar:

    1. distância entre eixos - proporciona sentido de profundidade global da imagem
    2. convergência entre as câmeras - regula sensação de profundidade e posicionamento de objetos no cenário

    Conversão 2D para 3D

    Outra técnica para gerar conteúdos 3D é através da análise de filmagens em 2D e tentar estimar ou gerar uma perspectiva 3D. Embora seja mais utilizado com filmes antigos, pode ser utilizado com filmagens recentes quando o custo associado à manutenção e aquisição de equipamento 3D for muito elevado.

    Esta técnica pode ser aplicada em tempo real (durante a filmagem) ou em modo offline:

    • (-) pode gerar vistas pouco realistas que gera desconforto visual
    • (-) pode gerar perspectivas planas (pop up) pois todos os pixels num dado segmento acabam por assumir o mesmo valor de profundidade

    Captura Multiview

    Método de captura que permite gerar visualizações em 3D mais realistas e naturais que estereoscópicas. Os resultados podem ser visualizados em ecrãs 2D convencionais ou estereoscópicas mas permite alteração da perspectiva de visualização.

    Existem duas formas de distribuir as câmeras.

    • 1D ou linear - muito bom para permitir parallax horizontal ao qual nós somos mais sensíveis
    • arco - mais fácil de alinhar e calibrar

    Imagem mostra a diferenca: de (Fernando, A., Worrall, S. T. and Ekmekcioǧlu, E. (2013) Transmission, in 3DTV: Processing and Transmission of 3D Video Signals, John Wiley & Sons, Ltd, Chichester, UK).

    Seja qual for o caso é sempre necessário calibrar as máquinas que são de preferência, todas da mesma marca e modelo, com caracteristicas “iguais” e cujo o ponto de convergência coincide.

    Captura integra de imagem

    Permite filmar sequência 3D com apenas uma câmera

    • (+) permite transmissão em tempo real para elevado número de espectadores com uma imagem fiel e sem provocar dores de cabeça ou fadiga visual
    • (+) solução que utiliza apenas uma máquina é a mais atractiva pois evita a utilzação e montagem de apoios complexos
    • (+) filmagens não requerem illuminação coerente
    • (+) mais apropriada para captura de imagens em tempo real (live events como desporto ou concertos)

    Projectos de investigação de interesse para captação imagem multiview:

    MUSCADE - teve como objetivo a automatização da captura de video recorrendo a 4 câmeras com a seguinte disposição: (de : Fernando, A., Worrall, S. T. and Ekmekcioǧlu, E. (2013) Transmission, in 3DTV: Processing and Transmission of 3D Video Signals, John Wiley & Sons, Ltd, Chichester, UK.)

    Link: Mais Informação

    A calibragem do equipamento é bastante laborosa e varia bastante entre scenarios. Com vista a redução do número de pessoas e tempo necessário para gravar/captar video, foi determinado como sendo necessário automatizar certos processos.

    O objectivo do projecto foi desenvolver um sistema que analisa o cenário e determina a posição de cada câmera para alinhamento óptimo, em tempo real, para cada cenário.

    O sistema gera um aviso a quem estiver a filmar dos limites e objectos que ficarão fora da janela de visualização.

    Outros sistemas de interesse:

    DIOMEDES - captura com 8 câmeras(Mais Informação)

    ROMEO - captura com 4 camaras

    Back to top