Concentratie van uitgebreide beeldtechnologieën voor echte 4K-beeldkwaliteit
4K Superresolutie-technologieën in de 4K Fine Remaster Engine
Hoe de afzonderlijke TV-fabrikanten inspelen op 4K TV is momenteel een veelbesproken onderwerp, maar de echte 4K-explosie begint pas net. Aangezien beeld in echte 4K-kwaliteit nog niet rijkelijk wordt aangeboden, zullen kijkers in de nabije toekomst voornamelijk gebruikmaken van BD (Blu-ray Disc) met Full HD-beeldkwaliteit, DVD en internetvideo's. Bij het bekijken van deze videobronnen op een 4K-scherm, speelt 'up-conversion' een essentiële rol in het afspeelproces. Dat wil zeggen dat de 4K TV het formaat en de kwaliteit van het beeld zal verhogen. Het proces dat tot dit niveau van definitie zal leiden, heet "super resolution" en zal een grote invloed hebben op de beeldkwaliteit van de 4K TV.
Hier bespreken we dit met de ingenieurs die aan de ontwikkeling van de 4K Fine Remaster Engine, de nieuwe technologie in de 4K TV van Panasonic, hebben gewerkt.
Wat kunt u vertellen over de achtergrond van de ontwikkeling van de 4K Fine Remaster Engine?
Ishikawa: De eerste keer dat we daadwerkelijk 4K-beeldinhoud zagen schitteren op een 4K-geschikt scherm, zagen we onmiddellijk hoe geweldig en prachtig het was. Maar tegelijkertijd realiseerden wij ons dat iemand die een 4K TV koopt, in eerste instantie zal kijken naar een beeldkwaliteit lager dan 4K. Om dit te verhelpen moesten we bijvoorbeeld 2K-beeld van een Blu-ray Disc in de TV converteren naar 4K-kwaliteit. Dus om de onwaarschijnlijke schoonheid van de 4K TV aan te kunnen prijzen bij onze klanten, moesten we de technologie voor 'up-conversion' (superresolutie) afmaken en aanbieden aan de klant.
Wat houdt de 'up-conversion'-technologie in de 4K TV van Panasonic precies in?
Sakaguchi: Op dit moment zijn er verschillende superresolutie-technologieën, waaronder referentietypes op basis van voorbeelden en meerdere frames. Onze 4K TV maakt gebruik van het type dat werkt op basis van voorbeelden. Bij onze keuze hebben we prioriteit gegeven aan thuisgebruik door het hele gezin. Wanneer 4K-beeld thuis wordt bekeken, zal er waarschijnlijk sprake zijn van veel verschillende bronnen. Na een analyse van het klantgebruik, hebben we gekozen voor het referentietype op basis van voorbeelden. Dit type gaat beter om met een verscheidenheid aan bronnen, waaronder Full HD, SD-afbeeldingen, online films en meer. En voor klanten die al weten hoe prachtig Full HD-beeld eruit ziet op een Blu-ray Disc, willen we zorgen dat ze met hun 4K TV van een nog beter beeld kunnen genieten. Het type superresolutietechnologie dat het beste past en het meest efficiënt werkt binnen deze gedachtegang is het type op basis van voorbeelden.
Kunt u ons vertellen over de unieke innovaties van Panasonic?
Sakaguchi: Ons belangrijkste doel was om 2K Blu-ray Disc-beeld om te zetten naar 4Kbeeld. Om dit te bereiken hebben we gekozen voor de methode die werkt op basis van voorbeelden. Kort gezegd hebben we een grote hoeveelheid gegevens verzameld om de delen die in het oorspronkelijke beeld onvolledig waren, aan te vullen. Vervolgens hebben we deze verwerkt in een database en tegelijkertijd de technologie verbeterd, zodat de best mogelijke samples efficiënt uit de database kunnen worden opgehaald. De 4K Fine Remaster Engine doet dit alles volledig automatisch. Daarnaast hebben we de procedure voor het afstellen van het uiteindelijke beeld keer op keer herhaald totdat we tevreden waren met het eindresultaat.
Takita: De grootte en kwaliteit van de database bepaalt of de op voorbeelden gebaseerde methode het beoogde effect kan bereiken of niet. . Hoe meer data de database bevat, des te groter het superresolutie-effect.
Maar het moet erg lastig zijn om een onbeperkte database in een tv in te bouwen.
Yamamoto: Dat klopt. Bij het ontwikkelen van een tv voor thuisgebruik moeten we rekening houden met de prijs die de consument bereid zal zijn te betalen. Aan de andere kant worden tv's overal ter wereld gebruikt. Het is belangrijk om een database op te bouwen die in staat is zonder merkbare hiaten het superresolutie-effect te bereiken voor alle beelden die verschillende mensen overal ter wereld op hun scherm te zien kunnen krijgen. Uiteraard willen we niet inleveren op beeldkwaliteit. Dus hebben we extra hard gewerkt om die balans te bewaren.
Takita: In de onderzoeksfase hebben we vanuit de onbeperkte beeldbronnen die er zijn in de wereld, tientallen miljoenen beelden verzameld en gebruikt om een database samen te stellen. Een praktische database was daarbij ons uitgangspunt. Vervolgens hebben we op basis van de vraag "Welk beeld zullen de meeste klanten bekijken?" het idee toegespitst op de tv voor thuisgebruik. Zo kwamen we op het idee om categorieën te maken met gebruik van statistische methoden. Door de toevoeging van een aantal filters konden we ons richten op datgene wat echt nodig was. Dit selectieproces bleek echter zeer tijdrovend. Het was een erg moeilijke taak.
Sakaguchi: Vervolgens zijn we, met het oog op de visuele kenmerken, enkele factoren gaan benadrukken die ons helpen het beeld te verifiëren, zoals de diagonale en gebogen lijnen die in het oog springen in een afbeelding. Toen we dit punt eenmaal waren gepasseerd, kwamen we terecht in de fase waar we vertrouwden op onze ingenieursintuïtie. Het resultaat van dit eliminatieproces was het niveau van 100.000 beeldpatronen dat we als doel hadden gesteld. Omdat we niet wilden inleveren op beeldkwaliteit zijn we uiteindelijk uitgekomen op 120.000 patronen in totaal.
Tegen welke andere moeilijkheden zijn jullie aangelopen?
Ishikawa:Aangezien we met 4K TV besloten hadden compleet onontgonnen terrein te betreden, was alles wat we tegenkwamen nieuw voor ons. De ontwikkeling van onze engine begon ook al voordat het 4K-scherm bestond. In de eerste fase draaiden we verificatietests op 1/4e van het beeldformaat met Full HD-kwaliteit op een 32 inch scherm. Dit deden we omdat deze schermen precies 1/4e van het formaat hebben van een 65 inch 4K TV. Tegen de tijd dat de schermen daadwerkelijk beschikbaar waren, was de ontwikkeling allang van start gegaan. Daarom waren we zo onder de indruk van het ongelooflijke contrast en de beelddefinitie. We hadden echter niet echt de tijd om achterover te leunen en te genieten van dit gevoel. Er waren nog steeds een paar dingen aan de engine die afgestemd dienden te worden op de schermprestaties, dus we hebben ons volledig gestort op het dichten van deze gaten.
Welke beelden hebben jullie gebruikt voor de verificatie van de beeldkwaliteit bij het maken van de 4K Fine Remaster Engine?
Yamamoto: We hebben voor het controleren van het beeld vóór en ná elke aanpassing een aantal evaluatiebeelden gekozen. We hebben echter ook regelmatig bepaalde scènes van grote Hollywood-krakers op Blu-ray Discs bekeken om de superresolutie-effecten te verifiëren. Om er zeker van te zijn dat we de juiste kant op gingen bij de afstemming van de database-beelden hebben we ter evaluatie keer op keer dezelfde scène gekeken. Daarnaast vergeleken we dezelfde scènes wanneer het hele team samen controles uitvoerde. Sommige films hadden scènes die moeilijk waren om echt mooi te renderen, dus we bleven dezelfde scènes keer op keer bekijken, tot aan de laatste ontwikkelingsfasen.
Het moet lastig zijn geweest om zo vaak dezelfde scene te bekijken.
Ishikawa:Inderdaad. Om de veranderingen voor en na elke aanpassing te begrijpen, moesten we dezelfde scène zo vaak opnieuw bekijken dat we letterlijk de tel kwijt zijn geraakt. Sommige mensen keken zonder iets te weten over de andere delen van de film, en zelfs zonder de soundtrack te horen. We hadden op geen enkel moment de tijd om te ontspannen en te genieten van de film. Het hele team moest gedurende elke aanpassing gericht blijven op ons doel: het realiseren van de ideale 4K-beeldkwaliteit. Het resultaat is een beeldkwaliteit waar zelfs de ingenieurs tevreden mee waren, wat ook bleek uit hun goedkeurende kreten. Als ik hier nu aan terugdenk, waren dit echt hele mooie momenten. Oh, en daarnaast mocht ik ook enkele afbeeldingen van mijn favoriete sportwagens gebruiken voor de kwaliteitscontrole. (Lacht) Als ingenieur is mijn belangrijkste doel om de best mogelijke beeldkwaliteit te realiseren voor alle verschillende soorten scènes en bronnen, maar ik moet toegeven dat het erg leuk was om het beeld te controleren met behulp van de sportwagens waar ik zo van hou. En de kracht en dynamiek was zo anders dan op een gewone TV. Ik hoop dat iedereen met een voorliefde voor beeld onze 4K TV zal uitproberen!
Welke beelden hoopt u dat de mensen die een Panasonic 4K TV kopen, zullen kijken?
Sakaguchi: Persoonlijk houd ik erg van science-fiction met veel computergegenereerde effecten, dus ik zou het heel gaaf vinden als mensen computergegenereerde effecten op Blu-ray Discs bekijken, waarbij de definitie verhoogd wordt tot superresolutie. Dat is één type beeld waarvan ik hoop dat mensen zullen bekijken.
Takita: Ik wil heel graag dat mensen de animatiefilms gaan bekijken die momenteel zowel in Japan als elders in de wereld populair zijn.
Yamamoto: Ik wil dat mensen beelden bekijken van gebouwen en natuurlijke landschappen over de hele wereld, zoals vaak te zien in reisprogramma's. Ik wil dat ze de buitengewone definitie en waarheidsgetrouwe effecten zien die 4K zowel van dichtbij als van verderaf biedt.
Ishikawa: Uiteraard is ons concept om elk soort beeld verbazingwekkend mooi te maken, maar ik denk dat mensen de emotionele impact van 4K het best zullen ervaren met de nieuwste, mooiste Blu-ray Disc-beelden.
We kunnen met zekerheid zeggen dat op basis van jarenlange productkennis, technische expertise en de passie van alle leden, een 4K TV is gerealiseerd waar Panasonic trots op mag zijn.
Ishikawa:Ja, dat klopt helemaal. We hebben ons allemaal buitengewoon ingezet voor het realiseren van een TV-beeldprocessor genaamd FRE (Fine Remaster Engine). Maar deze prestatie hebben we aan veel meer mensen te danken dan aan ons team alleen. We bouwden verder op de aanzienlijke kennis van de ontwikkelaars van losse onderdelen, de mensen die onze componenten hebben ingekocht, en de leden die onze massaproductielijnen hebben opgezet. Ze werden allemaal geleid door de innovatieve inslag van Panasonic, en hebben ook allemaal hun bijdrage geleverd aan het realiseren van het einddoel. Ik denk dat dit nieuwe product tot stand gekomen is dankzij de enorme hoeveelheid kennis en de brede onderzoeksoriëntatie van Panasonic, zowel op het gebied van de consument als op de professionele markt.
Ik hoop oprecht dat elke klant het wonder van 4K-beeldkwaliteit in dit nieuwe product kan ervaren. Ik denk dat alle generaties van de indrukwekkende schoonheid en de emotionele impact kunnen genieten.
Yuichi Ishikawa
Leader
Principal Engineer
Werkt sinds 1991 bij de huidige afdeling TV Development van Panasonic.
Ontwikkelt algoritmes voor beeldverwerking en circuits voor TV's.
Junya Yamamoto
Architectural Design
Engineer
Werkt sinds 2008 bij de huidige afdeling TV Development van Panasonic.
Ontwikkelt algoritmes voor beeldverwerking en circuits voor TV's.
Kenji Takita
Basic Algorithm Development
Chief Engineer, Ph.D.
Werkt sinds 2004 bij de R&D-afdeling op het hoofdkantoor van Panasonic.
In 2012 overgestapt naar de afdeling TV Development.
Ontwikkelt algoritmes voor beeldverwerking in AV-apparaten.
Satoshi Sakaguchi
Database/Library Development
Chief Engineer
Werkt sinds 2002 bij de R&D-afdeling op het hoofdkantoor van Panasonic.
In 2012 overgestapt naar de afdeling TV Development.
Ontwikkelt algoritmes voor beeldverwerking in AV-apparaten.