Alte Videos oder solche mit geringer Auflösung sehen auf aktuellen TVs, Displays und Beamer nicht unbedingt gut aus, klar fehlt es doch an Auflösung und Details. Je nach Ausgangsmaterial, Software und Hardware lässt sich da eventuell was dran ändern.
Vor gut zwei Wochen kam ich auf die Idee einen älteren Film, den es bislang nicht in HD (oder besser) gibt, mit einer entsprechenden Software in Sachen Auflösung und wenn möglich Details und Farbe hochrechnen zu lassen. Umgangssprachlich “Upscaling” genannt und im Gegensatz zu früher kommen dabei seit wenigen Jahren verschiedene AI-Engines und Modelle zum Einsatz. Das bringt den Vorteil mit sich, dass das Bild nicht einfach nur größer gemacht wird, was bislang nur grobkörnig, verrauscht und “klotzig” war, sondern so nah wie möglich an die angepeilte Ziel-Auflösung hochgerechnet wird, Details herausgearbeitet werden und, sofern die jeweilige Software es hergibt, die Farben nicht nur angepasst sondern gar verbessert werden.
Die Bandbreite an verfügbarer Software und deren Einstellungsmöglichkeiten ist recht groß, von Open Source bis Kommerziell ist alles vertreten. Ein paar dieser Kandidaten werden in diesem Beitrag vorgestellt und wurden getestet. Gleich Vorweg: Die Ergebnisse sind meine persönliche subjektiven Eindrücke, letztlich muss jeder mit seinem Material selbst testen und den richtigen Weg für sich finden.
Zu Beginn kann man sagen: Upscaling können Sie alle. Die Krux liegt allerdings darin wie das Ergebnis aussieht und wie lange es dauert zu diesem zu kommen und genau hier gibt es erhebliche Unterschiede, die zum einen von der eingesetzten Hardware und der jeweiligen AI-Engine samt Modell abhängig sind. Als PC kommt ein Intel Core i7-12700 mit 64 GB RAM, einer 1 TB NVMe SSD und einer Nvidia GeForce GTX 1060 6 GB zusammen mit Windows 11 Pro zum Einsatz.
Generelle Empfehlungen
Nach Möglichkeit wird ein PC der vor sich hinrechnet nicht anderweitig genutzt. Jetzt wird aber sicherlich nicht jeder einen dedizierten Upscaling-PC haben. Ganz generell kann man allerdings sagen das folgendes beachtet werden sollte:
- Antivirus vorübergehend deaktivieren.
- Windows Updates pausieren oder vorübergehend deaktivieren.
- “Energiestatus” auf “Beste Leistung” setzen.
- Der PC sollte idealerweise eine USV vorgeschaltet haben um gegen Stromschwankungen und -ausfälle geschützt zu sein.
Test-Vorbereitung
Damit man nicht gleich in die Vollen geht bietet es sich an, zunächst ein Test-Muster anzufertigen. Gemeint ist dabei, das man von dem zu verbessernden Film oder Video zunächst einen Teil, beispielsweise fünf Minuten, herausschneidet und damit verschiedene Software und Einstellungen ausprobiert. Der potentielle Vorteil dieser Methode liegt darin, das relativ schnell ein Ergebnis vorliegt. Bei diesem Test-Muster sollte man darauf achten, das man eine Stelle oder Szene nimmt die entsprechende Details und viel Bewegung hat, Action-Sequenzen beispielsweise, denn beides fordert entsprechend die Software und im Ergebnis sieht man am ehesten ob Bildfehler entstanden sind (aufgrund er Bewegung) und wie gut Details herausgearbeitet wurden.
Für jede Film-Art (Real oder Animation) gibt es spezialisierte AI-Engines und Modelle, so manche Software unterstütz sogar nur Animationen bzw. Animes. In diesem Beitrag geht es allerdings explizit um einen Real-Film. Manche hier vorgestellte Software kann beide Arten und zudem Bilder und Fotos verbessern.
Kleiner Exkurs welche Engine und welches Modell für was geeignet ist
Dieses Thema ist (leider) nicht einfach, den es gibt eine Menge Optionen. Als weiterer Knackpunkt kommt hinzu das es Verfahren gibt, die nur mit bestimmten Grafikkarten funktionieren. Allgemein kann man folgendes (vielleicht) festhalten:
Diese Infos stammen von “Waifu2x-Extension-GUI” (siehe “Open Source” weiter unten). On Top gibt es dann noch die Engines und Modelle in kommerzieller Software.
Kommerzielle Software
Anbieter von Upscaling-Software gibt es viele, daher kann die nachfolgende Liste nur als Auszug betrachtet werden. Die jeweiligen Möglichkeiten und Ergebnisse wie auch Preise sind teils höchst unterschiedlich.
AVCLabs Video Enhancer AI – Pro Monat/Jahr oder einmalig zu haben. Neben dem Upscaling kann einfacher Videoschnitt durchgeführt werden. Gutes Ergebnis und recht schnell. Im Test fiel auf, das die Hardware nicht vollständig ausgelastet wird, das mag allerdings von den Einstellungen abhängig sein.
DVDFab Video Enhancer AI – Einzeln pro Monat, Lifetime oder im Bundle erhältlich. Übersichtliche einfache Bedienung. Mit Real-ERSGAN als Modell und Modus nach 2,5 Stunden ein gutes Ergebnis, allerdings mit kleinen Bildfehlern. Mit RealESRNet als Modus keine Bildfehler, dafür wirkt das Bild mitunter zu plastisch, das kommt daher das dieser Modus am ehesten für CG-Videos geeignet ist. Dennoch ein möglicher Kompromiss zwischen Ergebnis und Dauer. Großer Pluspunkt: Die Demo-Version erlaubt die Bearbeitung von fünf Videos ohne Einschränkung.
DVDFab Enlarger AI – Ähnliche Lizenzierung wie oben, offenbar in DVDFab integriert, die Demo-Version erlaubt nur fünf Minuten zu bearbeiten. Schnell, aber das Ergebnis überzeugt nicht. Der Bild wirkt verwaschen, ferner gibt es Glötzchen.
HitPaw Video Enhancer – Pro Monat/Jahr oder einmalig zu haben. Die Übersetzung ist verbesserungswürdig, daher besser auf Englisch stellen. Soweit man es in der Demo (leider nur 45 Frames, kein Export) beurteilen kann ein gutes Ergebnis, vor allem die Farben gefallen (sofern man “Color Enhancement” aktiviert hat).
Topaz Video AI – Das kostspieligste Programm, dafür aber vergleichsweise schnell und mit sehr gutem Ergebnis. Nicht umsonst wohl der Marktführer. Verbessert zudem die Farben, sofern man “Enhancement” aktiviert oder durch eine Vorlage aktivieren lässt.
In diesem Testfeld lieferten AVCLabs, HitPaw und Topaz das (imho) beste Ergebnis, das hat allerdings seinen Preis und der dürfte sich nur für Anwender lohnen die häufiger Videos bearbeiten wollen.
Freeware (?)
Eigentlich war der Test bereits abgeschlossen und der Beitrag fertig, da kam noch ein Nachzügler. Unklar ist zu diesem Zeitpunkt, ob diese Erweiterung kostenlos bleiben wird:
ClonerAlliance AI Video Enhancer – Benötigt die Cloner Alliance Helper Software (kostenpflichtig, aber mit ca. 65,00 € günstig). Recht junges Produkt (erstes Release im Mai 2023). Drag&Drop unzuverlässig, man verschiebt mitunter versehentlich seine Datei(en). Erkannte im Test nicht die eigenes installierte Helper Software. Daher den Test abgebrochen.
Off-Topic / Not tested
Eine weitere Möglichkeit stellt Nvidia Maxine dar. Hierzu gibt es einen interessanten Beitrag unter
Medium – How to AI-Upscale Your Video Collection with Nvidia Maxine
Setzt wohl zwingend Nvidia RTX-GPUs voraus, ist in “Waifu2x-Extension-GUI” (siehe “Open Source” weiter unten) nutzbar:
Open Source
Wie bei den kommerziellen Kollegen gibt es sehr viele freie Software, die teils unterschiedlicher nicht sein könnte. Manche ausführbare Datei gibt es nur gegen Geld, daher wurde nicht jedes Programm getestet.
Scapix – Sehr einfach gehalten, klare Bedienung, kann auch Fotos und Bilder, aber ganz gleich welche Einstellung verwendet wurde im Ergebnis gab es leider Bildfehler. Vermutlich nur für Animes zu empfehlen.
Waifu2x-Extension-GUI – Mächtige Lösung, die sowohl Bilder als auch Videos kann, sehr viele Einstellungen, einige nur gegen Patreon-Freischaltung zugänglich, viele Erklärungen zu den jeweiligen Einstellungen. Je nach Engine das beste Ergebnis, aber sehr sehr langsam (liegt an den Engines, nicht am Programm!). Das Test-Muster (5 Minuten) zu bearbeiten nahm, unabhängig von der besten oder zweitbesten Engine, 20 Stunden in Anspruch.
jUpscaler – Ausführbare Datei gibt es nur gegen Geld, daher nicht getestet.
RealScaler – Ausführbare Datei gibt es nur gegen Geld, daher nicht getestet.
QualityScaler – Ausführbare Datei gibt es nur gegen Geld, daher nicht getestet.
enhancr – Das Setup crashed bereits, daher nicht getestet. Pro Version nur als Patreon.
Video2X – Der Klassiker unter den Open Source Upscalern. Letzte Version von 2020. Funktioniert, aber Engine und Modelle sowie das Ergebnis sind nicht auf der Höhe der Zeit. Für das Test-Muster wurden 14 Stunden gebraucht.
Ganzen Film bearbeiten
Nach den Tests mit dem erwähnten Fünf-Minuten-Schnipsel habe ich dann mal den kompletten Film (Spielzeit ca. 2 Std. 44 Min.) mit DVDFab Video Enhancer AI bei folgenden Einstellungen hochrechnen lassen:
- AI-Modell: Real-ESRGAN
- RealSR-Modus: RealESRNet
Ausgabe: - Format: HD 720P
- Videoqualität: Hohe Qualität (9086 kbps)
- Audio Codec: AAC
Dieser Vorgang hat gut 72.5 Std., also drei Tage, in Anspruch genommen. Das Ergebnis sieht in der Stichprobe nicht schlecht aus, die Farben könnten womöglich sogar zu kräftig sein. Es folgt ein Update dieses Beitrags sobald der Film als ganzes “Begutachtet” wurde.
Wie sind so eure Erfahrungen mit diesem Thema? Welche Soft- und Hardware setzt ihr ein? Schreibt mir gerne ein Kommentar.
Verheiratet, Vater von zwei Kindern, eines an der Hand, eines im Herzen. Schon immer Technik-Freund, seit 2001 in der IT tätig und seit über 10 Jahren begeisterter Blogger. Mit meiner Firma IT-Service Weber kümmern wir uns um alle IT-Belange von gewerblichen Kunden und unterstützen zusätzlich sowohl Partner als auch Kollegen.
Artikel (RSS)
XING
Schreibe einen Kommentar