Open Broadcaster Software Studio + Hintergrundma­nipulation

Zahlreiche Videokonferenzsysteme bieten mittlerweile die Möglichkeit an, den Hintergrund zu verändern bzw. zu verschleiern. Das wird in den meisten Fällen über eine Objekterkennung (hier die Person) realisiert. Diese Objekterkennung findet auf dem jeweiligen Endgerät statt und muss daher lokal berechnet werden. Da die Berechnung aber auch dynamisch sein muss (schliesslich bewegt sich die Person geringfügig), muss diese Routine immer wieder in kurzen Abständen ausgeführt werden, was zu einer Belastung des CPUs (und bei mobilen Geräten: der Batterie) führt. Ausserdem kann durch schlecht abgestimmte Parameter die Berechnung der "Person vs. Hintergrund" zu sehr "zittrigem" bzw. unruhigem Bild führen, was andere Teilnehmer stören kann.

Durch die Tatsache, dass nicht jede Videokonferenzsoftware eine Hintergrundmanipulation anbietet und wenn doch, diese vergleichsweise hardwarehungrig ist, soll an dieser Stelle ein Tutorial folgen, welches für diese beiden Hauptprobleme Abhilfe schafft.

Dabei gibt es (mindestens) zwei Varianten um ein solches Setup zu realisieren:

• Einsetzen einer Bildmaske 
  • Hintergrund austauschen
  • Hintergrund verschleiern
• Verwendung eines "Greenscreens" mit einem Chromakey

Einsetzen einer Bildmaske

Die günstigste Variante, bei der kein Geld ausgegeben werden muss, ist der Einsatz einer Bildmaske. Diese Bildmaske wird statisch über das Webcambild gelegt und lässt den Hintergrund um die Person transparent werden. 

Hintergrund austauschen

Die Idee

Man fügt mit einem Bildbearbeitungsprogramm einen Alphakanal zu einem zuvor geschossenen Bild mit der Webcam hinzu, schneidet den Teil des Bildes heraus, auf dem sich die Person befindet und wählt in OBS für die Kamera den Filter "Bildmaske/-vermischung" aus. Somit entsteht eine Schablone, welche die Person sichtbar und alles um sie herum transparent werden lässt.

Die Schablone bzw. Maske

Zunächst wird mit der verwendeten Webcam oder Kamera ein Bild gespeichert, welches die Person in der Position zeigt, in der sie sich im Meeting oder Konferenz befinden möchte. Wichtig hierbei ist es, auf das richtige Seitenverhältnis des Bildes zu achten, da man sonst durch Strecken und Stauchen nachbearbeiten muss.

Dieses Bild wird nun in einem Bildbearbeitungsprogramm geöffnet, beispielsweise GIMP.

Um den Bereich nun gut auswählen zu können, wird die Person mit einer einheitlichen Farbe eingefärbt. Anschließend wird der Ebene - sofern nicht schon vorhanden - ein Alphakanal hinzugefügt, sodass Transparenz unterstützt wird. Nun den ausgewählten Bereich des Bildes entfernen und die Maske ist fertig.

Die Maske selbst ist dabei statisch und wandert nicht mit der Person mit, weswegen eine Gratwanderung begangen werden muss zwischen "Passgenauigkeit" der Maske und dem Bewegungsspielraum. Eine sehr eng anliegende Maske sieht zwar mit Hintergrund sehr gut aus, der Benutzer darf sich aber fast nicht bewegen, da er sonst nicht mehr zu sehen ist weil die Maske ja alles aussenherum verdeckt. Schneidet man die Person etwas zu großzügig aus, wirkt sich das im Anschluss negativ auf den Eindruck mit dem gewählten Hintergrund aus.

Filter

In OBS muss nun ein Filter für die Quelle der Webcam eingefügt werden. Um genauer zu sein, ein Effektfilter. Der Effektfilter lautet "Bildmaske/-vermischung" und wird über das Pluszeichen am unteren Rand des Fensters ausgewählt.

Als Einstellung für diesen Filter muss noch die Art "Alphamaske (Alphakanal)" und der Pfad zur Schablone angegeben werden und schon ist man fertig.

Hintergrund verschleiern

Es gibt viele Gründe, den Hintergrund zu verschleiern. Der reine Schutz der Privatssphäre im Homeoffice oder der Datenschutz am Arbeitsplatz sind wohl die geläufigsten.

Die Idee

Da im Vergleich zum Austausch, eine Veränderung des Hintergrunds angestrebt wird, muss die Schablone bzw. Maske invertiert werden. Dazu wird alles ausser der Person (bzw. dem transparenten Bereich) in einer einheitlichen Farbe eingefärbt.

Die Schablone bzw. die Maske

Erneut wird mit einem Bildbearbeitungsprogramm das angefertigte Webcambild verändert. Das zuvor angefertigte Bild, bei dem der Personenausschnitt transparent gemacht wurde, kann dabei erneut verwendet werden. Im nächsten Schritt wird als erstes genau der transparente Ausschnitt mit dem Zauberstab-Tool ausgewählt. Anschließend wird die Auswahl umgekehrt, sodass alles ausgewählt ist, was genau nicht dieser durchsichtige Teil des Bildes ist.

Danach muss nur noch entweder mit einem grünen Zeichenwerkzeug oder dem Füllwerkzeug besagte Auswahl eingefärbt und die Datei abgespeichert werden.

Filter

OBS bietet standardmäßig zwar einige Effektfilter an, jedoch ist der Weichzeichnerfilter nicht Teil des Repertoires. Da OBS eine quelloffene Software und modular gestaltet ist, lässt sich diese Funktionalität aber durch Plugins nachrüsten. Das hierfür notwendige Plugin lautet StreamFX und ist auf Github.com zu finden. Folgen Sie den Installationsanweisungen auf der Seite um das Plugin zu installieren.

Verwendung eines "Greenscreens" mit einem Chromakey

Die Idee

Der Chromakey Filter ist sozusagen eine dynamische Maske, welche sämtliche Pixel transparent darstellt, die eine bestimmte Farbe bzw. eine starke Ähnlichkeit zu einer Farbe aufweisen. Idealerweise wird dafür ein leuchtendes Grün verwendet, da diese Farbe sowohl selten vorkommt, als auch eine recht große Distanz zu anderen, häufiger verwendeten Farben aufweist. Prinzipiell kann hierbei jede Farbe verwendet werden. Es kann allerdings schnell zu unerwünschten transparenten Bereichen kommen, wenn eine Farbe verwendet wird, die im Bild auf einer eigentlich erwünscht sichtbaren Fläche vorkommt. Wenn beispielsweise als Chromakey die Farbe Grau ausgewählt wird, dann darf die Person vor der Kamera kein graues Oberteil tragen, sonst wird der Oberkörper transparent [1], wie im folgenden Bild zu sehen:

Die Durchführung

Analog zu Variante 1 wird der Webcam ein Filter hinzugefügt. In diesem Fall ist es allerdings der Effektfilter "Chromakey":

Die Einstellungsmöglichkeiten für den Chromafilter sind mannigfaltig. Wichtig sind zunächst nur der Keyfarbtyp (der die Transparenzfarbe darstellt), der Ähnlichkeitsschieberegler (der besagt, wie die Toleranz zur exakten Keyfarbe sein darf um dennoch transparent angezeigt zu werden) und unter Umständen noch der Glätteschieberegler (mit dem das Rauschen bei trotzdem ähnlichen Farben ausgeglichen werden kann).

Ein genaues Konfigurationsbeispiel hier zu nennen ist nicht möglich, da sie gänzlich von den ausgewählten Aspekten wie Keyfarbe, Lichtverhältnisse usw. abhängt. Eine generelle Richtlinie ist aber, für einen möglichst homogenen Hintergrund zu sorgen, sodass die Einstellung des Setups unproblematisch verläuft.