Navi, eine universelle App, die Untertitel und Live-Übersetzung zu FaceTime-Anrufen hinzufügt, ist wohl die raffinierteste Implementierung, die es gibt Apples SharePlay-Funktion. Auf der WWDC 2021 im Juni kündigte Apple iOS 15 mit einem Fokus auf Funktionen an, die gleich zu Beginn der Pandemie hätten eingeführt werden sollen.
Apple SharePlay: Was Sie wissen müssen
Als sich letztes Jahr die COVID-19-Pandemie auszubreiten begann und Länder mit der Verhängung von Lockdowns begannen, kämpften Technologieunternehmen darum, gemeinsame Erfahrungen aus der Offline-Welt in unsere Online-Welt zu übertragen. Eines der besten Beispiele ist Netflix Party, eine Chrome-Erweiterung, mit der Sie und Ihre Freunde gemeinsam Netflix-Sendungen und -Filme bequem von zu Hause aus ansehen können home, und das alles unter Wahrung der sozialen Distanzierung.
Netflix Die Party ähnelt einem Filmabend mit Ihrem Freund, mit dem einzigen Unterschied, dass Sie und Ihre Freunde nicht am selben Ort sind. Diese gemeinsamen digitalen Erlebnisse kamen wirklich gut an und Apple wurde darauf aufmerksam. SharePlay wurde als Funktion eingeführt, mit der Benutzer Inhalte von anderen Apps wie Apple TV+ oder Apple Music in ihre FaceTime-Anrufe integrieren können.
Auf der WWDC 2021 hat Apple außerdem eine API für Entwickler geöffnet, um ihre Apps mit SharePlay zu integrieren. Die Idee war einfach. Mit der SharePlay-API können Entwickler zulassen, dass ihre Apps als Erlebnis in FaceTime-Aufrufen ausgeführt werden. Wenn Sie sich jemals gefragt haben, ob Sie Videos und Musik direkt über FaceTime teilen möchten, dann hat SharePlay dies ermöglicht. Trotz der Verzögerung bei der Einführung sprangen alle Medien- und Unterhaltungs-Apps ein, aber die bisher beste Nutzung für SharePlay hätte in Form von Navi erfolgen können.
Navi möchte FaceTime für Menschen mit Hörbehinderung inklusive machen
Eines der größten Verkaufsargumente von FaceTime ist die nahtlose Integration mit Apple ecosystem und seine Fähigkeit, Menschen zusammenzubringen. Allerdings kann nicht jeder an einem FaceTime-Anruf teilnehmen und der Dienst ist definitiv nicht für Menschen mit Hörbehinderungen und anderen Behinderungen konzipiert. Navi, entworfen von Amsterdam-basierter Entwickler Jordi Bruinmöchte diese Lücke in der Benutzererfahrung schließen.
Navi ist eine einfache App, die versucht, innerhalb von FaceTime zwei Dinge zu tun. Die erste besteht darin, Untertitel oder sofortige Untertitel für alle Ihre FaceTime-Anrufe zu aktivieren. Die zweite besteht darin, eine Live-Übersetzung anzubieten, die es Ihnen ermöglicht, mit einer anderen Person zu interagieren, auch wenn Sie deren Sprache nicht sprechen. Bruin ist sich auch der Tatsache bewusst, dass FaceTime-Anrufe hier die wichtige Einheit sind, während Untertitel und Live-Übersetzung den Anruf verbessern.
Daher hat er die App speziell mit der Bild-in-Bild-Funktionalität entwickelt. Navi läuft immer im Hintergrund, während Ihr FaceTime-Anruf im Mittelpunkt steht. Letzte Woche hat Apple macOS 12.1 mit SharePlay-Unterstützung veröffentlicht und wenn Sie Navi auf einem Mac verwenden, werden die Untertitel direkt in das Videofenster eingeblendet.
Bruin erzählt Silicon Canals dass die Idee zu Navi Anfang des Jahres entstand, als er erfolgreich eine App entwickelte, mit der Menschen mithilfe von Text-to-Speech das Sprechen am Telefon stumm geschaltet werden konnten. Nach Text-to-Speech versuchte er das Gegenteil, konnte es aber aufgrund technischer Einschränkungen nicht zum Laufen bringen. Doch als Apple SharePlay ankündigte, versuchte Bruin, Untertitel mithilfe der Funktion zu aktivieren.
„Ich liebe es, Dinge zu bauen, die das Leben der Menschen einfacher machen, und es hat auch viel Spaß gemacht, nebenbei das SharePlay-Framework zu erlernen. „Innerhalb von 24 Stunden hatte ich den ersten Prototypen fertig und wusste, dass ich daraus eine vollständige App erstellen könnte“, sagt er.
Untertitel, Live-Übersetzung und Datenschutz
Bruin sagt, dass er Navi für Menschen mit Hörbehinderung entwickelt hat, die Schwierigkeiten mit Videoanrufen haben. Die Funktion, die es Menschen ermöglicht, mit Personen zu kommunizieren, die eine andere Sprache sprechen, ist hier im Wesentlichen ein Add-on. Aufgrund seiner gezielten Benutzerbasis bietet Bruin Navi als an kostenlose App im App Store Um jedoch das volle Erlebnis freizuschalten, können sich Navi-Benutzer für den In-App-Kauf entscheiden.
Navi-Nutzer können die Untertitel bis Ende dieses Jahres ohne zusätzliche Kosten ausprobieren. Im Jahr 2022 bietet Navi jeden Monat fünf kostenlose Anrufe mit Untertiteln an. Um die volle Funktion freizuschalten, müssen Sie jedoch eine einmalige Zahlung von 3.99 € leisten. Um die Live-Übersetzungsfunktion nutzen zu können, müssen Benutzer ein Paket zum Tätigen von Anrufen kaufen, das bei 5.99 € beginnt und 100,000 Zeichen oder etwa eine Stunde Übersetzung bietet.
„Benutzer können die Untertitel bei einigen Anrufen kostenlos ausprobieren. Wenn sie das Gefühl haben, dass die App für sie wertvoll ist, können sie eine einmalige Zahlung leisten, um Navi für alle ihre Anrufe nutzen zu können. Wenn Benutzer die eingehenden Untertitel übersetzen möchten, können sie Übersetzungsguthaben erwerben, wodurch sie eine bestimmte Anzahl von Zeichen oder Übersetzungsminuten erhalten“, erklärt Bruin das Modell.
Da Apple sich selbst als größter Befürworter der Privatsphäre der Benutzer vertritt, hält sich Navi auch an alle Richtlinien des Cupertino-Riesen. „Um die Vertraulichkeit von Gesprächen zu gewährleisten, führt [die App] auf beiden Geräten eine Spracherkennung auf dem Gerät durch, die dann über den verschlüsselten SharePlay-Kanal an die anderen Geräte im Anruf übertragen wird. Auf der anderen Seite kann der Benutzer dann die App die eingehenden Nachrichten übersetzen lassen, wenn er möchte“, erklärt Bruin.
Während die regulären oder nicht übersetzten Untertitel das Gerät nie verlassen, verlässt sich Bruin für seinen Live-Übersetzungsdienst immer noch auf einen Cloud-Übersetzungsdienst. Er plant, es auch auf dem Gerät bereitzustellen, um etwaige Datenschutzbedenken der Benutzer auszuräumen. „Ich habe vor, dies auf das Gerät zu bringen, sobald die APIs verfügbar sind, was hoffentlich irgendwann im nächsten Jahr der Fall sein wird“, fügt er hinzu.
Apples ummauerter Garten und interne Herausforderung
Eine der größten Herausforderungen für einen App Store-Entwickler besteht derzeit darin, die strengen Richtlinien von Apple einzuhalten und innerhalb der Grenzen seines ummauerten Gartens zu arbeiten. Apple ist in einer einzigartigen Position, da es die Plattform erstellt (iOS, macOS, watchOS usw.) und auch die Storefront auf diesen Plattformen betreibt (App Store). Dadurch geraten Entwickler häufig in die Klemme.
Obwohl diese Herausforderungen real sind, sagt Bruin, dass er keine Probleme im Zusammenhang mit Einschränkungen hatte, die „Apple dem Entwicklungsprozess seiner Systeme auferlegt“. „Im Laufe der Jahre habe ich meine Ziele und Roadmaps an denen von Apple ausgerichtet. Jetzt fällt es mir leicht, Grauzonen zu vermeiden, die in Zukunft Probleme bereiten könnten“, erklärt er seinen Entwicklungsprozess.
Während es ein klares Beispiel dafür ist, dass ein Entwickler seine Ziele mit denen des Schöpfers einer großen Plattform in Einklang bringt, besteht immer die Gefahr, dass Apple einfach den Stecker seiner API zieht oder einfach umschaltet erfolgreiche Drittanbieter-App in native Funktion umwandeln seines Betriebssystems. Das Unglück, dass Apple eine Idee kopiert, hat in der Branche mittlerweile sogar einen Begriff: „Getting Sherlocked“.
Bruin hat jedoch keine Angst davor, von Apple blockiert zu werden. Tatsächlich geht er davon aus, dass Apple irgendwann so etwas in FaceTime einbauen wird. „Es ist ein logischer nächster Schritt für die App, deshalb stört mich das nicht“, erzählt er Silicon Canals.
„Sie werden wahrscheinlich in der Lage sein, ein besseres Erlebnis zu schaffen, und ich denke, es ist eine sehr wertvolle Sache für hörgeschädigte Benutzer, also hoffe ich, dass sie es irgendwann bauen. In der Zwischenzeit hoffe ich, dass Navi den Leuten bereits helfen kann. Und danach werde ich einfach anfangen, etwas anderes zu bauen“, fügte er am Ende mit einem Augenzwinkern-Emoji hinzu.
Diese Erkenntnis, dass Apple seine brillante Idee in eine native Funktion umsetzt, verdeutlicht auch die Schwierigkeiten, mit denen Navi zurechtkommt. Um Navi wirklich nutzen zu können, müssen Sie zunächst einen Sprach- oder Videoanruf auf FaceTime starten und dann zu Ihrem zurückkehren home Bildschirm und öffnen Sie Navi, während Sie telefonieren. Tippen Sie nun auf „Untertitel“ und warten Sie, bis andere Personen an dem Anruf teilnehmen, um ein SharePlay-Erlebnis mit Untertiteln und Live-Übersetzungsfunktion zu erhalten.
Es hört sich vielleicht nach ein paar Schritten an, aber für diejenigen im Apple ecosystem, es würde wie zwei Schritte zu viel klingen. Ein ideales Erlebnis wäre, wenn Sie FaceTime öffnen, Ihre Freunde und Verwandten anrufen und einfach auf einen Schalter klicken, um Untertitel zu aktivieren oder zu deaktivieren, ohne das Fenster jemals zu verlassen. Bruin stimmt dieser Ansicht zu und sagt, er könne sich nicht zu den Zukunftsplänen von Apple äußern, aber er sehe eine solche Erfahrung irgendwann auch für iOS.
„Ich gehe davon aus, dass sie dieses erste Jahr nutzen werden, um herauszufinden, wie Apps SharePlay nutzen und welche Funktionen hinzugefügt werden können, um das Erlebnis einfacher zu machen. Die direkte Integration der App in FaceTime würde das Erlebnis einfacher machen, daher würde ich mir wünschen, dass eine solche Funktion irgendwann hinzugefügt wird“, sagt er.
Navi ist ein großartiges Beispiel dafür, wie eine einfache Idee genutzt wird, um das Benutzererlebnis für eine Gruppe von Menschen, die immer von der Technologie zurückgelassen wurden, völlig zu verändern. Die größte Herausforderung für Navi könnte jedoch die Plattform sein, auf der es derzeit verfügbar ist. Der Erfolg oder Misserfolg dieser App wird nicht nur über Bruins eigene Zukunft als App-Entwickler entscheiden, sondern auch darüber, wie Apple das trübe Wasser betritt, eine brillante App-Idee eines Drittanbieters zu kopieren, ohne diesen Entwickler aus dem Geschäft zu drängen.