Navi, een universele app die ondertiteling en live vertaling naar FaceTime-gesprekken brengt, is misschien wel de handigste implementatie met behulp van Apple's SharePlay-functie. Op WWDC 2021 in juni kondigde Apple iOS 15 aan met de nadruk op functies die aan het begin van de pandemie hadden moeten worden geïntroduceerd.
Apple SharePlay: wat u moet weten
Vorig jaar, toen de COVID-19-pandemie zich begon te verspreiden en landen lockdowns begonnen op te leggen, haastten technologiebedrijven zich om gedeelde ervaringen uit de offline wereld naar onze online wereld te brengen. Een van de beste voorbeelden is Netflix Party, een Chrome-extensie waarmee jij en je vrienden samen Netflix-shows en films kunnen kijken, gewoon vanuit je luie stoel home, allemaal met behoud van sociale afstand.
Netflix Feest is vergelijkbaar met een filmavond met je vriend, met het enige verschil dat jij en je vrienden niet op dezelfde plek zijn. Deze gedeelde digitale ervaringen namen echt een hoge vlucht en Apple merkte het op. Het introduceerde SharePlay als een functie waarmee gebruikers inhoud van andere apps zoals Apple TV+ of Apple Music naar hun FaceTime-gesprekken kunnen brengen.
Op WWDC 2021 opende Apple ook een API voor ontwikkelaars om hun apps te integreren met SharePlay. Het idee was simpel. Met de SharePlay API kunnen ontwikkelaars hun apps laten draaien als een ervaring binnen FaceTime-gesprekken. Als je je ooit hebt afgevraagd over het delen van video en muziek rechtstreeks vanuit FaceTime, dan heeft SharePlay dat mogelijk gemaakt. Alle media- en entertainment-apps sprongen erin ondanks de vertraging bij de uitrol, maar het beste gebruik tot nu toe voor SharePlay had kunnen komen in de vorm van Navi.
Navi wil FaceTime inclusief maken voor mensen met een gehoorbeperking
Een van de grootste verkoopargumenten van FaceTime is de naadloze integratie met Apple ecosystem en het vermogen om mensen samen te brengen. Niet iedereen kan echter op een FaceTime-gesprek springen en de service is zeker niet bedoeld voor mensen met gehoorproblemen en andere handicaps. Navi, ontworpen door Amsterdam-gebaseerde ontwikkelaar Jordi Bruin, wil dit gat in de gebruikerservaring dichten.
Navi is een eenvoudige app die binnen FaceTime twee dingen probeert te doen. De eerste is om ondertitels of instant ondertiteling in te schakelen voor al uw FaceTime-oproepen. De tweede is om live vertaling aan te bieden, zodat u met iemand anders kunt communiceren, zelfs als u hun taal niet spreekt. Bruin is zich er ook van bewust dat FaceTime-oproepen hier de belangrijkste entiteit zijn, terwijl ondertitels en live vertalingen het gesprek verbeteren.
Daarom heeft hij de app speciaal gebouwd met Picture in Picture-functionaliteit. Navi draait altijd op de achtergrond terwijl je FaceTime-gesprek centraal staat. Vorige week bracht Apple macOS 12.1 uit met SharePlay-ondersteuning en als je Navi op een Mac gebruikt, worden de ondertitels direct op het videovenster weergegeven.
Bruin vertelt Silicon Canals dat het idee van Navi eerder in het jaar begon toen hij met succes een app bouwde om mensen te helpen dempen aan de telefoon met behulp van tekst-naar-spraak. Na tekst-naar-spraak probeerde hij het omgekeerde te doen, maar kon het vanwege technische beperkingen niet laten werken. Maar toen Apple SharePlay aankondigde, probeerde Bruin ondertitels in te schakelen met behulp van de functie.
“Ik hou ervan om dingen te bouwen die het leven van mensen gemakkelijker maken, en het SharePlay-framework was ook erg leuk om gaandeweg te leren. [Binnen] 24 uur had ik het eerste prototype klaar en ik wist dat ik er een volledige app van zou kunnen bouwen”, zegt hij.
Ondertiteling, live vertaling en privacy
Bruin vertelt dat hij Navi heeft gebouwd voor mensen met een gehoorbeperking die moeite hebben met videobellen. De functie waarmee mensen kunnen communiceren met mensen die een andere taal spreken, is hier in wezen een add-on. Vanwege zijn gerichte gebruikersbestand biedt Bruin Navi aan als een gratis app in de App Store maar om de volledige ervaring te ontgrendelen, kunnen Navi-gebruikers kiezen voor in-app-aankopen.
Navi-gebruikers kunnen de ondertitels tot eind dit jaar zonder extra kosten uitproberen. In 2022 geeft Navi elke maand vijf gratis gesprekken met ondertiteling, maar om de volledige functie te ontgrendelen, moet je een eenmalige betaling van € 3.99 doen. Om de Live Translation-functie te gebruiken, moeten gebruikers een pakket kopen om te bellen, dat begint bij € 5.99 en 100,000 tekens of ongeveer een uur vertaling biedt.
“Gebruikers kunnen de ondertitels een paar keer gratis uitproberen. Als ze het gevoel hebben dat de app waarde voor hen heeft, kunnen ze een eenmalige betaling doen om Navi voor al hun oproepen te kunnen gebruiken. Als gebruikers de binnenkomende ondertitels willen vertalen, kunnen ze vertaalcredits kopen, waarmee ze een bepaald aantal karakters of minuten vertaling krijgen”, legt Bruin het model uit.
Met Apple die zichzelf verdedigt als de belangrijkste pleitbezorger voor gebruikersprivacy, houdt Navi zich ook aan alle richtlijnen die zijn opgesteld door de Cupertino-gigant. “Om de privacy van gesprekken te waarborgen, voert [de app] spraakherkenning op beide apparaten uit, die vervolgens via het gecodeerde SharePlay-kanaal wordt verzonden naar de andere apparaten tijdens het gesprek. Aan de andere kant kan de gebruiker de app de inkomende berichten laten vertalen als hij dat wil”, legt Bruin uit.
Hoewel de reguliere of niet-vertaalde ondertitels het apparaat nooit verlaten, vertrouwt Bruin nog steeds op een cloudvertaalservice voor zijn live vertaalservice. Hij is van plan om het ook op het apparaat te maken om eventuele zorgen over de privacy van gebruikers weg te nemen. "Ik ben van plan dit op het apparaat uit te brengen zodra de API's beschikbaar zijn, wat naar ik hoop ergens in het komende jaar zal zijn", voegt hij eraan toe.
Apple's ommuurde tuin en interne uitdaging
Een van de grootste uitdagingen voor een App Store-ontwikkelaar op dit moment is zich te houden aan de strikte richtlijnen van Apple en te werken binnen de grenzen van zijn ommuurde tuin. Apple bevindt zich in een unieke positie waar het het platform (iOS, macOS, watchOS, etc.) bouwt en ook de storefront op die platforms beheert (App Store). Als gevolg hiervan bevinden ontwikkelaars zich vaak aan het dikste uiteinde van de afspraak.
Hoewel deze uitdagingen reëel zijn, zegt Bruin dat hij geen problemen is tegengekomen die verband houden met beperkingen die "Apple oplegt aan het ontwikkelingsproces op hun systemen". “Door de jaren heen heb ik mijn doelen en roadmaps afgestemd op die van Apple. Nu kan ik gemakkelijk grijze gebieden vermijden die in de toekomst voor problemen kunnen zorgen”, legt hij zijn ontwikkelingsproces uit.
Hoewel het een duidelijk voorbeeld is van een ontwikkelaar die zijn doelen afstemt op die van de maker van een groot platform, is er altijd een dreigende dreiging dat Apple gewoon de stekker uit zijn API trekt of gewoon een succesvolle app van derden in native functie van zijn besturingssysteem. Het ongeluk dat Apple een idee kopieert, heeft nu zelfs een brancheterm: "Getting Sherlocked".
Bruin maakt zich echter geen zorgen om door Apple te worden gesherlockt. Hij verwacht zelfs volledig dat Apple zoiets uiteindelijk in FaceTime zal inbouwen. “Het is een logische vervolgstap voor de app, dus ik heb er geen last van”, vertelt hij Silicon Canals.
“Ze zullen waarschijnlijk in staat zijn om een betere ervaring te maken, en ik denk dat het een zeer waardevol iets is voor slechthorende gebruikers, dus ik hoop dat ze het op een gegeven moment bouwen. In de tussentijd hoop ik dat Navi al mensen kan helpen. En daarna ga ik gewoon iets anders bouwen', voegde hij er met een knipoog-emoji aan het einde aan toe.
Dit besef dat Apple zijn briljante idee omzet in een native functie, benadrukt ook de wrijving die Navi heeft om te navigeren. Om Navi echt te gebruiken, moet u eerst een spraak- of videogesprek starten op FaceTime en vervolgens terugkeren naar uw home scherm en open Navi terwijl u in gesprek blijft. Tik nu op Ondertitels en wacht tot andere mensen deelnemen aan het gesprek om een SharePlay-ervaring te krijgen met ondertitels en live vertaalfunctie.
Het klinkt misschien als een paar stappen, maar voor degenen in de Apple ecosystem, zou het klinken als twee stappen te veel. Een ideale ervaring is er een waarbij u FaceTime opent, uw vrienden, familieleden belt en eenvoudig op een schakelaar klikt om ondertitels in of uit te schakelen zonder ooit dat venster te verlaten. Bruin is het met deze gedachte eens en zegt dat hij niet kan spreken voor de toekomstplannen van Apple, maar hij ziet een dergelijke ervaring uiteindelijk wel naar iOS komen.
“Ik verwacht dat ze dit eerste jaar zullen gebruiken om te ontdekken hoe apps SharePlay gebruiken en welke functies kunnen worden toegevoegd om de ervaring gemakkelijker te maken. Als de app rechtstreeks in FaceTime is geïntegreerd, zou de ervaring gemakkelijker zijn, dus ik zou graag zien dat zo'n functie op een gegeven moment wordt toegevoegd, "zegt hij.
Navi is een geweldig voorbeeld van een eenvoudig idee dat wordt gebruikt om de gebruikerservaring volledig te transformeren voor een groep mensen die altijd achterbleven door technologie. De grootste uitdaging van Navi zou echter het platform kunnen zijn waarop het momenteel beschikbaar is. Het succes van deze app of het ontbreken daarvan zal niet alleen bepalend zijn voor Bruins eigen toekomst als app-ontwikkelaar, maar ook hoe Apple de troebele wateren betreedt van het kopiëren van een briljant app-idee van derden zonder die ontwikkelaar failliet te laten gaan.