Navi, une application universelle qui apporte des sous-titres et une traduction en direct aux appels FaceTime, est sans doute l'implémentation la plus astucieuse utilisant La fonction SharePlay d'Apple. Lors de la WWDC 2021 en juin, Apple a annoncé iOS 15 en mettant l'accent sur les fonctionnalités qui auraient dû être introduites dès le début de la pandémie.
Apple SharePlay : ce que vous devez savoir
L'année dernière, lorsque la pandémie de COVID-19 a commencé à se propager et que les pays ont commencé à imposer des confinements, les entreprises technologiques se sont précipitées pour apporter des expériences partagées du monde hors ligne à notre premier monde en ligne. L'un des meilleurs exemples est Netflix Party, une extension Chrome qui vous permet, à vous et à vos amis, de regarder ensemble des émissions et des films Netflix dans le confort de votre choix. home, tout en respectant la distanciation sociale.
Netflix La fête s'apparente à une soirée cinéma avec votre ami, la seule différence étant que vous et vos amis n'êtes pas au même endroit. Ces expériences numériques partagées ont vraiment décollé et Apple en a pris note. Il a introduit SharePlay en tant que fonctionnalité permettant aux utilisateurs d'apporter du contenu d'autres applications comme Apple TV + ou Apple Music à leurs appels FaceTime.
Lors de la WWDC 2021, Apple a également ouvert une API permettant aux développeurs d'intégrer leurs applications à SharePlay. L'idée était simple. Avec l'API SharePlay, les développeurs pourront autoriser leurs applications à s'exécuter comme une expérience dans les appels FaceTime. Si vous vous êtes déjà posé des questions sur le partage de vidéos et de musique directement depuis FaceTime, alors SharePlay a rendu cela possible. Toutes les applications multimédias et de divertissement ont sauté malgré le retard de son déploiement, mais la meilleure utilisation à ce jour de SharePlay aurait pu arriver sous la forme de Navi.
Navi veut rendre FaceTime inclusif pour les personnes malentendantes
L'un des principaux arguments de vente de FaceTime est son intégration transparente avec Apple ecosystem et sa capacité à rassembler les gens. Cependant, tout le monde ne peut pas sauter sur un appel FaceTime et le service n'est certainement pas conçu pour les personnes malentendantes et autres handicaps. Navi, conçu par Amsterdamdéveloppeur basé à Jordi Bruin, souhaite combler cette lacune dans l'expérience utilisateur.
Navi est une application simple qui essaie de faire deux choses dans FaceTime. La première consiste à activer les sous-titres ou le sous-titrage instantané pour tous vos appels FaceTime. La seconde est de proposer une traduction en direct vous permettant d'interagir avec une autre personne même si vous ne parlez pas sa langue. Bruin est également conscient du fait que l'appel FaceTime est l'entité importante ici, tandis que les sous-titres et la traduction en direct améliorent l'appel.
Ainsi, il a construit l'application spécifiquement avec la fonctionnalité Picture in Picture. Navi s'exécute toujours en arrière-plan pendant que votre appel FaceTime occupe le devant de la scène. La semaine dernière, Apple a publié macOS 12.1 avec prise en charge de SharePlay et si vous utilisez Navi sur un Mac, les sous-titres sont superposés directement sur la fenêtre vidéo.
Bruin raconte Silicon Canals que l'idée de Navi a commencé plus tôt dans l'année lorsqu'il a réussi à créer une application pour aider les personnes muettes à parler au téléphone en utilisant la synthèse vocale. Après la synthèse vocale, il a essayé de faire l'inverse, mais n'a pas pu le faire fonctionner en raison de limitations techniques. Mais quand Apple a annoncé SharePlay, Bruin a essayé d'activer les sous-titres à l'aide de la fonctionnalité.
« J'adore créer des choses qui facilitent la vie des gens, et le framework SharePlay a également été très amusant à apprendre en cours de route. [En] 24 heures, j'avais le premier prototype prêt et je savais que je serais capable de créer une application complète à partir de celui-ci », dit-il.
Sous-titres, traduction en direct et confidentialité
Bruin dit qu'il a construit Navi pour les personnes malentendantes qui ont des difficultés avec les appels vidéo. La fonctionnalité permettant aux gens de communiquer avec ceux qui parlent une autre langue est essentiellement un complément ici. En raison de sa base d'utilisateurs ciblée, Bruin propose Navi en tant que application gratuite sur l'App Store mais pour débloquer l'expérience complète, les utilisateurs de Navi peuvent opter pour l'achat intégré.
Les utilisateurs de Navi peuvent essayer les sous-titres sans frais supplémentaires jusqu'à la fin de cette année. En 2022, Navi offrira cinq appels gratuits avec sous-titres chaque mois, mais pour déverrouiller la fonctionnalité complète, vous devrez effectuer un paiement unique de 3.99 €. Pour utiliser la fonctionnalité Live Translation, les utilisateurs devront acheter un pack pour passer des appels, qui commence à 5.99 € et propose 100,000 XNUMX caractères soit environ une heure de traduction.
« Les utilisateurs peuvent essayer gratuitement les sous-titres sur quelques appels. S'ils estiment que l'application a de la valeur pour eux, ils peuvent acheter un paiement unique pour pouvoir utiliser Navi pour tous leurs appels. Si les utilisateurs souhaitent traduire les sous-titres entrants, ils peuvent acheter des crédits de traduction, ce qui leur donne un certain nombre de caractères ou de minutes de traduction », explique Bruin, expliquant le modèle.
Alors qu'Apple se défend comme le principal défenseur de la confidentialité des utilisateurs, Navi adhère également à toutes les directives établies par le géant de Cupertino. "Pour garantir la confidentialité des conversations, [l'application] effectue une reconnaissance vocale sur l'appareil sur les deux appareils, qui est ensuite transmise via le canal SharePlay crypté aux autres appareils de l'appel. De l'autre côté, l'utilisateur peut alors laisser l'application traduire les messages entrants s'il le souhaite », explique Bruin.
Alors que les sous-titres réguliers ou non traduits ne quittent jamais l'appareil, Bruin s'appuie toujours sur un service de traduction en nuage pour son service de traduction en direct. Il prévoit également de le faire sur l'appareil pour éliminer tout problème de confidentialité que les utilisateurs pourraient avoir. "Je prévois de mettre cela sur l'appareil dès que les API seront disponibles, ce qui, j'espère, arrivera quelque part l'année prochaine", ajoute-t-il.
Le jardin clos et le défi interne d'Apple
L'un des plus grands défis pour un développeur d'App Store à l'heure actuelle est de respecter les directives strictes d'Apple et de travailler dans les limites de son jardin clos. Apple est dans une position unique où il construit la plate-forme (iOS, macOS, watchOS, etc.) et gère également la vitrine sur ces plates-formes (App Store). En conséquence, les développeurs se retrouvent souvent au gros du marché.
Bien que ces défis soient réels, Bruin dit qu'il n'a rencontré aucun problème lié aux limitations qu'"Apple impose au processus de développement de ses systèmes". « Au fil des ans, j'ai aligné mes objectifs et ma feuille de route sur ceux d'Apple. Maintenant, il m'est facile d'éviter les zones grises qui pourraient causer des problèmes à l'avenir », explique-t-il son processus de développement.
Bien qu'il s'agisse d'un exemple clair d'un développeur alignant ses objectifs sur ceux du créateur d'une plate-forme majeure, il y a toujours une menace imminente qu'Apple débranche simplement son API ou tourne simplement un application tierce réussie dans la fonctionnalité native de son système d'exploitation. Le malheur d'Apple de copier une idée a même un terme dans l'industrie maintenant - "Getting Sherlocked".
Bruin, cependant, ne craint pas d'être bloqué par Apple. En fait, il s'attend à ce qu'Apple finisse par intégrer quelque chose comme ça dans FaceTime. "C'est une prochaine étape logique pour l'application, donc ça ne me dérange pas", dit-il Silicon Canals.
"Ils seront probablement en mesure de faire une meilleure expérience, et je pense que c'est une chose très précieuse pour les utilisateurs malentendants, donc j'espère qu'ils le feront à un moment donné. En attendant, j'espère que Navi pourra déjà aider les gens. Et je commencerai juste à construire autre chose après », a-t-il ajouté avec un emoji clin d'œil à la fin.
Cette prise de conscience d'Apple transformant sa brillante idée en une fonctionnalité native met également en évidence la friction que Navi doit naviguer. Pour vraiment utiliser Navi, vous devez d'abord démarrer un appel vocal ou vidéo sur FaceTime puis revenir à votre home l'écran et ouvrez Navi tout en restant en communication. Maintenant, appuyez sur Sous-titres et attendez que d'autres personnes se joignent à l'appel pour obtenir une expérience SharePlay avec des sous-titres et une fonction de traduction en direct.
Cela peut sembler quelques étapes, mais pour ceux d'Apple ecosystem, cela semblerait être deux étapes de trop. Une expérience idéale sera celle où vous ouvrez FaceTime, appelez vos amis, vos proches et cliquez simplement sur une bascule pour activer ou désactiver les sous-titres sans jamais quitter cette fenêtre. Bruin est d'accord avec cette notion et dit qu'il ne peut pas parler des plans futurs d'Apple, mais il voit une telle expérience arriver sur iOS éventuellement.
"Je m'attends à ce qu'ils utilisent cette première année pour découvrir comment les applications utilisent SharePlay et quel type de fonctionnalités peuvent être ajoutées pour faciliter l'expérience. L'intégration directe de l'application dans FaceTime faciliterait l'expérience. J'aimerais donc voir une fonctionnalité comme celle-ci ajoutée à un moment donné », dit-il.
Navi est un excellent exemple d'une idée simple utilisée pour transformer complètement l'expérience utilisateur d'un ensemble de personnes qui ont toujours été laissées pour compte par la technologie. Cependant, le plus grand défi de Navi pourrait être la plate-forme sur laquelle il est disponible actuellement. Le succès ou l'absence de cette application décidera non seulement de l'avenir de Bruin en tant que développeur d'applications, mais également de la manière dont Apple s'aventure dans les eaux troubles de la copie d'une brillante idée d'application tierce sans mettre ce développeur en faillite.