Twitter utilise l'IA pour abandonner ces horribles photos recadrées automatiquement

Les cultures automatiques de twitter s'améliorent avec l'IATwindesign / 123RF La fonction de recadrage automatique de Twitter fonctionne comme la limite de caractères d'un tweet afin de garder les images sur la plate-forme de microblogging cohérentes avec le reste du flux - mais maintenant Twitter s'améliore dans ces cultures, grâce à l'intelligence artificielle. Twitter déploie maintenant une culture automatique plus intelligente basée sur les réseaux de neurones, a annoncé la société dans un article de blog le 24 janvier.

La fonction de recadrage automatique précédente fonctionnait en utilisant la détection des visages pour conserver les visages dans le cadre. Lorsqu'aucun visage n'était détecté dans l'image, le logiciel recadrerait simplement l'aperçu au centre, tandis qu'un clic sur l'image permettait aux utilisateurs de voir la photo entière. Twitter dit que l'option de recadrage sans visages conduirait souvent à des recadrages difficiles, alors que parfois le logiciel n'identifiait pas correctement les visages.

Pour corriger ces aperçus maladroitement recadrés, les ingénieurs de Twitter ont utilisé ce qu'on appelle des cartes d'images saillantes pour former un réseau neuronal. Les cartes saillantes utilisent des eye trackers pour déterminer les zones d'une image qui attirent le plus l'attention du spectateur. Des recherches antérieures dans le domaine ont montré que les téléspectateurs ont tendance à se concentrer sur les visages, le texte, les animaux, les objets et les zones à contraste élevé.

Twitter a utilisé ces données antérieures pour entraîner le programme à comprendre quelles zones de l'image sont les plus importantes. En utilisant ces données, le programme peut reconnaître ces caractéristiques et effectuer ce recadrage automatique à un endroit qui laissera les zones les plus visuelles à l'intérieur du recadrage.

Mais Twitter n'a pas été fait - si le logiciel de saillance fonctionne bien, il est également lent, ce qui aurait empêché la publication de tweets en temps réel. Pour résoudre le problème des cultures difficiles sans ralentissement, Twitter a à nouveau affiné le programme en utilisant deux techniques différentes qui ont décuplé la vitesse. Le premier a formé un réseau plus petit à l'aide de ce premier programme, bon mais lent, afin d'accélérer ces cultures. Ensuite, les ingénieurs en logiciel ont déterminé un certain nombre de points visuels à cartographier sur chaque image, supprimant efficacement les indices visuels les plus petits et les moins importants tout en conservant les plus grandes zones intactes.

Recadrage automatique TwitterAvant Recadrage automatique Twitteraprès

Le logiciel qui en résulte permet aux images de s'afficher en temps réel, mais avec de meilleurs recadrages. Dans un groupe de photos avant et après, Twitter montre des images avec des visages que l'ancien système ne détectait pas correctement recadrés sur le visage plutôt que sur les pieds. D'autres exemples montrent des images d'objets qui ont été découpés dans le premier programme parce qu'ils ne se trouvaient pas au milieu de l'image, mais qui ont été recadrés de manière plus appropriée à l'aide des algorithmes mis à jour. Un autre exemple montre le programme reconnaissant le texte et ajustant le recadrage pour inclure un signe.

L'algorithme de recadrage mis à jour est déjà déployé dans le monde entier sur les applications iOS et Android ainsi que sur Twitter.com.