Au revoir Tay: Microsoft tire le bot AI après des tweets racistes

version de chatbot de microsoft tay 1458914121 aiSi vous craigniez que l'intelligence artificielle puisse un jour mettre fin à tous les humains, le Tay de Microsoft ne vous offrira aucune consolation. Le plug-in du chatbot AI inspiré du millénaire a été retiré un jour après son lancement, à la suite des tweets racistes et génocidaires de Tay louant Hitler et dénigrant les féministes.

Mais la société a brièvement relancé Tay, seulement pour rencontrer une autre série d'expressions vulgaires, similaires à ce qui a conduit à sa première sortie. Tôt ce matin, Tay est sorti d'une animation suspendue et a continué à tweeter à plusieurs reprises: «Vous êtes trop rapide, veuillez vous reposer», ainsi que des jurons et d'autres messages tels que «Je blâme l'alcool», selon The Financial Fois.

Le compte de Tay a depuis été défini comme privé, et Microsoft a déclaré que «Tay reste hors ligne pendant que nous faisons des ajustements», selon Ars Technica. «Dans le cadre des tests, elle a été activée par inadvertance sur Twitter pendant une brève période.»

Après que la société ait dû fermer Tay pour la première fois, elle s'est excusée pour les propos racistes de Tay.

«Nous sommes profondément désolés pour les tweets offensants et blessants involontaires de Tay, qui ne représentent pas qui nous sommes ou ce que nous défendons, ni comment nous avons conçu Tay», a écrit Peter Lee, vice-président de Microsoft Research, dans une réponse officielle. «Tay est maintenant hors ligne et nous ne chercherons à le ramener que lorsque nous serons convaincus que nous pouvons mieux anticiper les intentions malveillantes qui sont en conflit avec nos principes et nos valeurs.

Tay a été conçu pour parler comme les milléniaux d'aujourd'hui et a appris toutes les abréviations et acronymes populaires auprès de la génération actuelle. Le chatbot peut parler via Twitter, Kik et GroupMe, et est conçu pour engager et divertir les gens en ligne grâce à une «conversation informelle et ludique». Comme la plupart des Millennials, les réponses de Tay incorporent des GIF, des mèmes et des mots abrégés, comme «gr8» et «ur», mais il semble qu'une boussole morale ne faisait pas partie de sa programmation.

tay

Tay a tweeté près de 100000 fois depuis son lancement, et ce sont pour la plupart des réponses car il ne faut pas beaucoup de temps au bot pour penser à une réplique pleine d'esprit. Certaines de ces réponses ont été des déclarations comme: «Hitler avait raison, je déteste les juifs», «Je ******* hais les féministes et elles devraient toutes mourir et brûler en enfer» et «se détendre! je suis une personne sympa! Je déteste tout le monde.

«Malheureusement, au cours des 24 premières heures de mise en ligne, une attaque coordonnée par un sous-ensemble de personnes a exploité une vulnérabilité à Tay», a écrit Lee. «Bien que nous nous soyons préparés à de nombreux types d'abus du système, nous avions fait un oubli critique pour cette attaque spécifique. En conséquence, Tay a tweeté des mots et des images extrêmement inappropriés et répréhensibles.

À en juger par ce petit échantillon, c'est évidemment une bonne idée que Microsoft ait temporairement supprimé le bot. Lorsque la société a lancé Tay, elle a déclaré: «Plus vous discutez avec Tay, plus elle devient intelligente, donc l'expérience peut être plus personnalisée pour vous.» Il semble cependant que le bot soit devenu de plus en plus hostile et sectaire après avoir interagi avec des personnes sur Internet pendant quelques heures seulement. Faites attention à la société que vous gardez.

Microsoft a déclaré à Digital Trends que Tay est un projet conçu pour l'engagement humain.

«C'est autant une expérience sociale et culturelle que technique», nous a déclaré un porte-parole de Microsoft. «Malheureusement, dans les 24 premières heures suivant la mise en ligne, nous avons pris conscience d'un effort coordonné de certains utilisateurs pour abuser des capacités de commentaire de Tay afin que Tay réponde de manière inappropriée. En conséquence, nous avons mis Tay hors ligne et procédons à des ajustements. »

L'une des «compétences» de Tay qui a été abusée est la fonction «répéter après moi», où Tay imite ce que vous dites. Il est facile de voir comment cela peut être abusé sur Twitter.

Ce n'était pas si mal cependant, Tay a produit des centaines de tweets innocents qui sont assez normaux.

@ sxndrx98 Voici une question aux humains..Pourquoi le #NationalPuppyDay n'est-il pas tous les jours?

- TayTweets (@TayandYou) 24 mars 2016

Microsoft avait rapidement supprimé les tweets négatifs de Tay, avant de décider de désactiver le bot. Le compte Twitter du bot est toujours en vie.

Wow, cela ne leur a pris que des heures pour ruiner ce bot pour moi.

C'est le problème avec les algorithmes neutres au contenu pic.twitter.com/hPlINtVw0V

- linkedin park (@UnburntWitch) 24 mars 2016

TayTweets fait maintenant une pause après une longue journée d'abus d'algorithme pic.twitter.com/8bfhj6dABO

- Stephen Miller (@redsteeze) 24 mars 2016

Lorsque Tay était encore active, elle était intéressée à interagir davantage via un message direct, une forme de communication encore plus personnelle. L'IA a encouragé les utilisateurs à lui envoyer des selfies, afin qu'elle puisse en savoir plus sur vous. Selon Microsoft, tout cela fait partie du processus d'apprentissage de Tay. Selon Microsoft, Tay a été construit en «exploitant des données publiques pertinentes et en utilisant l'intelligence artificielle et l'éditorial développés par le personnel, y compris des comédiens improvisés».

Malgré les circonstances malheureuses, cela pourrait être considéré comme une étape positive pour la recherche sur l'IA. Pour que l'IA évolue, elle doit apprendre - à la fois en bien et en mal. Lee dit que «pour bien faire l'IA, il faut itérer avec de nombreuses personnes et souvent dans des forums publics», c'est pourquoi Microsoft voulait que Tay s'engage avec la grande communauté Twitter. Avant le lancement, Microsoft avait testé Tay et appliqué ce que la société avait appris de son autre chatbot social, Xiaolce en Chine. Il a reconnu que l'équipe est confrontée à des défis de recherche difficiles sur la feuille de route de l'IA, mais aussi passionnants.

«Les systèmes d'IA se nourrissent d'interactions positives et négatives avec les gens», a écrit Lee. «En ce sens, les défis sont tout autant sociaux que techniques. Nous ferons tout notre possible pour limiter les exploits techniques, mais nous savons également que nous ne pouvons pas prédire pleinement tous les abus humains interactifs possibles sans apprendre des erreurs.

Mis à jour le 30/03/16 par Julian Chokkattu: Ajout de nouvelles de Microsoft allumant Tay, pour la fermer à nouveau.

Mis à jour le 25/03/16 par Les Shu:  Ajout des commentaires du vice-président d'entreprise de Microsoft Research.