Microsoft criticado por crear una herramienta para crear “deepfakes” hiperrealistas

Microsoft critiqué pour avoir créé un outil permettant de créer des "deepfakes" hyperréalistes

En su última conferencia de desarrolladores, Microsoft anunció su contribución a la carrera por la inteligencia artificial: un software capaz de generar nuevos avatares y nuevas voces o replicar la apariencia y el habla de un usuario existente, lo que suscita preocupación por la tendencia a crear «deepfakes». Vídeos creados por IA de eventos que nunca sucedieron.

Anunciado en Microsoft Ignite 2023, Azure AI Speech se entrena con imágenes humanas y permite a los usuarios ingresar un script que puede ser «leído» en voz alta por un avatar fotorrealista creado con inteligencia artificial.

Los usuarios pueden elegir un avatar de Microsoft predefinido o cargar imágenes de una persona cuya voz y apariencia quieran replicar. Microsoft dijo en una publicación de blog que la herramienta podría usarse para crear «chatbots, asistentes virtuales, chatbots y más».

La publicación dice: “Los clientes pueden elegir entre una voz neuronal prediseñada o personalizada para su avatar. Si se utiliza la voz neuronal personalizada y la apariencia de la misma persona para el avatar, el avatar se parecerá mucho a esa persona”.

La compañía dijo que el nuevo software de conversión de texto a voz viene con una serie de limitaciones y salvaguardas destinadas a evitar abusos.

“Como parte del compromiso de Microsoft con una IA responsable, el avatar de texto a voz está diseñado para proteger los derechos individuales y sociales y permitir una interacción perfecta entre humanos y computadoras y combatir la proliferación de deepfakes dañinos y contenido engañoso.

Los clientes pueden cargar su propia grabación de video, que la función utiliza para formar un video sintético del avatar personalizado hablando.

El anuncio rápidamente generó críticas de que Microsoft había lanzado un «creador de deepfake», que haría más fácil replicar la apariencia de una persona y hacerle decir y hacer cosas que no dijo, dijo ni hizo. El propio CEO de Microsoft afirmó en mayo que los «deepfakes» eran su «mayor preocupación» cuando se trata de avances en inteligencia artificial.

En un comunicado, la compañía respondió a las críticas diciendo que los avatares personalizados son ahora una herramienta de «acceso limitado» que los clientes deben solicitar y ser aprobados por Microsoft. Además, los usuarios deben indicar si se utilizó inteligencia artificial para crear una voz o un avatar sintético.

Con estas salvaguardas, ayudamos a mitigar los riesgos potenciales y permitimos a los clientes integrar capacidades de voz avanzadas en sus aplicaciones de IA de manera transparente y segura.

Con el auge de la IA, aumentan las preocupaciones sobre las capacidades de esta tecnología. Sam Altman, director ejecutivo de OpenAI, advirtió al Congreso que podría usarse para interferir en las elecciones y que era necesario implementar salvaguardias.

Los expertos dicen que los deepfakes representan un peligro particular cuando se trata de interferencia electoral. Microsoft lanzó este mes una herramienta que permite a políticos y campañas autenticar y marcar sus videos para verificar su legitimidad y evitar la propagación de deepfakes. Meta anunció esta semana una política que exige la divulgación del uso de IA en anuncios políticos y prohíbe a las campañas utilizar las propias herramientas de IA generativa de Meta para anuncios.