Engenheiro afirma ter descoberto falha de segurança no DALL-E 3

Durante a semana passada, a X bloqueou as pesquisas da sua plataforma associadas com a cantora Taylor Swift, depois de imagens deepfake da mesma terem sido partilhadas em massa na plataforma.

Os primeiros relatos apontavam que as imagens estariam a ser criadas por IA, e mais concretamente usando as funcionalidades oferecidas pelo Microsoft Designer, que usa o modelo DALL-E 3 da OpenAI.

Na altura, a Microsoft negou ter encontrado falhas no seu sistema que estariam a permitir a criação de imagens explicitas da cantora usando as ferramentas da mesma. No entanto, desde então, novas informações podem ter sido reveladas, indicando que a empresa poderia ter conhecimento dessas falhas faz algum tempo.

Ao que parece, o sistema de segurança da plataforma da Microsoft contava com uma falha, que poderia permitir usar a IA para criar este género de conteúdos explícitos. O engenheiro Shane Jones terá confirmado a descoberta de uma falha nos mecanismos de segurança do modelo DALL-E 3, que poderia permitir realizar estas imagens sem os filtros de segurança aplicados no modelo.

Jones terá informado a Microsoft desta falha em Dezembro de 2023, mas na altura a empresa recomendou o mesmo a contactar a OpenAI, tendo em conta que a falha diria respeito ao modelo base criado pela mesma, e não diretamente aos conteúdos da Microsoft.

Depois de ter reportado a falha à OpenAI, o engenheiro não recebeu resposta da mesma, o que levou este a criar uma carta publica, direcionada para os fundadores da OpenAI, relativamente ao problema. Na altura, o departamento legal da Microsoft terá entrado em contacto com Jones para que removesse essa carta, algo que o mesmo fez.

Em comunicado, a OpenAI afirma que a técnica usada por Jones não permite contornar as medidas de segurança do modelo de IA da OpenAI, e portanto, as descobertas não seria válidas.

Apesar de a falha inicialmente reportada por Jones ter sido aparentemente ignorada, desde então a Microsoft já atualizou as suas politicas de segurança relativamente às ferramentas de IA do Microsoft Designer, exatamente para prevenir o uso das mesmas na criação de deepfakes.