Em fevereiro, a empresa investigou falhas no Copilot, seu chatbot, devido a respostas incorretas e questões de segurança como ataques de injeção.
O uso de chatbots tem se tornado cada vez mais comum em diversas empresas, facilitando o atendimento ao cliente e agilizando processos de comunicação. Com a crescente popularidade dessas ferramentas, medidas de segurança como as implementadas pela Microsoft no Azure AI Studio são essenciais para garantir a proteção de dados sensíveis e a integridade das interações.
Além disso, os assistentes de inteligência artificial têm revolucionado a forma como as empresas interagem com seus clientes, oferecendo respostas rápidas e personalizadas. A integração de novos recursos de segurança nos chatbots contribui não apenas para a proteção dos dados, mas também para a confiabilidade e eficácia dessas poderosas ferramentas de comunicação.
Novas tecnologias para proteção de chatbots
As novas ferramentas incluem ‘escudos de alerta‘, projetados para detectar e bloquear tentativas deliberadas – também conhecidas como ataques de ‘injeção de prompt’ – de fazer um modelo de IA se comportar de maneira não intencional. Essas defesas são fundamentais para garantir a segurança dos assistentes de inteligência artificial.
A abordagem da Microsoft contra ataques maliciosos
A Microsoft está abordando ainda ‘injeções indiretas de prompt’, quando hackers inserem instruções maliciosas nos dados onde um modelo é treinado e o induzem a realizar ações não autorizadas, como roubar informações do usuário ou sequestrar um sistema. As defesas são aprimoradas para identificar e neutralizar esses tipos de ataques de forma eficiente.
Novos recursos de proteção de modelos gerativos
Exclusivo para novos clientes PJ CDB Banco XP com 103% do CDI Bruto Aproveite essa oportunidade de rentabilizar o caixa da sua empresa com liquidez diária SABER MAIS Sarah Bird, diretora de produtos de IA da Microsoft, classificou esses ataques como ‘desafiadores e ameaças únicas’. As novas defesas são projetadas para detectar entradas suspeitas e bloqueá-las em tempo real, disse ela.
Garantindo a confiança dos usuários
A Microsoft também está lançando um recurso que alerta os usuários quando um modelo inventa coisas ou gera respostas erradas. A empresa com sede em Redmond, Washington, está se esforçando para aumentar a confiança de suas ferramentas generativas – que podem criar texto, imagens ou outras linguagens – de inteligência artificial que já são usadas por consumidores e empresas.
Mantendo a segurança dos chatbots em alta
Em fevereiro, a companhia investigou incidentes envolvendo o Copilot, seu chatbot, que gerava respostas que pareciam estranhas. Após analisar os incidentes, a Microsoft disse que usuários tentaram enganar o Copilot para que gerasse essas respostas. ‘Vimos isso aumentando à medida que há mais uso das ferramentas, mas também à medida que mais pessoas conhecem essas diferentes técnicas’, disse Bird. Os sinais de tais ataques incluem fazer uma pergunta várias vezes ao chatbot ou instruções que descrevam a encenação.
Compromisso com a segurança e inovação
Bird afirma que a Microsoft e sua parceira OpenAI estão dedicados a implantar IA com segurança e construir proteções nos grandes modelos de linguagem subjacentes à IA generativa. ‘No entanto, você não pode confiar apenas no modelo’, disse.
Fonte: @ Info Money
Comentários sobre este artigo