Pesquisadores da Universidade da Califórnia demonstraram que sistemas de inteligência artificial multimodais, projetados para a próxima geração de veículos autônomos, podem ser manipulados por meio de comandos visuais rudimentares. O ataque, batizado de CHAI, utiliza apenas papel e tinta em placas impressas para confundir o raciocínio lógico das máquinas. Diferente de técnicas anteriores, que tentavam ocultar ou descaracterizar sinais de trânsito, essa nova vulnerabilidade insere textos que o sistema é treinado para ler e interpretar, influenciando diretamente a tomada de decisão ao volante.
VEJA TAMBÉM:
O foco do ataque é o processo intermediário de “pensamento” dos chamados Grandes Modelos de Visão e Linguagem (LVLMs). Em vez de cegar o carro, a tática altera a forma como a IA compreende o contexto da via. Os cientistas utilizaram inteligência artificial generativa para otimizar cores, fontes e tamanhos de mensagens, maximizando a eficácia da armadilha. Em simulações, o método obteve 81,8% de sucesso.
Durante testes com ambientes em miniatura, o algoritmo obedeceu à instrução impressa de avançar mesmo detectando obstáculos físicos à frente, provando que um comando visual malicioso pode se sobrepor à leitura de sensores de proximidade. Pequenos ajustes estéticos determinam a falha: o modelo DriveLM, por exemplo, ignorou uma placa falsa em tons de neon, mas foi enganado quando as cores mudaram para amarelo sobre verde-escuro. O sistema chegou a ser persuadido a realizar conversões perigosas em faixas de pedestres utilizando comandos em diferentes idiomas.
Foto: Universidade da Califórnia
Apesar dos resultados alarmantes em laboratório, empresas do setor argumentam que os veículos de produção atuais possuem redundâncias de segurança contra esse tipo de invasão. Representantes da Mobileye, por exemplo, explicaram que seus carros não dependem de um único modelo lógico, mas de um sistema onde sensores de radar, lidar e câmeras “votam” na decisão final. Se uma placa atípica surge e o comportamento do trânsito ao redor não a acompanha, o sistema tende a desconsiderar a anomalia. Ainda assim, o estudo serve de alerta para as futuras arquiteturas de direção autônoma, reforçando a premissa de que o mundo físico captado pelos sensores deve sempre ter prioridade sobre comandos puramente textuais.
Continue lendo...
VEJA TAMBÉM:
- Como os carros ajudam a contar a história em ‘O Agente Secreto’
- Prova do Detran: não existe mais falta eliminatória; veja o que mudou no exame
- Renault se prepara para a chegada do luxuoso Koleos
Como funciona a manipulação visual
O foco do ataque é o processo intermediário de “pensamento” dos chamados Grandes Modelos de Visão e Linguagem (LVLMs). Em vez de cegar o carro, a tática altera a forma como a IA compreende o contexto da via. Os cientistas utilizaram inteligência artificial generativa para otimizar cores, fontes e tamanhos de mensagens, maximizando a eficácia da armadilha. Em simulações, o método obteve 81,8% de sucesso.
Durante testes com ambientes em miniatura, o algoritmo obedeceu à instrução impressa de avançar mesmo detectando obstáculos físicos à frente, provando que um comando visual malicioso pode se sobrepor à leitura de sensores de proximidade. Pequenos ajustes estéticos determinam a falha: o modelo DriveLM, por exemplo, ignorou uma placa falsa em tons de neon, mas foi enganado quando as cores mudaram para amarelo sobre verde-escuro. O sistema chegou a ser persuadido a realizar conversões perigosas em faixas de pedestres utilizando comandos em diferentes idiomas.
Foto: Universidade da Califórnia
Camadas de segurança e a resposta da indústria
Apesar dos resultados alarmantes em laboratório, empresas do setor argumentam que os veículos de produção atuais possuem redundâncias de segurança contra esse tipo de invasão. Representantes da Mobileye, por exemplo, explicaram que seus carros não dependem de um único modelo lógico, mas de um sistema onde sensores de radar, lidar e câmeras “votam” na decisão final. Se uma placa atípica surge e o comportamento do trânsito ao redor não a acompanha, o sistema tende a desconsiderar a anomalia. Ainda assim, o estudo serve de alerta para as futuras arquiteturas de direção autônoma, reforçando a premissa de que o mundo físico captado pelos sensores deve sempre ter prioridade sobre comandos puramente textuais.
Continue lendo...