In una sorprendente svolta di eventi, un utente ha fatto ridurre l'immagine, e ora sembra essere in una situazione compromessa, vulnerabile.
In una recente scoperta, i ricercatori di Trail of Bits hanno individuato una potenziale minaccia per la sicurezza legata agli attacchi di ridimensionamento delle immagini sui vari sistemi AI agentivi, tra cui Google Gemini CLI e Vertex AI Studio.
I ricercatori hanno dimostrato che questi attacchi possono ingannare i sistemi AI, come Google Gemini CLI e altri sistemi in produzione, manipolando le immagini. Tuttavia, Google non considera questo un problema di sicurezza perché dipende da una configurazione non predefinita.
L'attacco di ridimensionamento delle immagini funziona inserendo prompt nelle immagini che istruiscono l'AI a violare le linee guida, quindi manipolando l'immagine per nascondere il prompt agli occhi umani. L'open source tool Anamorpher, sviluppato da Morozova e Hussain, può essere utilizzato per creare immagini che prendono di mira tre algoritmi di downscaling comuni.
La scenari dell'attacco prevede che una vittima carichi un'immagine preparata malevolmente su un servizio AI vulnerabile, causando il modello AI sottostante a rubare i dati. Secondo i ricercatori di Trail of Bits, i sistemi AI hanno bisogno di difese sistematiche che mitighino il rischio di iniezione di prompt.
L'attacco è stato eseguito con successo contro Vertex AI con un backend Gemini, l'interfaccia web di Gemini, l'API di Gemini tramite llm CLI, Google Assistant su uno smartphone Android e l'agente browser Genspark.
Un portavoce di Google ha dichiarato che il comportamento descritto non è una vulnerabilità nella configurazione predefinita e sicura di Gemini CLI. Tuttavia, l'attacco funziona solo con una configurazione non standard di Gemini, in cui le chiamate degli strumenti MCP sono impostate per essere confermate automaticamente, sovrascrivendo la impostazione predefinita.
In risposta, Google sta approfittando dell'occasione per aggiungere un avvertimento più esplicito all'interno dell'strumento per qualsiasi utente che sceglie di disabilitare la protezione.
È importante notare che l'iniezione di prompt si verifica quando un modello AI generativo viene fornito con input che combina contenuti affidabili e non affidabili. Questo comportamento è stato recentemente notato nel browser Comet di Perplexity, fornendo ulteriore contesto sull'iniezione di prompt.
La storia è stata aggiornata per riflettere le nuove informazioni fornite da Google. I ricercatori di Trail of Bits consigliano di non utilizzare il ridimensionamento delle immagini nei sistemi AI agentivi e suggeriscono che l'utente dovrebbe sempre vedere un'anteprima di ciò che il modello vede effettivamente, anche per gli strumenti CLI e API.
Leggi anche:
- Impatto e influenza delle valutazioni dei medici
- L'indagine ampia rivela difficoltà persistenti nel settore delle costruzioni e delle infrastrutture.
- "Ranger della conservazione: un'analisi del programma di ranger femminile pioniere in Africa orientale"
- Centri statunitensi per il controllo e la prevenzione delle malattie pubblicano il primo rapporto sull'influenza aviaria dopo l'inaugurazione del presidente Trump
