Oracle vill skydda sina AI-modeller från att ställas felaktiga frågor. Tech-företaget söker patent för en “attackvakt för inlärningsmodeller” för modeller som finns i molnmiljöer. Oracles system förhindrar att en användare reverse-engineering känsliga träningsdata från en AI-modell genom att lura angriparen med en “skuggmodell som liknar AI-modellen”.
För att förklara närmare: Systemet identifierar först en användare som försöker attackera en modell, baserat på de uppmaningar eller frågor de ställer. Om en användare ställer rätt frågor till en språkmodell kan den avslöja data som den inte ska. Som svar genererar systemet en skuggmodell som liknar den ursprungliga AI-modellen, utan att använda den autentiska datan från originalmodellen, istället använder den “feature vectors”.
När angriparen skickar en andra uppsättning frågor eller förfrågningar genererar systemet två svar, ett från den ursprungliga modellen och ett från skuggmodellen, och jämför dem. Baserat på jämförelsen avgör systemet om användaren verkligen är en angripare. Om personen identifieras som en angripare triggas en modellvakt-tjänst, attackeraren blockeras och rapporteras eller svaren moduleras.
Oracle noterade att detta kan användas i molnmiljöer där AI erbjuds som en tjänst och där “modellen kan attackeras eftersom den är exponerad för allmänheten”.
“AI-modeller kan vara potentiellt värdefulla mål för attacker eftersom de innehåller en representation av den träningsdatamängd de tränades på,” står det i inlämnandet. “AI-modeller kan vara mål för attacker där konfidentialiteten eller datasekretessen kan äventyras.”
Att skydda en originalmodell, som ofta innehåller en skattkista av träningsdata, är viktigt eftersom det finns flera sätt att attackera en AI-modell på, säger Arti Raman, grundare och VD för dataskyddsföretaget Portal26. Medan själva algoritmerna kan attackeras, försöker Oracles patent att mildra sårbarheter som kan avslöjas genom själva uppdragen. Och i takt med att AI-utbredningen fortsätter kommer detta problem bara att förvärras, säger hon.
Även om Oracle inte nödvändigtvis är en AI-jätte erbjuder företaget AI-infrastruktur integrerat i sina kärnmoln- och datatjänster. Dessutom har företaget sökt ett antal patent för AI-teknik, inklusive en chattbot-genererande chattbot och ett verktyg för AI-förklaring. Att göra teknik som denna proprietär skulle säkert inte skada dess ansträngningar om det ville växa inom området.
Det enda potentiella problemet? Att få det att fungera, säger Raman. Även om ett system som detta kan låta bra på papperet kan det ta upp en betydande mängd beräkningsresurser att göra massor av kopior av AI-modeller. Det kan också stöta på latensproblem, vilket strider mot syftet med AI att öka produktiviteten.
“Det är de två frågorna för att se hur bra (detta system) kan skydda mot attacker som dessa,” säger Raman. “Det är de två sakerna som tar en teknologi från koncept till praktisk tillämpning.”
“AI-modeller är som barn. Om någon ställer dem frågor på ett specifikt sätt kan de “väldigt lätt få dem att avslöja hemligheterna”, sa Arti Raman, grundare och VD för dataskyddsföretaget Portal26. “Jag tror att vi just nu måste tänka på AI-modeller på det sättet. De är unga, så vi kan inte ens alla sätt de kan attackeras på. Och att bygga upp skyddsfunktioner kommer att ta lite tid.”
“Oracles patent kan förhindra att AI avslöjar hemligheterna”
Oracles patent kan förhindra att AI avslöjar hemligheterna
Oracle vill skydda sina AI-modeller från att ställas felaktiga frågor. Tech-företaget söker patent för en “attackvakt för inlärningsmodeller” för modeller som finns i molnmiljöer. Oracles system förhindrar att en användare reverse-engineering känsliga träningsdata från en AI-modell genom att lura angriparen med en “skuggmodell som liknar AI-modellen”.
För att förklara närmare: Systemet identifierar först en användare som försöker attackera en modell, baserat på de uppmaningar eller frågor de ställer. Om en användare ställer rätt frågor till en språkmodell kan den avslöja data som den inte ska. Som svar genererar systemet en skuggmodell som liknar den ursprungliga AI-modellen, utan att använda den autentiska datan från originalmodellen, istället använder den “feature vectors”.
När angriparen skickar en andra uppsättning frågor eller förfrågningar genererar systemet två svar, ett från den ursprungliga modellen och ett från skuggmodellen, och jämför dem. Baserat på jämförelsen avgör systemet om användaren verkligen är en angripare. Om personen identifieras som en angripare triggas en modellvakt-tjänst, attackeraren blockeras och rapporteras eller svaren moduleras.
Oracle noterade att detta kan användas i molnmiljöer där AI erbjuds som en tjänst och där “modellen kan attackeras eftersom den är exponerad för allmänheten”.
“AI-modeller kan vara potentiellt värdefulla mål för attacker eftersom de innehåller en representation av den träningsdatamängd de tränades på,” står det i inlämnandet. “AI-modeller kan vara mål för attacker där konfidentialiteten eller datasekretessen kan äventyras.”
Att skydda en originalmodell, som ofta innehåller en skattkista av träningsdata, är viktigt eftersom det finns flera sätt att attackera en AI-modell på, säger Arti Raman, grundare och VD för dataskyddsföretaget Portal26. Medan själva algoritmerna kan attackeras, försöker Oracles patent att mildra sårbarheter som kan avslöjas genom själva uppdragen. Och i takt med att AI-utbredningen fortsätter kommer detta problem bara att förvärras, säger hon.
Även om Oracle inte nödvändigtvis är en AI-jätte erbjuder företaget AI-infrastruktur integrerat i sina kärnmoln- och datatjänster. Dessutom har företaget sökt ett antal patent för AI-teknik, inklusive en chattbot-genererande chattbot och ett verktyg för AI-förklaring. Att göra teknik som denna proprietär skulle säkert inte skada dess ansträngningar om det ville växa inom området.
Det enda potentiella problemet? Att få det att fungera, säger Raman. Även om ett system som detta kan låta bra på papperet kan det ta upp en betydande mängd beräkningsresurser att göra massor av kopior av AI-modeller. Det kan också stöta på latensproblem, vilket strider mot syftet med AI att öka produktiviteten.
“Det är de två frågorna för att se hur bra (detta system) kan skydda mot attacker som dessa,” säger Raman. “Det är de två sakerna som tar en teknologi från koncept till praktisk tillämpning.”
“AI-modeller är som barn. Om någon ställer dem frågor på ett specifikt sätt kan de “väldigt lätt få dem att avslöja hemligheterna”, sa Arti Raman, grundare och VD för dataskyddsföretaget Portal26. “Jag tror att vi just nu måste tänka på AI-modeller på det sättet. De är unga, så vi kan inte ens alla sätt de kan attackeras på. Och att bygga upp skyddsfunktioner kommer att ta lite tid.”