Leírás
Fooling a complete neural network verifier
D Zombori, B Bánhelyi, T Csendes, I Megyeri, M Jelasity Proc. International Conference on Learning Representations (ICLR), 10
Az előadás során a címben jelzett cikket ismertetem, kiegészítve néhány vonatkozó területtel és gondolattal.
A gépi tanulási modellek robosztusságának vizsgálata az utóbbi években nagyon sok ágat növesztett, és még mindig nem tekinthető megoldottnak.
Az alapkérdés az, hogy hogyan érjük el, hogy egy modellre igaz legyen, hogy minden példa egy bizonyos környezete is a példával azonos címkét kapjon.
Már a robosztusság eldöntése is nehéz feladat, ReLU hálók esetén konkrétan NP-teljes. A gyakorlatban is alkalmazható, skálázható módszerek alkalmaznak tehát valamilyen heurisztikát, amelyek "levágják a sarkokat".
A heurisztikus kereső módszerekre ez evidens, de a rigorózusabb matematikai módszerekre is igaz, hogy sok esetben történik a gyorsítás és skálázás érdekében valamilyen "hanyagság",
pl optimalizáló programcsomagok használata, amik nem megbízható módon
kezelik a lebegőpontos számokat, és/vagy a probléma relaxálása.
A heurisztikus módszerek illetve közelítő számítások, amik tehát hanyagságnak tekinthetők, pedig kihasználhatók olyan értelemben, hogy egy támadó olyan ellenséges modellt tud készíteni, ami az adott módszert félrevezeti.
Az ilyen jellegű támadásoknak nincs nagy irodalma. Az előadásban egy olyan támadást mutatunk be, amelyik a lebegőpontos aritmetika kerekítési tulajdonságait kihasználva félrevezet egy "state-of-the-art" verifikáló módszert,
amely a problémát kevert egészértékű programozási feladattal írja le. A támadás segítségével hátsóajtó nyitható bármilyen létező modellben, amely a verifikáló módszer számára láthatatlanná tehető,
de a támadónak teljes kontrollt ad a kimenet felett.