Leírás
Az előadáson "Similarity and Matching of Neural Network Representations" című cikkünket [1] fogom ismertetni.
Ebben egy új nézőpontot adunk mély neurális hálózatok reprezentációs hasonlósági fogalmainak elemzésére. Megközelítésünk alapja egy Dr. Frankenstein névre keresztelt eszközkészlet, amellyel arra
törekszünk, hogy “összevarrjunk” két betanított neurális hálózatot egy “összefércelő” (stitching) réteggel úgy, hogy az még mindig egy jól működő rendszert eredményezzen.
Elemzésünk alapja az az empirikus megfigyelés, hogy ez lehetséges: azonos architektúrájú, de eltérő inicializációjú mély konvolúciós neurális hálózatokban megjelenő belső
reprezentációk meglepően nagy pontossággal illeszthetők így össze, akár egyetlen affin összefércelő réteggel is.
Az összefércelő rétegben létrejött transzformációk elemzésével megállapításokat teszünk arról, hogy _hogyan_ hasonlóak a neuronhálós reprezentációk, és reflektálunk a reprezentációs
hasonlósági fogalmakkal kapcsolatos jelenlegi kutatásokra.
[1] Similarity and Matching of Neural Network Representations,Adrián Csiszárik, Péter Kőrösi-Szabó, Ákos K. Matszangosz,,Gergely Papp, Dániel Varga
https://arxiv.org/abs/2110.14633