4 maart 2025
Het omgaan met persoonlijk identificeerbare informatie (PII) in grote taalmodellen (LLM’s) vormt een grote uitdaging voor privacy. Deze modellen worden getraind met enorme datasets die gevoelige gegevens bevatten, wat het risico op onthouden en onbedoelde openbaarmaking verhoogt. Het beheren van PII is complex omdat gegevens voortdurend worden bijgewerkt en sommige gebruikers hun gegevens willen laten verwijderen. In sectoren zoals de gezondheidszorg is het elimineren van PII niet altijd haalbaar. Daarnaast vergroot het verfijnen van modellen voor specifieke taken het risico op het vasthouden van gevoelige informatie, terwijl resterende informatie na training moeilijk volledig te verwijderen is.
Bestaande methoden om PII-memorisatie te verminderen, vertrouwen op het filteren van gevoelige gegevens en technieken zoals machine unlearning. Deze methoden kampen echter met moeilijkheden, vooral bij voortdurend veranderende datasets. Fijn afstemmen van modellen vergroot het risico op memorisatie, terwijl unlearning soms onbedoeld gegevens kan onthullen. Daarnaast vormen membership inference-aanvallen, waarbij wordt geprobeerd te achterhalen of specifieke gegevens in de training zijn gebruikt, een groot risico. Omdat taalmodellen verborgen patronen van PII kunnen behouden, blijft het waarborgen van privacy een lastige opgave.
Onderzoekers van Northeastern University, Google DeepMind en de Universiteit van Washington hebben een nieuwe benadering voorgesteld, genaamd “assisted memorization”. In tegenstelling tot eerdere methoden die zich alleen richtten op de vraag of gegevens worden onthouden, onderzoekt deze aanpak wanneer en waarom dit gebeurt. De onderzoekers identificeerden verschillende vormen van PII-memorisatie, waaronder directe, langdurige en geleidelijke onthouding. Uit hun onderzoek bleek dat PII niet altijd onmiddellijk wordt opgeslagen, maar later kan worden geëxtraheerd, vooral wanneer trainingsgegevens elkaar overlappen. Dit ondermijnt bestaande strategieën voor gegevensverwijdering die lange termijn-geheugeneffecten over het hoofd zien.
Het onderzoek omvatte analyses van PII-memorisatie in verschillende modellen en datasets om te bepalen hoe trainingsmethoden invloed hebben op gegevensopslag en -extractie. Tests met modellen zoals GPT-2-XL, Llama 3 8B en Gemma 2B toonden aan dat toevoeging van nieuwe data het risico op PII-extractie vergroot. Pogingen om memorisatie voor één individu te verminderen, verhoogden soms het risico voor anderen. In 35,7% van de gevallen trad assisted memorization op, wat aantoont dat het geen onvermijdelijk proces is, maar wordt beïnvloed door de dynamiek van modeltraining.
Vervolgexperimenten onderzochten hoe het toevoegen van meer PII aan trainingsgegevens de kans op extractie beïnvloedt. Modellen die zijn getraind op datasets met hogere percentages PII vertoonden een significant groter risico op datalekken, vooral bij top-k sampling. Bovendien leidde iteratieve unlearning tot het zogeheten “Onion Effect”, waarbij het verwijderen van een bepaald type PII ervoor zorgde dat andere eerder onopvallende gegevens toegankelijk werden. Dit fenomeen toont aan hoe ingewikkeld het is om privacyproblemen in taalmodellen op te lossen.
Het onderzoek benadrukt de uitdaging van het beschermen van PII in LLM’s, waarbij verfijning en het verwijderen van gegevens soms onbedoelde onthullingen veroorzaken. Assisted memorization laat zien dat bepaalde gegevens pas later kwetsbaar kunnen worden, afhankelijk van trainingsprocessen. Hoe meer PII in trainingsdata wordt opgenomen, hoe groter het risico op extractie, terwijl pogingen om gegevens te verwijderen soms andere gevoelige informatie blootleggen. Deze bevindingen onderstrepen de noodzaak van verbeterde privacybescherming en effectievere unlearning-methoden om gevoelige informatie in machine learning-modellen beter te beveiligen.
Geef een reactie