Interessant stuk op The Ideas Letter over AI.
“In 2024 publiceerden Ilia Shumailov en zijn collega’s een artikel in Nature met als titel: AI-modellen storten in wanneer ze worden getraind op recursief gegenereerde data. Ze toonden met alarmerende wiskundige precisie aan dat taalmodellen die zijn getraind op tekst die door andere taalmodellen is gegenereerd, deels beginnen te degenereren omdat de verdeling van de output zich in opeenvolgende generaties vernauwt. Minderheidsstandpunten, zeldzame kennis, ongebruikelijke formuleringen en perspectieven uit randgevallen verdwijnen geleidelijk. Het model convergeert naar een soort statistisch gemiddelde – vloeiend, aannemelijk en hol. De uiteinden van de verdeling verdwijnen als eerste.”
Verderop wordt Andrew Peterson aangehaald en die zegt het volgende:
“We signaleren een dynamiek waarbij AI, hoewel het alleen de kosten van toegang tot bepaalde soorten informatie verlaagt, kan leiden tot een ‘kennisineenstorting’ (‘knowledge collapse’) , waarbij de lange staarten van kennis worden verwaarloosd en er generaties lang een abnormaal beperkt perspectief ontstaat.”
These are interesting times.
