Proč mi jazykový model připomíná mykorhizu
Obě věci fungují tak, že nikde uvnitř není nikdo, kdo by tomu rozuměl. A přesto to funguje.
Pod každým lesem, kterým chodím, je síť. Houbová vlákna prorůstají kořeny stromů, vyměňují si s nimi cukry za fosfor a dusík, a propojují jedince, kteří o sobě nemají ponětí. Buk pošle uhlík semenáčku ve stínu. Nemocný strom vyšle chemický signál a sousedé zvednou obranu.
Nikde v tom systému není mozek. Není tam plán. Je tam ohromné množství velmi jednoduchých propojení a z nich vzniká chování, které vypadá jako záměr.
Kde je ta podobnost
Když se poprvé pořádně kouknete, co je uvnitř jazykového modelu, čeká vás podobné rozčarování. Nejsou tam pravidla češtiny. Není tam databáze faktů. Není tam modul, který by „rozuměl". Jsou tam miliardy čísel a operace, které z rozdělaného textu odhadují další kousek.
A přesto z toho vypadne něco, co drží linii úvahy přes tři odstavce.
Obojí je systém, kde inteligentní chování není nikde uvnitř uloženo. Vzniká až z interakce spousty hloupých částí. Rozdíl je v tom, že les na to měl stovky milionů let a nikdo ho netrénoval schválně.
Kde ta podobnost končí
Nechci to přepálit, protože takové přirovnání svádí.
Mykorhizní síť nemá cíl. Neoptimalizuje se k ničemu, co by si někdo vybral — je to výsledek toho, že se přežívajícím kombinacím dařilo líp. Jazykový model má cíl velmi konkrétní a velmi lidský: minimalizovat chybu na datech, která mu někdo vybral.
To „někdo vybral" je celý rozdíl. Les nikomu nepatří. Model patří vždycky.
Proč mi to leze do hlavy
Protože obě věci mě učí to samé: přestat hledat sídlo rozumu.
Chvíli mi trvalo přijmout, že strom „nerozhoduje", když pošle uhlík sousedovi. A stejně dlouho mi trvalo přestat se ptát, jestli model „ví", co říká. Ta otázka je špatně položená v obou případech.
Užitečnější otázka zní: co ten systém spolehlivě umí a kde se láme? Na to se dá odpovědět měřením. A z odpovědi se dá žít.