ChatGPT работает, используя... «Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире»

ChatGPT работает, используя две-три сотни миллиардов весов, что по количеству сопоставимо с общим количеством слов (или токенов), предоставленных ему в обучающих данных. В некотором смысле удивительно (хотя подобное мы наблюдаем и в других похожих на ChatGPT системах), что размер сети сопоставим с размером обучающих данных.