ChatGPT ist eine schlecht komprimierte Version des Internet

Über ChatGPT wird (zu) viel geschrieben. Beachtenswert ist ein am 9. Februar 2023 Artikel (The New Yorker) mit dem Titel "ChatGPT Is a Blurry JPEG of the Web" [1].

Der Autor Ted Chiang beschreibt die Analogie zum 2013 entdeckten Xerox Bug JBIG2 bei verlustbehafteter Bildkompression. Wegen des Bugs waren gewisse Kopien des XEROX-Kopierers nicht unscharf, sondern falsch, weil ähnliche Bildelemente fälschlicherweise als identisch erkannt und deshalb als ein einziges Objekt gespeichert wurden, um Speicherplatz zu sparen. Die Kopie vermittelte einen scharfen Eindruck, war aber falsch. Ein verschwommenes, aber korrektes Bild, wäre einem scharfen Bild vorzuziehen, welches mittels Schärfe Korrektheit vorgaukelt. Deshalb sollte der Titel des oben erwähnten Artikels besser lauten "ChatGPT Isn't a Blurry JPEG of the Web".

Chiang betrachtet das ChatGPT zugrundeliegende Datenmodell als stark komprimierte Version des Internets, die auf den Server von OpenAI gespeichert ist. Dies ist nur mit einer mächtigen Kompression möglich. Diese sind jedoch verlustbehaftet; das Original kann daraus nicht rekonstruiert werden. ChatGPT ist dann eine Benutzerschnittstelle, welche Fragen entgegennimmt und Antworten aus den gespeicherten Daten generiert. Changs Analogie ist insofern interessant als bei verlustbehafteten Bildkompressionen Interpolationen angewendet werden, um das Bild schärfer zu machen. Genau das wird bei den zugrunde liegenden Transformers gemacht. Es handelt sich um grosse neuronale Netzwerke, welche erstmals 2017 von einem Google Team und weiteren Forschenden beschrieben wurden [2]. Diese Analogie erinnert auch an word2vec von Tomas Mikolov, wo mit einem neuronalen Netz ein fehlendes Wort in einer Textpassage erraten wir [3].

[1] ChatGPT Is a Blurry JPEG of the Web Ted Chiang, The New Yorker, February 9, 2023. https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin (2017). Attention is all you need. In Advances in Neural Information Processing Systems, pages 6000–6010. https://arxiv.org/abs/1706.03762

[3] Mikolov, T. et al (2013). Efficient Estimation of Word Representations in Vector Space. https://arxiv.org/abs/1301.3781