Understanding Abilities and Failures of Language Models
Michael Hahn ist als Gastredner des CAS eingeladen. Seine Einladung erfolgte im Kontext des Projektes der aktuellen Kohorte mit dem Titel: „Knowledge acquisition, representation and application in human minds and machines“. Der Gastvortragvortrag trägt den Titel „Understanding Abilities and Failures of Language Models“.
Abstract:
The reasoning capabilities of LLMs have seen enormous progress, but it remains hard to predict when they fail, and how many reasoning tokens they need to solve different problems. I will present two lines of research aiming to make reasoning abilities more predictable via theoretical bounds on the abilities of the underlying architecture — the Transformer. First, I will present our recent work aiming to predict on which algorithmic tasks transformers can generalize to longer inputs, and compare to LLM performance. Second, I will describe our recent work bounding the reasoning cost needed to solve various algorithmic problems with transformers. I will close by discussing problems for further research.
Der Vortrag wird parallel auch auf Zoom übertragen, sodass auch eine digitale Teilnahme möglich ist. Die Zugangsdaten lauten wie folgt: https://uni-mannheim.zoom-x.de/j/68235694831. Sie werden nach dem Einwählen zunächst in den Warteraum geführt und dann zu Beginn des Vortrags zugeschaltet.