Academic Speed Dating – Experiments and Causal Research with AI
Die Veranstaltung bietet eine hervorragende Gelegenheit für Forschende unterschiedlicher Disziplinen und Karrierestufen, sich auszutauschen und aktuelle Entwicklungen an der Schnittstelle von Data Science, empirischer Forschung und Künstlicher Intelligenz zu diskutieren.
Teilnehmende können entweder als Zuhörende teilnehmen und sich im Networking-Teil mit anderen Forschenden austauschen oder selbst aktiv werden und eigene Forschung einbringen. Insbesondere ermutigen wir dazu, laufende Projekte oder offene Forschungsfragen mit thematischem Bezug in einem kurzen, fünfminütigen Beitrag vorzustellen, der Diskussionen anregen und neue Kooperationen fördern soll. Es stehen bis zu fünf Präsentationsslots zur Verfügung, die nach dem Prinzip „first come, first served“ vergeben werden. Das Leitthema dieser Ausgabe lautet: „Experiments and Causal Research with AI“.
Alle Interessierten sind herzlich eingeladen teilzunehmen – unabhängig davon, ob sie selbst präsentieren oder sich einfach mit anderen Forschenden vernetzen möchten.
Das Event umfasst zwei Keynotes von Prof. Marc Ratkovic und Dr. Nicole Schwitter, in denen sie ihre Perspektiven auf Experimente und kausale Forschung im Kontext von KI vorstellen.
Dr. Nicole Schwitter spricht zum Thema „Using Generative AI for Experimental Stimuli in Social Research“:
Factorial survey experiments are a powerful tool for studying causal effects of multidimensional stimuli. Recent advances in generative AI provide new opportunities to create customisable text and image stimuli in a flexible and scalable way. This talk demonstrates how AI-generated vignettes, both visual and textual, can be used to systematically vary multiple attributes across large sets of experimental materials. This approach allows more efficient exploration of complex treatment spaces while potentially also enhancing realism and engagement in survey experiments, without sacrificing experimental control. At the same time, the use of AI in experimental design raises methodological challenges, including issues of validity and bias. The presentation discusses how these challenges can be addressed while keeping researchers closely involved in the design and evaluation process. Overall, the talk positions generative AI not just as a tool for efficiency, but as a methodological innovation that expands the design space of causal research.
Prof. Dr. Marc Ratkovic hält seine Keynote mit dem Titel „Text as a Random Variable: Linguistic Theory, Fisher Geometry, and More Powerful Tests“:
Large language models have shifted text analysis from word counts to embeddings: text is mapped to vectors, and inference is performed in vector space. But operations that are natural for vectors; like addition, scalar multiplication, inner products; are not natural for language. We ask what operations are natural, and use this to motivate taking text seriously as a mathematical object. We ground our answer in the structuralist linguistics of Louis Hjelmslev, whose theory defines language entirely through relations of substitution and combination, using a linguistic structure that corresponds to how and what LLMs learn. We formalize Hjelmslev's commutation test, which holds that two strings are similar to the extent they are substitutable across a common set of frames, as a reproducing kernel under the Fisher-Rao metric. Standard optimality results follow: the resulting test is the most powerful available from the LLM as a measurement instrument. We distinguish representation efficiency from estimator efficiency: even a doubly-robust estimator on topic model scores cannot recover information the topic model discarded.
On a benchmark experiment (Egami et al., 2022), the cross-fit t-statistic rises from 23 in the best embedding specification to 35 in our framework. The gain comes entirely from combining insights from structural linguistics and established strategies from causal inference.
Die Veranstaltung wird von Prof. Florian Keusch, Mitglied des Direktoriums des Mannheim Center for Data Science, moderiert.
Wie immer bietet das Academic Speed Dating zudem Raum für informellen Austausch und Networking. Im Anschluss an die Präsentationen haben die Teilnehmenden die Möglichkeit, die Gespräche in entspannter Atmosphäre bei Snacks und Getränken fortzusetzen.
Ziel des Academic Speed Dating ist es, den interdisziplinären Austausch und die Zusammenarbeit innerhalb der Forschungscommunity der Universität Mannheim zu fördern.
Was? Academic Speed Dating
Wer? Alle Interessierten sind herzlich eingeladen!
Wann? Donnerstag, 16. April, 14:00 Uhr bis ca. 16:30 Uhr
Wo? Schloss O 048