Episode 154 - Sind LLMs auf Benchmark Daten manipuliert?

Knowledge Science - Alles über KI, ML und NLP

Kandungan disediakan oleh Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon. Semua kandungan podcast termasuk episod, grafik dan perihalan podcast dimuat naik dan disediakan terus oleh Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon atau rakan kongsi platform podcast mereka. Jika anda percaya seseorang menggunakan karya berhak cipta anda tanpa kebenaran anda, anda boleh mengikuti proses yang digariskan di sini https://ms.player.fm/legal.

29d ago 36:40

MP3•Laman utama episod

Fetch error

Hmmm there seems to be a problem fetching this series right now. Last successful fetch was on May 18, 2024 18:11 (15d ago)

What now? This series will be checked again in the next day. If you believe it should be working, please verify the publisher's feed link below is valid and includes actual episode links. You can contact support to request the feed be immediately fetched.

In der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei handelt es sich um das Benchmark Leakage. Hören Sie rein.
Wir sprechen vor allem über das Paper: Benchmarking Benchmark Leakage in Large Language Models https://arxiv.org/abs/2404.18824

Support the Show.

175 episod

#Technologie #Bildung #Sigurd Schacht, Carsten Lanquillon #Carsten Lanquillon #Sigurd Schacht #Wissenschaft #Künstliche Intelligenz