Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
Полгода назад я решил измерить, сколько языковые модели на самом деле знают про вино. Вышел бенчмарк OenoBench: 38 104 факта из открытых источников, 3 266 вопросов с вариантами ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: ...
Читать полный текст в источникеhabr.com — habr.com
Материал собран автоматически из открытых RSS-источников. Пересказ приведён в информационных целях в соответствии со ст. 1274 ГК РФ с указанием первоисточника; полное воспроизведение не осуществляется. Мнения авторов оригинала не обязательно отражают позицию ООО «АЛТЕЯ». Все источники проверены по реестру СМИ-иноагентов Минюста РФ (255-ФЗ).
Ещё по теме
Индустрия
Вдвое меньше токенов без смены модели: что NVIDIA сделала с harness кодинг-агента
02.10.2026, 02:15 МСК
Индустрия
Sony brings AI graphics upscaling to the regular PS5
01.10.2026, 22:53 МСК
Индустрия
As US relations fray, Canada gets serious about its own launch industry
01.10.2026, 21:30 МСК
Индустрия
30 лет красивых интерфейсов — и вот снова текст
01.10.2026, 19:03 МСК