| Form of presentation | Articles in Russian journals and collections |
| Year of publication | 2024 |
| Язык | русский |
|
Danilova Yuliya Yurevna, author
|
|
Akimov Dmitriy Andreevich, author
|
|
Golikov Aleksey Aleksandrovich, postgraduate kfu
|
| Bibliographic description in the original language |
Golikov A.A., Danilova Yu.Yu., Akimov D.A. Primenenie bolshikh yazykovykh modeley dlya resheniya lingvisticheskikh zadach: sravnitelnyy analiz na materiale testovykh zadaniy po russkoy leksikologii // Internet i sovremennoe obshhestvo: sbornik tezisov dokladov. Trudy XXVII Mezhdunarodnoy obedinennoy nauchnoy konferencii «Internet i sovremennoe obshhestvo», IMS-2024, Sankt-Peterburg, 26-28 iyunya 2024 g. – SPb: Universitet ITMO, 2024. – S. 12-16. |
| Annotation |
Интернет и современное общество |
| Keywords |
большая языковая модель; бенчмарк; сравнительный анализ; лингвистика; русский язык; лексикология |
| The name of the journal |
Интернет и современное общество
|
| URL |
https://ojs.itmo.ru/index.php/IMS/article/view/1460 |
| Please use this ID to quote from or refer to the card |
https://repository.kpfu.ru/eng/?p_id=319076&p_lang=2 |
Full metadata record  |
| Field DC |
Value |
Language |
| dc.contributor.author |
Danilova Yuliya Yurevna |
ru_RU |
| dc.contributor.author |
Akimov Dmitriy Andreevich |
ru_RU |
| dc.contributor.author |
Golikov Aleksey Aleksandrovich |
ru_RU |
| dc.date.accessioned |
2024-01-01T00:00:00Z |
ru_RU |
| dc.date.available |
2024-01-01T00:00:00Z |
ru_RU |
| dc.date.issued |
2024 |
ru_RU |
| dc.identifier.citation |
Голиков А.А., Данилова Ю.Ю., Акимов Д.А. Применение больших языковых моделей для решения лингвистических задач: сравнительный анализ на материале тестовых заданий по русской лексикологии // Интернет и современное общество: сборник тезисов докладов. Труды XXVII Международной объединенной научной конференции «Интернет и современное общество», IMS-2024, Санкт-Петербург, 26-28 июня 2024 г. – СПб: Университет ИТМО, 2024. – С. 12-16. |
ru_RU |
| dc.identifier.uri |
https://repository.kpfu.ru/eng/?p_id=319076&p_lang=2 |
ru_RU |
| dc.description.abstract |
Интернет и современное общество |
ru_RU |
| dc.description.abstract |
В настоящее время большие языковые модели находят все большее применение в различных отраслях знаний, при этом для оценки качества работы больших языковых моделей применяются те или иные виды тестирования, бенчмарков (наборов задач, на которых тестируются модели и сопоставляются ответы). Одним из наиболее распространенных бенчмарков для тестирования больших языковых моделей на сегодняшний день является бенчмарк MMLU, который предполагает ответы моделей на вопросы из разных областей знаний в формате выбора одного правильного ответа из нескольких вариантов. Однако в данном и иных основных используемых бенчмарках не тестируется способность моделей глубоко понимать русский язык, его единицы (лексемы и фразеологизмы), их дифференциальные признаки, лексико-семантические варианты, внутреннюю форму, системные связи, социолингвистическую обусловленность. В данной работе производится сравнительный анализ качества работы основных зарубежных и отечественных больших языковых моделей для решения лингвистических задач в виде тестовых заданий по курсу «Лексикология современного русского языка» в системе высшего филологического образования. В итоге было выявлено, что наилучшие результаты как суммарно, так и по отдельным блокам вопросов продемонстрировала модель Claude 3 Opus от компании Anthropic, за ней следуют GPT-4 от OpenAI и GigaChat Pro от Сбера. Анализ результатов по тематическим блокам показал, что наибольшие трудности у моделей вызвали задания по фразеологии, а наилучшие результаты были достигнуты в блоке вопросов по лексикографии. |
ru_RU |
| dc.language.iso |
ru |
ru_RU |
| dc.subject |
|
ru_RU |
| dc.title |
Применение больших языковых моделей для решения лингвистических задач: сравнительный анализ на материале тестовых заданий по русской лексикологии |
ru_RU |
| dc.type |
Articles in Russian journals and collections |
ru_RU |
|
RUS 
中文 
ES 
Sitemap
