Российские ученые оптимизировали работу языковых моделей

Ученые МФТИ разработали алгоритм HARP, который помогает снизить нагрузку на дата‑центры. Технология позволяет сжимать языковые модели почти без потери точности — за счет этого скорость работы ИИ‑систем может вырасти вдвое, а потребность в вычислительных мощностях и памяти — снизиться, сообщает РИА Новости.

Алгоритм испытали на моделях Llama и Qwen: при максимально жестком сжатии ошибка даже уменьшилась на 15%. При этом HARP не заменяет привычные методы квантования (когда веса модели представляют меньшим числом битов), а дополняет их — работает поверх уже используемых инструментов. Это удобно для разработчиков: не нужно перестраивать привычные процессы, достаточно внедрить новый слой сжатия.

Важное преимущество разработки — доступность: и сам алгоритм, и сжатые с его помощью нейросети можно свободно использовать. По мнению эксперта НТИ по новым материалам и технологиям Евгения Вишневского, для российского рынка такая технология особенно актуальна: эффективное использование имеющихся мощностей поможет быстрее развивать отечественные ИИ‑сервисы и активнее внедрять их в разных отраслях экономики.

/читайте также

Общество

Плохое настроение — это норма: 5 привычек по-настоящему счастливых людей

5 октября09:21

Общество

Крестик теряет силу? Священник объяснил, что происходит при ношении амулетов

1 октября09:54

Общество

С 1 октября выросли пенсии: кому прибавили 4% без заявлений

2 октября14:07

Общество

Песочница с окаменелостями: что нового в подмосковной «Журавлиной родине»

Сегодня 17:54

Общество

Как укрыть виноград на зиму: простая инструкция для дачников Подмосковья

10 октября08:12

Общество

Гранат, муассанит, оникс или лунный: какой камень выбрать

8 октября20:44

Общество

Новое сообщение: что прозвучало в эфире «Радио Судного дня» в воскресенье

11 октября16:08

Общество

Соцфонд увеличил бюджет на охрану труда

8 октября23:08

Общество

Дачникам Подмосковья напомнили, почему нельзя сыпать золу под все кусты подряд

9 октября22:11

Общество

«Выгодно» — не цена: в ОП напомнили о правах покупателей

9 октября05:25

Общество

Забрать дни у января ради мая: плюсы и риски инициативы

5 октября20:32

Общество

118 тыс. заявлений: как ИИ помогает получить компенсацию за коммуналку в Подмосковье

1 октября12:16