«Симпсоны» похоронили NFT

Сериал, который постфактум не раз объявляли пророческим, объявил о конце «NFT-безумия». C начала прошлого года объем сделок с...

Правительство выделит меньше денег на строительство ледоколов

Таким образом, «Лидер» может подорожать на 70 млрд рублей, почти до 200 млрд, а сроки его запуска могут...

Все гениальное — Simply! Встречаем обновленную ОС Simply Linux семейства «Альт»

«Базальт СПО» выпустила версию операционной системы Simply Linux 10.2 на 10-й платформе. Эта ОС отличается от других в семействе «Альт». Она бесплатна,...

«Роснефть» представила линейку ИТ-продуктов на масштабном форуме Decom

ИТ-разработчики Компании приняли участие в нефтегазовом дискуссионном форуме DECOM в Уфе.  © www.rosneft.ru В ходе мероприятия специалисты «Роснефти» презентовали уникальное наукоёмкое программное...

Из Google Play и App Store исчезли ряд приложений

В частности, владельцы смартфонов на Android теперь не могут установить «Госуслуги Москвы» из официального магазина. Из App Store...

«Сколтех»: российским операторам связи не хватает около 50 тысяч базовых станций

Как пишет «Ъ», чтобы закрыть дефицит, участники рынка с начала года тестируют китайское оборудование «третьего эшелона» Фото: Алексей...

Как запрет на полеты дронов сказывается на сельском хозяйстве?

Спрос на агродроны к середине 2023 года упал в три-четыре раза. Оценку компании — разработчика и производителя беспилотников...

Каковы успехи развития авиаотрасли на фоне удачных испытаний модернизированного транспортника Ил-76?

Российская авиационная отрасль развивается согласно представленной в 2022 году комплексной программе развития авиатранспорта. Согласно документу, до 2030 года...

Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации...

Huawei планирует создавать полупроводники на секретных заводах

Базирующаяся в Вашингтоне Ассоциация производителей микросхем (SIA) сообщает, что компания Huawei Technologies Co. создает в Китае целый ряд...

В России предложили использовать кокосы для строительства домов

В состав нового стройматериала входит до 10% скорлупы кокосового ореха, но по прочности и другим эксплуатационным характеристикам он...

Сбербанк перевел 40 тысяч серверов на отечественную ОС

43 тысячи серверов Сбербанка полностью перешли на собственную серверную операционную систему Platform V SberLinux, сообщила компания в своем годом отчёте. Отечественное...

Минздрав будет создавать федеральный реестр электронных рецептов самостоятельно

Организация «Цифроздрав», которая должна была заниматься созданием такого реестра, работу над ним прекратила. Эксперимент по выписке электронных рецептов...

Кто заплатит за бесплатную раздачу интернета?

МТС не поддерживает идею отменить плату за раздачу мобильного интернета со смартфонов. Это приведет к тому, что операторы...

Роскомнадзор предложил запретить доступ к информации об обходе блокировок

Блокировать хотят инструкции со способами и методами обхода, призывы к их использованию, убеждение в их привлекательности и обоснование...

В Новосибирске запустили суперкомпьютер для решения научных задач

 © static.mk.ru Институт математики СО РАН в Новосибирске запустил новый суперкомпьютер, способный проводить более 54 трлн операций в секунду. Он позволит моделировать объёмные...

«РСК Экзастрим» — передовое решение для отечественных суперкомпьютеров и ЦОД нового поколения

 © rscgroup.ru В рамках международной промышленной выставки «Иннопром 2023» группа компаний РСК впервые представила свое универсальное, высокоплотное, энергоэффективное, высокопроизводительное кластерное...

Александр Жадан: «В первую очередь нейросети завязаны на человеке, чтобы помочь ему»

Александр Жадан — выпускник Российского государственного гуманитарного университета, который сначала написал диплом с помощью искусственного интеллекта, а потом...

Искусственный интеллект поможет правительству РФ нанимать новые кадры

Эксперимент стартует 1 сентября. На первом этапе нейросеть будет подбирать соискателей для Минтруда, Минфина, Минцифры, Минэка и подведомственных...

Microsoft закручивает гайки: компания ввела новый способ борьбы с пиратством

«Защитник Windows» получит новые функции и сможет определять и блокировать программы, использующиеся для нелегальной активации операционной системы. Коснется...

Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации искусственного интеллекта.

Новый метод, названный ReBRAC (Revisited Behavior Regularized Actor Critic — пересмотренный актор-критик с контролируемым поведением), обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением (Reinforcement Learning, RL), адаптируя его к новым условиям на ходу.

Разработка российских ученых в области повышения эффективности алгоритмов обучения ИИ может способствовать преодолению технологического и цифрового разрыва в мире между разными странами — более эффективные алгоритмы требуют меньше вычислительных ресурсов. Страны с ограниченными вычислительными мощностями смогут создавать и развивать передовые технологии, адаптировать ИИ под конкретные прикладные задачи, существенно экономя на дорогостоящих экспериментах с ИИ.

Результаты исследования были признаны мировым научным сообществом и представлены на главной научной конференции в области ИИ в мире — международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems).


 © www.tinkoff.ru

Визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым превзошедшим эксперта более чем в половине испытаний

Суть открытия

Ученые из Tinkoff Research идентифицировали четыре компонента, которые были представлены в алгоритмах последних лет, но считались второстепенными и не подвергались детальному анализу:

  • Глубина нейронных сетей. Увеличение глубины сети помогает ей лучше понимать сложные закономерности в данных
  • Регуляризация актора и критика. В ИИ-агентах есть два компонента: «актор», который предпринимает действия, и «критик», который оценивает эти действия. Ученые использовали совместную регуляризацию обоих компонентов, чтобы актор избегал нежелательных действий, а критик более эффективно оценивал их. Ранее не было понятно, как сочетать оба подхода с наибольшей эффективностью
  • Увеличение эффективного горизонта планирования — позволяет модели балансировать между краткосрочными и долгосрочными аспектами задачи и улучшает ее способность принимать решения
  • Использование нормализации слоев (LayerNorm) — стабилизирует процесс обучения нейронных сетей

Ученые из Tinkoff Research интегрировали эти компоненты в алгоритм-предшественникBRAC (Behavior Regularized Actor Critic —актор-критикс контролируемым поведением) 2019 года и провели исследование, поочередно варьируя каждый из них. Оказалось, что правильная совокупность этих компонентов дает даже этому старому подходу самую высокую производительность среди лучших аналогов на сегодняшний день. Модифицированный алгоритм получил название ReBRAC.

Тестирование на робототехнических симуляторах показало, что алгоритм обучает ИИ в четыре раза быстрее и на 40% качественнее всех существующих в офлайн-бенчмарках. Ранее лидерство принадлежало алгоритмуSAC-RND, также созданному учеными из Tinkoff Research.


 © www.tinkoff.ru

Визуализация вариантов тестирования алгоритма: поиск цели в лабиринте (Ant), скорость бега (Halfcheetah, Hopper, Walker2d), задачи для робокистей — правильно держать ручку (Pen), открыть дверь, забить гвоздь, переместить объект

ReBRAC также эффективнее всего решает проблему дообучения искусственного интеллекта, который обычно медленно адаптируется к новым условиям. Например, робот, который был изначально обучен передвигаться по траве, упадет, если переместится на лед. ReBRAC же позволяет ИИ лучше учиться на ходу и адаптироваться.

Признание открытия мировым научным сообществом

В 2023 году рецензенты международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems), на которой было представлено открытие ученых из Tinkoff Research, получили на рассмотрение свыше 13 тысяч статей от ученых со всего мира, из которых 3,5 тысячи были отобраны для представления на конференции. Селективность — всего 26%. Среди них сразу четыре научные статьи Tinkoff Research. Помимо алгоритма ReBRAC ученые представили две открытые библиотеки в области офлайн-обучения с подкреплением (Offline RL, ORL), благодаря которым специалистам по ИИ больше не требуется самостоятельно воспроизводить результаты наиболее весомых научных работ. Статьи уже цитируются ведущими исследовательскими лабораториями со всего мира — в их числе Стэнфордский университет, Калифорнийский университет в Беркли и научно-исследовательская лаборатория Google DeepMind.

Межтекстовые Отзывы
Посмотреть все комментарии
guest