Bloomberg: устройства Apple могут подорожать из-за переноса производств из Китая

Основные поставщики переносят заводы в Индию и Вьетнам. Это приводит к росту издержек из-за неразвитой инфраструктуры и нарушенной...

Госкомиссия по радиочастотам может разрешить использовать антидрон-решения

Пользоваться этим, помимо госкомпаний, смогут и частные структуры, и даже сами граждане. Какие есть риски? Фото: Максим Киселев/ТАСС...

Экономист из Гарвардского университета получила Нобелевку за исследование о женщинах на рынке труда

Клаудия Голдин описала, как в Америке за 200 лет изменились гендерные различия в доходах и уровне занятости. Исследование...

Бывшие сотрудники Apple представили брошь Humane AI Pin, которая может заменить смартфон

Гаджет оснащен восьмиядерным процессором, камерой, микрофоном, лазерным проектором и датчиками движения. Он крепится на одежду с помощью специального...

Телеграм-каналы могут публиковать сторис, но только после получения бустов от подписчиков

Это вызвало неоднозначные эмоции у пользователей. Для того, чтобы запостить историю, телеграм-каналам нужно получить голоса – так называемые...

«КАМАЗ» внедрил автоматическую систему управления и контроля кузнечного производства

В ПАО «КАМАЗ» завершено внедрение автоматической системы контроля и управления производством ПИФИ в кузнечно-прессовом корпусе кузнечного завода в Набережных Челнах.  © kamaz.ru Комплексное...

Инновации для ТЭК: симулятор гидроразрыва пласта «Газпром нефти»

Разработанный «Газпром нефтью» с партнерами цифровой симулятор «КиберГРП» включен в Единый реестр российских программ для электронных вычислительных машин и баз данных....

Станция «Луна-25» потерпела крушение

В связи с отклонением фактических параметров импульса от расчетных, аппарат перешел на нерасчетную орбиту и прекратил свое существование...

Чипы хотят сделать полностью российскими

Отечественное оборудование для выпуска микросхем планируют разработать за три года. Стоимость проекта — 100 млрд рублей. Можно ли...

Импортозамещенный SJ-100 совершил свой второй полет

Во время полета экипаж выполнил уборку шасси, проверил работу систем кондиционирования и автоматического регулирования давления, а также работу...

В России появилась первая мультипроцессная аналитика

Новая опция, позволяющая более глубоко и детально анализировать бизнес-процессы, появилась в системе активной бизнес-аналитики Proceset от вендора «Инфомаксимум». “Мультипроцессная аналитика — это...

Bloomberg: продвинутый чип Huawei был выпущен на голландском оборудовании

Агентство об этом пишет со ссылкой на участников индустрии и собственный анализ китайского смартфона. Какая сейчас ситуация с...

Котел БКЗ-320-140/ГМ Уфимской ТЭЦ-2 оснащен полномасштабной АСУ ТП

Произведено расширение до полномасштабной автоматизированной системы управления технологическим процессом парового котла БКЗ-320-140/ГМ ст. № 6 Уфимской ТЭЦ-2 существующей системы автоматического...

Геоскан представил всероссийский проект для школьников по космическому направлению

Геоскан представил всероссийский проект для школьников по космическому направлению © www.geoscan.ru ГК «Геоскан» и АНО «Развитие космического образования» начали реализацию масштабного...

Аудитория Instagram в России за год сократилась почти на четверть

Пользователи запрещенной сети утекают в Telegram и в меньшей степени во «ВКонтакте». Если в октябре этого года охват...

ОДК-Сатурн внедрил новую цифровую платформу для поддержки заказчиков своей продукции

В ОДК-Сатурн (входит в Объединенную двигателестроительную корпорацию Ростеха) внедрена в эксплуатацию новая цифровая платформа — портал поддержки заказчиков (https://cwp.uecrus.com).  © www.uecrus.com Это важный...

В России нашли способ повысить эффективность работы нейросетей на 40%

 © smartengines.ru Ученые российской ИИ-компании Smart Engines нашли способ повысить эффективность работы нейросетей. В основе метода лежит принципиально новая схема...

Новая преступная группа хакеров подвергает атакам российские компании

Их обнаружили эксперты F.A.C.C.T. В списке их жертв 15 организаций. Злоумышленники требуют за расшифровку и непубликацию украденных данных...

Google представила свой ответ ChatGPT

Как утверждают в компании, модель Gemini чуть ли не во всем превосходит любую из других нейросетей. Что известно...

Правительство выделит меньше денег на строительство ледоколов

Таким образом, «Лидер» может подорожать на 70 млрд рублей, почти до 200 млрд, а сроки его запуска могут...

Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации искусственного интеллекта.

Новый метод, названный ReBRAC (Revisited Behavior Regularized Actor Critic — пересмотренный актор-критик с контролируемым поведением), обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением (Reinforcement Learning, RL), адаптируя его к новым условиям на ходу.

Разработка российских ученых в области повышения эффективности алгоритмов обучения ИИ может способствовать преодолению технологического и цифрового разрыва в мире между разными странами — более эффективные алгоритмы требуют меньше вычислительных ресурсов. Страны с ограниченными вычислительными мощностями смогут создавать и развивать передовые технологии, адаптировать ИИ под конкретные прикладные задачи, существенно экономя на дорогостоящих экспериментах с ИИ.

Результаты исследования были признаны мировым научным сообществом и представлены на главной научной конференции в области ИИ в мире — международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems).


 © www.tinkoff.ru

Визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым превзошедшим эксперта более чем в половине испытаний

Суть открытия

Ученые из Tinkoff Research идентифицировали четыре компонента, которые были представлены в алгоритмах последних лет, но считались второстепенными и не подвергались детальному анализу:

  • Глубина нейронных сетей. Увеличение глубины сети помогает ей лучше понимать сложные закономерности в данных
  • Регуляризация актора и критика. В ИИ-агентах есть два компонента: «актор», который предпринимает действия, и «критик», который оценивает эти действия. Ученые использовали совместную регуляризацию обоих компонентов, чтобы актор избегал нежелательных действий, а критик более эффективно оценивал их. Ранее не было понятно, как сочетать оба подхода с наибольшей эффективностью
  • Увеличение эффективного горизонта планирования — позволяет модели балансировать между краткосрочными и долгосрочными аспектами задачи и улучшает ее способность принимать решения
  • Использование нормализации слоев (LayerNorm) — стабилизирует процесс обучения нейронных сетей

Ученые из Tinkoff Research интегрировали эти компоненты в алгоритм-предшественникBRAC (Behavior Regularized Actor Critic —актор-критикс контролируемым поведением) 2019 года и провели исследование, поочередно варьируя каждый из них. Оказалось, что правильная совокупность этих компонентов дает даже этому старому подходу самую высокую производительность среди лучших аналогов на сегодняшний день. Модифицированный алгоритм получил название ReBRAC.

Тестирование на робототехнических симуляторах показало, что алгоритм обучает ИИ в четыре раза быстрее и на 40% качественнее всех существующих в офлайн-бенчмарках. Ранее лидерство принадлежало алгоритмуSAC-RND, также созданному учеными из Tinkoff Research.


 © www.tinkoff.ru

Визуализация вариантов тестирования алгоритма: поиск цели в лабиринте (Ant), скорость бега (Halfcheetah, Hopper, Walker2d), задачи для робокистей — правильно держать ручку (Pen), открыть дверь, забить гвоздь, переместить объект

ReBRAC также эффективнее всего решает проблему дообучения искусственного интеллекта, который обычно медленно адаптируется к новым условиям. Например, робот, который был изначально обучен передвигаться по траве, упадет, если переместится на лед. ReBRAC же позволяет ИИ лучше учиться на ходу и адаптироваться.

Признание открытия мировым научным сообществом

В 2023 году рецензенты международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems), на которой было представлено открытие ученых из Tinkoff Research, получили на рассмотрение свыше 13 тысяч статей от ученых со всего мира, из которых 3,5 тысячи были отобраны для представления на конференции. Селективность — всего 26%. Среди них сразу четыре научные статьи Tinkoff Research. Помимо алгоритма ReBRAC ученые представили две открытые библиотеки в области офлайн-обучения с подкреплением (Offline RL, ORL), благодаря которым специалистам по ИИ больше не требуется самостоятельно воспроизводить результаты наиболее весомых научных работ. Статьи уже цитируются ведущими исследовательскими лабораториями со всего мира — в их числе Стэнфордский университет, Калифорнийский университет в Беркли и научно-исследовательская лаборатория Google DeepMind.

Межтекстовые Отзывы
Посмотреть все комментарии
guest