Сэм Альтман не стал отрицать существование Q*

СМИ писали, что опасения по поводу опасного «прорыва» в развитии ИИ-проекта стали одной из причин увольнения сооснователя компании

Сообщения Reuters о том, что в преддверии увольнения Сэма Альтмана из OpenAI группа сотрудников обратилась к совету директоров по поводу некоего прорыва в проекте Q*, который может представлять «угрозу для человечества», — это «неудачная утечка».
Так в интервью The Verge выразился сам сооснователь компании, впоследствии восстановленный в должности после бунта сотрудников и негодования инвесторов. Хотя Альтман отказался комментировать сообщения об угрозе, сама формулировка де-факто подтверждает как минимум существование Q*.

Как отмечает Barron’s, название проекта может указывать на то, что он объединяет две технологии машинного обучения: алгоритм поиска A* и модель «обучения с подкреплением» Q-learning. Продолжает в эфире CBC профессор Монреальского университета и один из «крестных отцов» ИИ Йошуа Бенжио:

Как пишет журнал Barron’s, принадлежащий издателю The Wall Street Journal, в публикациях агентств по следам письма сотрудников OpenAI, кроме абстрактных прогнозов об «угрозе для человечества», есть и немного конкретики. В частности, там утверждается, что Q* научился решать определенные математические задачи на уровне школьников младших классов. С одной стороны, тот же WolframAlpha и без всякого ИИ умеет решать системы интегральных уравнений еще с 2009 года. С другой, для ИИ это действительно прорыв: сегодняшние чат-боты не всегда справляются даже с простой арифметикой. Их учили на многозначительных текстах, а в математике нужны четкие логические вычисления. Оценку дает директор технического департамента RTM Group Федор Музалевский:

Федор Музалевский
директор технического департамента RTM Group
«Основная тревога по поводу искусственного интеллекта — это возможный выход его из-под контроля. Пока мощные проекты искусственного интеллекта держатся в изолированных сегментах Сети, обучаются на той выборке, которую им скармливают люди, в общем-то, опасений быть не должно. Соответственно, если предполагать, то можно видеть два основных возможных следующих шага, которые вызывают опасения. Шаг первый — это доступ искусственного интеллекта в глобальную Сеть, где он может неконтролируемо получать информацию и на этом обучаться. Как простейший пример можно привести, что искусственный интеллект на основе обилия информации о войнах, убийствах и так далее может решить, что для человечества это благо, раз мы с вами немного друг друга убиваем, и надо нам в этом помочь и убить всех. Второй момент — это возможности для реализации искусственного интеллекта. Сейчас искусственный интеллект надо спросить, чтобы он что-то ответил, ну, грубо говоря, это какой-то условный чат-бот. Если же искусственному интеллекту дать возможность самостоятельно нечто создавать, опять же, в целях обучения, то это вторая точка тревоги, то есть искусственный интеллект условно сможет подселить к нам с вами на компьютер вирус просто для того, чтобы собирать дальше информацию, а собрав определенный объем информации, — здесь уже смотри пункт первый».

Сам факт того, что Альтман не стал отрицать существование Q*, по сути, ничего не меняет. Отдельные, не самые авторитетные издания вроде Daily Mail, конечно, написали о «секретной новой апокалиптической ИИ-системе», но едва ли кого-то должно удивлять, что ведущий разработчик искусственного интеллекта работает над следующей версией своего ИИ.

Что же до опасений отдельных сотрудников компании по поводу угрозы со стороны Q* — вопрос остается открытым. Сам Альтман обещал The Verge постараться сделать так, чтобы искусственный интеллект был «полезным и безопасным».