Автономный машинный интеллект и углеродный след ИИ: обзор исследований

Путь к автономному машинному интеллекту

Главный научный сотрудник Meta AI Янн ЛеКун — один из трех человек (наряду с Джеффри Хинтоном из Google и Йошуа Бенгио из MILA), кто получал премию Тьюринга за новаторскую работу в области глубокого обучения. Он знает как о сильных, так и о слабых сторонах искусственного интеллекта, и публикует свои наблюдения в блоге на Фейсбук (принадлежит корпорации Meta, которая признана в РФ экстремистской).

ЛеКун считает, что создание «человекоподобного ИИ» может быть полезной целью, и что исследовательское сообщество делает определенные успехи в этом направлении. Он также считает, что увеличение масштабов моделей помогает приблизиться к цели, хотя этого недостаточно, поскольку нам все еще не хватает некоторых фундаментальных качеств.

Например, у нас до сих пор нет парадигмы обучения, позволяющей машинам изучать мир, как это делают дети и детеныши многих животных, отмечает ЛеКун. Он также приводит несколько других серьезных пробелов. Например, модели не умеют предсказывать, как поменяется мир в результате их действий, не умеют составлять иерархические представления о мире, позволяющие делать долгосрочные прогнозы, но одновременно с этим не упуская из виду тот факт, что мир не является полностью предсказуемым. Моделям необходимо уметь предсказывать последствия ряда действий, чтобы иметь возможность рассуждать и планировать, а также раскладывать сложную задачу на подзадачи.

Хотя ЛеКун считает, что он определил ряд препятствий, которые необходимо устранить, он также отмечает, что мы не знаем, как это сделать. Поэтому решение пока не показалось на горизонте. Недавно ЛеКун поделился своим видением в аналитической записке под названием "Путь к автономному машинному интеллекту".

Помимо масштабирования, ЛеКун делится своими взглядами на такие вопросы, как обучение с подкреплением (« вознаграждения недостаточно»), рассуждения и планирование («все сводится к умозаключениям, явные механизмы для манипулирования символами, вероятно, излишни»).

ЛеКун также представляет концептуальную архитектуру, которая примерно соответствует распространенной модели человеческого мозга, с компонентами для таких функций как восприятие, кратковременная память и модель мира. Между тем, Гади Сингер, вице-президент и директор по эмерджентному ИИ в Intel Labs, считает, что последнее десятилетие для ИИ было феноменальным, в основном благодаря глубокому обучению, но сейчас зарождается следующая волна. Сингер считает, что она будет основана на комбинации нескольких компонентов: нейронных сетей, символьного представления и символьных рассуждений, а также глубоких знаний об окружающем мире. Он назвал архитектуру следующей волны развития ИИ — Thrill-K.

Углеродный след машинного обучения

Как отмечают исследователи из Google и Калифорнийского университета в Беркли, применение технологий машинного обучения становится всё шире, но при этом также всё чаще возникают опасения по поводу их углеродного следа.

В недавно опубликованной работе исследователи Google делятся передовым опытом, который, по их утверждению, позволяет снизить энергопотребление при обучении машинному обучению до 100 раз, а выбросы углекислого газа — до 1000 раз:

• Операторы центров обработки данных (ЦОД) должны публиковать показатели эффективности использования электроэнергии, долю возобновляемых источников энергии в их энергетическом балансе и выбросы углекислого газа на мегаватт-час по каждому объекту, чтобы клиенты, которым не все равно, могли понять и сократить потребление энергии и углеродный след.
• Пользователи технологий машинного обучения (МО) должны проводить обучение моделей, используя самые эффективные процессоры в самом экологичном центре обработки данных, к которому у них есть доступ.
• Исследователи МО должны продолжать разрабатывать более эффективные модели, например, используя разреженность связей или более компактные модели.
• Они также должны публиковать данные о своем энергопотреблении и углеродном следе, как для того, чтобы стимулировать конкуренцию не только по качеству моделей, так и для обеспечения точного учета всех расходов, связанных со своей работой.

Авторы исследования утверждают, что благодаря такому подходу общее энергопотребление в сфере машинного обучения в течение последних трех лет оставалось меньше 15% от общего энергопотребления Google.

Если бы все специалисты в области МО восприняли этот передовой опыт, то общее количество выбросов углекислого газа в ходе обучения сократилось бы, уверены исследователи.