Приход моделей-трансформеров и ИИ-национализм: доклад "О положении ИИ - 2021"

В серии отчетов просматривается тренд на то, как роль ИИ в обществе и экономике становится всё более и более значимой. Авторы указывают, что исследований по безопасности ИИ явно недостаточно, учитывая насколько быстро эти технологии распространяются в коммерческой, гражданской и военной сферах.

Первый раздел доклада на 188 страниц посвящен новым подходам к решению различных задач с помощью ИИ. За прошедший год модели-трансформеры, которые изначально создавались для обработки текста, начали применять в работе с изображениями. У них есть несколько преимуществ перед обычными сверточными сетями: они способны выделять предметы, даже если те повернуты или смещены. Их применение будет только расширяться, уверены авторы отчета. Уже сейчас модели-трансформеры Conformers показывают уровень ошибок меньше 2% при транскрибировании речи в текст.

Модели-трансформеры можно приспособить к обработке трехмерного облака точек, как это сделали исследователи из Оксфордского университета и лаборатории Intel. Их модель Point Transformer показала существенный прогресс по сравнению с предыдущими поколениями моделей. 

Применение систем ИИ в биоинформатике за последний год вышло на новый уровень: исследователи из Вашингтонского университета разработали систему, которая определяет пространственную конфигурацию белков (а значит и их биологическую активность) лишь на основе цепочки аминокислот, из которых он состоит. Кроме того, ученые утверждают, что могут теперь создавать белки с заданными функциями (например, новые классы антибиотиков), полностью с нуля, без оглядки на то, существуют ли такие похожие белки у живых организмов.

В первом разделе описано более двадцати новых подходов к созданию ИИ моделей в медицине, компьютерном зрении, обработки звука и видео. Отмечен тренд на создание национальных языковых моделей с большим количеством параметров. Например, Пекинская академия искусственного интеллекта создала модель китайского языка Wudao с 1,75 трлн параметров (это в 10 раз больше, чем модель GPT-3 от OpenAI). Похожие работы проведены в Южной Корее (HyperCLOVA) и Германии (Aleph Alpha).

Несмотря на бурное развитие технологий ИИ, эти системы пока очень далеки от того, чтобы заменить человека. В докладе приведена ссылка на исследование, которое провел Национальный комитет по здравоохранению Великобритании. Исследователи изучили 36 систем компьютерного зрения, которые должны выявлять злокачественные опухоли груди на рентгенограммах. 94% из них показали существенно более низкую точность, чем консенсус из двух радиологов.

Во втором разделе — таланты и рынок — описывается, как быстро растет доля китайских исследований. По итогам 2020 года Китайская академия наук опубликовала больше исследований в сфере ИИ, чем Гарвард или Стенфорд. На нее приходится больше 25% из тысячи самых цитируемых работ. По прогнозам аналитиков из университета Джорджтауна, к 2025 году в Китае будет выпускаться больше 77 тысяч кандидатов естественных наук в год — практически вдвое больше, чем в США. Большинство выпускников остаются работать в Китае, лишь 16% уезжают в другие страны. Больше всего специалистов по ИИ нанимают компании Huawei и Tencent. 

Исследователи отмечают, что заниматься ИИ становится всё более дорогим занятием: требования к мощности вычислительной техники для больших моделей становятся неподъемными для средних или небольших университетов. Исследования становятся подъемными только для крупных университетов или для лабораторий, которые спонсируют крупные высокотехнологические компании. Более 80% опубликованных работ были созданы на гранты крупных компаний.

Исследователи в сфере ИИ остались на «удаленке» и пока не торопятся возвращаться в офисы: сейчас удаленно работают 72% специалистов на американском рынке труда. Например, в сфере продаж удаленно работают лишь 8% персонала.

ИИ — это не только научные исследования и эксперименты. Проникновение в корпоративный миры продолжается, как можно понять из третьей части доклада. 1 октября 2021 г. на биржу NASDAQ вышла британская компания Exscientia. Её капитализация превышает 3 млрд долларов. Она занимается выводом на рынок лекарств, которые разработаны с помощью методов ИИ. Сейчас эта третья по капитализации фармацевтическая компания в Великобритании, после GSK и AstraZeneca. В этом году она планирует получить разрешение на продажу первых трех своих препаратов и готовится начать процедуру лицензирования еще четырех. 

Фармацевтика в ближайшие годы останется самым прибыльным приложением наработок в области ИИ. Сверточные нейронные сети и другие модели продолжат применять для поиска потенциальных препаратов на начальных этапах разработки новых лекарств.

Второе направление для применения ИИ в бизнесе: повышение безопасности на рабочих местах благодаря системам компьютерного зрения. Самый крупный поставщик подобных решений в мире — компания Intenseye, которая поставляет их в 15 стран мира. По оценкам самой компании, ее системы способны уменьшать потери рабочего времени из-за травм и поломок техники на 1,5 тыс. часов в год.

Третья точка применения ИИ на производстве — оптимизация использования ресурсов. Например, компания-оператор национальной энергосети в Великобритании уменьшила расходы генерирующих компаний почти на 7% благодаря более точному прогнозу потребления. Это позволяет не вводить в строй избыточные мощности, что приводит к существенной экономии топлива и уменьшает выбросы парниковых газов. 

Ближе к концу доклада содержатся описание попыток регулирования ИИ-технологий. Больше всего активности в этой сфере проявляют ЕС и Китай. В ЕС на рассмотрении Европарламента находится закон об ИИ. Он будет касаться всех граждан и организаций, даже иностранных, которые применяют ИИ-технологии на территории ЕС. В частности, под запретом может оказаться биометрическая идентификация в режиме реального времени и системы, влияющее или пытающиеся манипулировать поведением человека. ИИ, занятый в в критически важных областях, таких как здравоохранение, должен быть прозрачным, то есть все его действия должны логироваться, логика принятия решения должна быть задокументирована, а у человека всегда должна быть возможность его отключить в случае необходимости.

В ноябре 2021 г в Китае вступит в силу закон о защите персональных данных, который будет ограничивать их использование за обучения ИИ. В правительстве разрабатывают закон о рекомендательных системах: в частности, нельзя будет намеренно влиять на поведение пользователей, а также предлагать существенно разные цены в зависимости от профиля пользователя.