Глупый ИИ страшнее сверхумного

«Тупой» ИИ представляет собой больший риск, чем «сильный» ИИ, то есть такая компьютерная программа, которая действительно понимает происходящие в мире процессы, способна анализировать данные и принимать в сложных ситуациях решения лучше человека. Многие, включая Илона Маска, опасаются, что «сильный» ИИ окажется настолько хитрым, что поработит человечество. Однако «тупой» ИИ уже реально существует. И пока неизвестно, возможен ли сильный ИИ в принципе или же он так и останется недостижимой мечтой.

ИИ уже широко используется на практике, от производственных цехов до служб перевода. По данным McKinsey, около 70% компаний сообщили о росте прибыли благодаря использованию ИИ. И это не тривиальные сферы применения. ИИ уже сегодня применяется в критически важных бизнес-процессах и даже там, где от его решений зависят человеческие жизни.

Американские военные уже применяют автономное оружие (в частности, мины на квадрокоптерах), которое не требует от человека принятия решения о поражении цели. Amazon фактически полностью автоматизировала сортировку резюме с помощью ИИ, прежде чем отказаться от системы из-за сексизма. Программное обеспечение для распознавания лиц, используемое действующими полицейскими департаментами, провоцирует неправомерные аресты. Системы прогнозирования сепсиса Epic System часто ошибаются, хотя они используются в больницах по всей территории США. IBM даже отменила контракт на 62 миллиона долларов на создания системы для клинической радиологии, потому что ее рекомендации были «небезопасными и неправильными».

Обычно программисты стараются уменьшить риски «тупых» ИИ, используя различные стратегии тестирования. Но это не работает отчасти потому, что мы тестируем эти технологии в менее сложных областях, где терпимость к ошибкам выше, а затем внедряем ту же технологию в областях с более высоким риском. Другими словами, обе модели ИИ, используемые для автопилота Tesla и для модерации контента Facebook, основаны на одной и той же технологии нейронных сетей, но, как показывает практика, модели Facebook оказываются слишком строгими, а модели Tesla слишком мягкими.

Самая главная опасность, связанная с ИИ, заключается в том, то система может быть построена на фундаментально прекрасной технологии, но применяться в совершенно неподходящей области. Это вызывает особое беспокойство по мере того, как ИИ получает все более широкое распространение. Случаев внедрения таких технологий гораздо больше, чем специалистов, которые знают, как тщательно разрабатывать системы ИИ, как их внедрять и контролировать.

По мере того, как мы продолжаем внедрять «тупой» ИИ, наши возможности улучшать такие системы со временем ухудшаются. Когда трубопровод Colonial был взломан, генеральный директор компании-оператора отметил, что они не смогли перейти на ручной режим работы, потому что люди, которые раньше управляли трубопроводами вручную, ушли на пенсию или умерли. А у молодых сотрудников не было нужных навыков. В некоторых контекстах мы могли бы обучать альтернативам, основанным на старых технологиях. Например, показывать военным морякам, как пользоваться астролябией, если откажет GPS. Но мере того, как общество становится все более автоматизированным, такой подход перестает работать. Расходы на поддержание технологий предыдущих поколений становятся такими большими, что съедают всю экономию от автоматизации.

Что же это означает для развития ИИ? Прежде всего, нужно признать, что ИИ никуда не денется. Более того, он будет внедряться всё шире. Любая попытка решить проблему «тупого» ИИ должна быть направлена на решение проблем, упомянутых выше.

Первая важная проблема — это неправильная система ИИ, созданная с нарушением правил разработки и внедренная вопреки здравому смыслу. Многие основополагающие проблемы, от правильной реализации k-fold валидации модели до внедрения на производстве, могут быть решены специальными компаниями, которые будут брать на себя рутинную, тяжелую, но крайне важную работу. 

Следующая важная проблема — это данные. Независимо от того, является ли ваша система самообучаемой или ей требуются размеченные данные, требуются гигантские объемы информации для её создания и проверки на работоспособность. Получить данные может быть очень сложно. Нельзя назвать более простыми и задачи по их разметке, созданию хороших метрик для определения предвзятости, проверке их по полноту и так далее. 

Наконец, нам нужно сделать ИИ лучше. Мы не должны бояться исследований и стартапов, которые делают ИИ более сообразительным. Мы должны бояться их отсутствия. Основные проблемы возникают не из-за слишком хорошего ИИ, а из-за слишком плохого. Необходимо вкладывать больше времени, денег и других ресурсов в методы уменьшения объема данных, необходимых для создания хороших моделей, новые фундаментальные модели и многое другое. Большая часть этой работы также должна быть направлена на то, чтобы сделать модели более проверяемыми, уделяя особое внимание таким вещам, как объяснимость и проверяемость.

При этом мы должны быть осторожны. Наши решения могут в конечном итоге усугубить проблемы. Например, трансфертное обучение может предотвращать ошибки, позволяя различным обучающимся агентам обмениваться своими достижениями, но оно также может привести к их распространению. Нам также необходимо соизмерять риски с выгодами. Многие системы ИИ приносят огромную пользу. Они помогают инвалидам ориентироваться на улицах, обеспечивают качественный и бесплатный перевод, а также сделали фото на телефон лучше, чем когда-либо. 

Нам также не следует быть алармистами. Мы часто несправедливо наказываем ИИ за ошибки, потому что это новая технология. Когда загораются батареи Tesla, то к каждому случаю уделяют очень много внимания. Разумеется, что каждый пожар — это неудача, но электромобили загораются гораздо реже, чем машины с двигателями внутреннего сгорания. Новое может быть пугающим, но луддиты не должны накладывать право вето на будущее, полагает Эван Циммерман.