Представьте себе невероятно умный искусственный сверхинтеллект, запертый в виртуальном мире — скажем, просто в табакерке. Вы не знаете, будет он злобным, дружелюбным или нейтральным. Все, что вы знаете, так это то, что он хочет выйти из табакерки и что вы можете взаимодействовать с ним через текстовый интерфейс. Если ИИ будет действительно сверхразумным, сможете ли вы проговорить с ним пять часов и не поддаться на его уговоры и манипуляции — не открыть табакерку?
Этот мысленный эксперимент предложил Элиезер Юдковский, научный сотрудник Научно-исследовательского института машиностроения (MIRI). В MIRI состоит много ученых, которые исследуют риски развития искусственного сверхинтеллекта; хотя его даже не появилось пока, он уже привлекает внимание и разжигает дебаты.
Эмулированный мозг может работать в 2, 10 или 100 раз быстрее обычного биологического мозга. ИИ может модифицировать собственный код или начать создавать более разумные версии себя. Взрыв скорости и разума самоулучшающихся компьютеров обсудил еще в 1965 году статист И. Дж. Гуд, который и написал, что «первая сверхразумная машина станет последним изобретением, которое нужно будет создать человечеству».
Если мы создадим невероятно разумную машину, нам придется быть осторожными с ее размещением. Инженеры едва ли смогут создать модель мира, который будет полностью защищен от утечек. Ученые должны создать мир-имитацию, который позволит им заглядывать в эту вселенную и собирать информацию. Может показаться безобидным, но трудно предположить, не найдет ли такой сверхразум способ нанести нам вред через простые наблюдения.
Возвращаясь к коробкам Юдковского, есть особенно жуткий метод, который ИИ может использовать, чтобы заставить вас освободить его. Он включает обращение ситуации: ИИ будет убеждать вас, что вы почти наверняка часть симуляции.