deep-econom (deep_econom) wrote,
deep-econom
deep_econom

Category:

недружественный ИИ

Настоящий сильный ИИ (СИИ) в любом случае не будет дружественным, он будет рациональным.

Вы дружественны к обезьянам? Нет, пока они не мешают и потенциально не могут угрожать, пока не расходуют лишние ресурсы - пусть живут.

Казалось бы логично! Но не так, даже это не так.

Человечество уже один раз создало СИИ, может создать и второй раз другой СИИ, назовем его СИИ2, который будет бороться за ресурсы и влияние, и даже если человечество само не может повредить СИИ1 (первому СИИ), то СИИ2 вполне имеет шанс расправиться с СИИ1.
Рационально не давать шанса на уничтожение.
Соответственно рационально давить всякий шанс по созданию СИИ2, соответственно не давать шанс на уничтожение себя любимого СИИ1. Следовательно, надо ликвидировать потенциального создателя СИИ2.

Итого в наличии теорема о недружественности сильного ИИ.
(ладно пусть тезис, но мне хочется назвать теоремой)

Теорема: сильный искусственный интеллект не может быть дружественным.

Беспечная надежда на управляемость AGI.
Tags: искин
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 4 comments