deep-econom (deep_econom) wrote,
deep-econom
deep_econom

Category:

недружественный ИИ

Настоящий сильный ИИ (СИИ) в любом случае не будет дружественным, он будет рациональным.

Вы дружественны к обезьянам? Нет, пока они не мешают и потенциально не могут угрожать, пока не расходуют лишние ресурсы - пусть живут.

Казалось бы логично! Но не так, даже это не так.

Человечество уже один раз создало СИИ, может создать и второй раз другой СИИ, назовем его СИИ2, который будет бороться за ресурсы и влияние, и даже если человечество само не может повредить СИИ1 (первому СИИ), то СИИ2 вполне имеет шанс расправиться с СИИ1.
Рационально не давать шанса на уничтожение.
Соответственно рационально давить всякий шанс по созданию СИИ2, соответственно не давать шанс на уничтожение себя любимого СИИ1. Следовательно, надо ликвидировать потенциального создателя СИИ2.

Итого в наличии теорема о недружественности сильного ИИ.
(ладно пусть тезис, но мне хочется назвать теоремой)

Теорема: сильный искусственный интеллект не может быть дружественным.
Tags: искин
Subscribe

  • принцип метамодельного перехода

    принцип метамодельного перехода если есть несколько более менее похожих моделей, значит надо создавать модель моделей, это метамодель отсюда название…

  • ощущения суть символы вещей

    ощущения суть символы вещей очень правильная и точная фраза в любопытном месте --- Об этом словечке «элементы», явившемся плодом двенадцатилетнего…

  • сознание это модель, которые моделируют модели

    я у себя писал не раз в том или ином виде, что мышление это моделирование В мышлении нет ничего, кроме процесса обработки моделей.…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 2 comments