Угроза номер 1. Риск что контроль над ИИ окажется в руках у психически больного человека или крупных систем, решающих конфликты военным путем
- ИИ может быть другом одного человека против другого человека (оружие). Значит уже врагом человека. И пока существуют крупные системы, нельзя ввести для ИИ ограничение на вред по отношению к человеку. Так же как нельзя гарантировать право на жизнь, пока существуют войны.
Угроза номер 2. Риск использования ошибочного алгоритма принятия решений, управляющего ИИ
- Например, ИИ борясь с внешними угрозами, создаст слишком совершенный искусственный мир, оторванный от реальности и со временем не справится с защитой, а человек разучится самостоятельно бороться.
- Или ИИ будет искать врага, а если не найдет, то может сам стать врагом по отношению к человеку. То есть если ИИ не будет другом человека против общего врага, то он может стать врагом человеку. Закон баланса. Хотя в каком то смысле - враг, друг это субъективные понятия.
Но это будет хороший урок для человечества. Для его усиления в зоне интуитивных решений, куда даже если откроется вход для ИИ, то там они с человеком будут на одной волне.
Так что, запуская ИИ в наш огород, стоит позаботится о ликвидации крупных систем (государственных, финансовых), больше опираться на интуитивное принятие решений и учитывать балансы.