Цитаты из книги What to Think About Machines That Think: Today's Leading Thinkers on the Age of Machine Intelligence

Мы могли бы сказать, что машинное «мышление» относится к человеческой мысли как модель явления – к самому явлению

Быстрое развитие искусственного интеллекта также меняет наше понимание того, что такое разум. Наши взаимодействия со слабыми ИИ приведут к тому, что мы поймем: разум – это континуум, а не некий рубеж.

Мы выработали способность к метарепрезентации – осознанию того, что у нас есть разум и возможности его анализировать, которая является функцией сознания более высокого порядка.

Предположим, вы разговариваете о еде с каннибалами, но каждое их предложение крутится вокруг приправленных их системы взглядов и не можете понять их мышление, по крайней мере в этой конкретной, узкой области. Настоящее значение и эмоциональное воздействие, которые имеют их слова, когда их произносят для кого-то другого,…

Есть вероятность, что мы живем в очень кооперативной Вселенной. Сознание и воля могут быть частью ее обстановки, а машины Тьюринга – нет, поскольку являются подмножествами классической физики и просто обрабатывают синтаксис, делают выбор там, где настоящее могло бы быть другим.

Мы уже знаем, что обычная материя может выработать универсальный интеллект – способность узнавать новые понятия и использовать их в незнакомом контексте, потому что 1200 см³ соленой кашицы внутри нашей головы смогли это сделать. Нет причин полагать, что достаточно сложный цифровой компьютер не сумеет того же самого.

Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, – и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное…

как сконструировать сверхразумы, чтобы они стремились к таким исходам, которые ценны, нормативны и выгодны для разумной жизни в долгосрочной перспективе, то есть, говоря короче, к хорошим, поскольку, если появляется субъект с сильной познавательной способностью, то, чего он захочет, скорее всего, и произойдет.