Линза, видящая свои изъяны

 Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки; и теперь ты убеждён в том, что твои шнурки и в самом деле развязаны.

Вот секрет осознанной рациональности: в этом процессе передачи сцепленности нет ничего магического, и его можно понять. Ты можешь понять, как ты видишь свои шнурки. Ты можешь думать о том, какие когнитивные процессы создают убеждения, отражающие реальность, и какие когнитивные процессы — нет.

 Мыши могут видеть, но они не могут понять зрения. Ты можешь понять зрение, и поэтому ты способен на вещи, которые мышам и не снились. Подивись этому несколько секунд, ведь это действительно чудо.

 Мыши видят, но они не знают, что у них есть зрительная кора, и поэтому они не могут систематически бороться с оптическими иллюзиями. Мышь живёт в ментальном мире, где есть кошки, дыры, сыр и мышеловки, — но нет мышиных мозгов. Их камеры не могут сфотографировать линзы собственного объектива. Но люди могут посмотреть на причудливую картину (link is external) и осознать, что часть того, что они видят, является линзами их объектива. Ты не обязан всегда верить своим глазам, но ты обязан понимать, что у тебя есть глаза — у тебя должны быть отдельные участки памяти для карты и для местности, для чувств и реальности. Если ты считаешь этот навык тривиальным, вспомни, насколько он редок в царстве животных.

 Вся идея Науки — это, в сущности, поиск наиболее надёжного способа отразить в зеркале разума содержимое целого мира. Мыши никогда не смогли бы изобрести такую идею. Размышляя о всех вопросах вроде «мы проводим повторяемые эксперименты, чтобы фальсифицировать теорию», мы можем разобраться, почему именно наука работает. Наука — это не отдельный магистерий, далёкий от реальной жизни и непонятный для простых смертных. Нельзя сказать, что науку можно применять только в лабораториях. Наука — это постижимый и объективно существующий процесс, который связывает содержимое мозга с реальностью.

 Наука довольно логична, если как следует о ней подумать. Но мыши не могут думать о мышлении, и поэтому у них нет науки. Не проглядите заключённого в этом чуда, не упустите потенциальной мощи, которую нам дарит этот факт. Нам — в смысле «личностям», а не «научным сообществам».

 Нужно признать, что задача понять мыслительный механизм может быть сложнее задачи понять часовой механизм — но между этими задачами нет фундаментальных различий.

Однажды я спросил посетителей канала #philosophy: «Верите ли вы в то, что ядерная война случится в течение ближайших 20 лет? Если нет, то почему?». Один человек сказал: «Я не думаю, что в ближайшие 100 лет начнётся ядерная война: все игроки, участвующие в принятии подобных решений, сейчас в ней не заинтересованны». Я спросил: «Но почему ты считаешь, что ситуация сохранится в течении 100 лет?». «Просто надежда», ответил он.

Если поразмыслить об этом мыслительном процессе, то можно увидеть, что перспектива ядерной войны пугает этого человека, и поэтому его мозг отвергает соответствующее убеждение. Но если представить себе миллиард миров — ответвления Эверетта или дупликаты Тегмарка (link is external)(English) — то станет ясно, что такие размышления не создают корреляции между оптимистами и мирами без ядерной войны, как должно было бы быть, если бы они были бы рациональными.

 (В этот момент у кого-то может появится соблазн сказать «Но если у меня есть надежда, я буду работать лучше, заработаю больше денег, тем самым помогу мировой экономике, и в результате страны будет не так просто столкнуть в пучину злобы, бедности и отчаяния, когда возможность ядерной войны всерьёз угрожает будущему. Получается, что надежда имеет отношение к реальности». Раз уж дошло до такого, мне придётся вытащить теорему Байеса (link is external) и количественно измерить силу этого свидетельства. Оптимизм не может иметь столь огромный эффект на мире; его недостаточно для того, чтобы сместить вероятность ядерной войны на 20%, или насколько там оптимизм смещает степень убеждённости. Сильно изменять свои убеждения из-за события, несущего очень малый заряд сцепленности — практика, не способствующая точному картографированию.)

 Задуматься о том, какие убеждения сделают тебя счастливым — посмотреть внутрь, а не наружу. Ответ может сказать что-то новое о твоей психике, но это не свидетельство, сцепленное с окружением. Я не имею ничего против счастья, но счастье должно порождаться картиной мира, а не преступным использованием ментальных карандашей в целях сокрытия правды.

 Если ты можешь это увидеть — если ты можешь заметить, что надежда слишком сильно влияет на твои размышления первого уровня; если ты можешь увидеть свой мозг как рисующий карты механизм, в котором есть недочёты — то ты можешь что-нибудь исправить. Мозг — дефектная линза, не совсем точно показывающая действительность. Это верно в отношении мозга как мыши, так и человека. Но мозг человека — это линза, могущая понять свои изъяны, могущая увидеть свои систематические ошибки, свои искажения, а после применить к ним исправления второго уровня. Этот факт делает дефектную линзу намного могущественней на практике. Делает её не совершенной, но намного более эффективной.

Элиезер Юдковский

Честно спизженно с сайта lesswrong.ru
Конкретно эта статья - https://lesswrong.ru/w/%D0%9B%D0%B8%D0%BD%D0%B7%D0%B0_%D0%B2%D0%B8%D0%B4%D1%8F%D1%89%D0%B0%D1%8F_%D1%81%D0%B2%D0%BE%D0%B8_%D0%B8%D0%B7%D1%8A%D1%8F%D0%BD%D1%8B