О необходимости модели мира. AGENT: A Benchmark for Core Psychological Reasoning.
недавно выпустила AGENT: A Benchmark for Core Psychological Reasoning. Тест состоит из большого набора данных процедурно сгенерированных 3D-анимаций, синтезированных с помощью TDW, которые исследуют ключевые концепции базовой интуитивной психологии.
https://www.tshu.io/AGENT//
Чтобы машинные агенты могли успешно взаимодействовать с людьми в реальных условиях, им необходимо развить понимание человеческой психической жизни. Интуитивная психология, способность рассуждать о скрытых ментальных переменных, которые управляют наблюдаемыми действиями, естественна для людей: даже невербальные младенцы могут отличать агентов от объектов, ожидая, что агенты будут действовать эффективно для достижения целей с учетом ограничений.
Несмотря на недавний интерес к машинным агентам, которые рассуждают о других агентах, неясно, изучают ли такие агенты или придерживаются основных принципов психологии, которые управляют человеческим мышлением.
Вдохновленные исследованиями когнитивного развития в области интуитивной психологии, мы представляем тест, состоящий из большого набора данных процедурно сгенерированных 3D-анимаций, АГЕНТ (Действие, Цель, Эффективность, Ограничение, Полезность), структурированный вокруг четырех сценариев (целевые предпочтения, эффективность действия, ненаблюдаемые ограничения и компромисс между затратами и вознаграждением), которые исследуют ключевые концепции базовой интуитивной психологии.
Мы проверяем АГЕНТ с помощью человеческих оценок, предлагаем протокол оценки, делающий упор на обобщение, и сравниваем две надежные базовые линии, основанные на байесовском обратном планировании и нейронной сети теории разума.
Наши результаты показывают, что для того, чтобы пройти разработанные тесты базовой интуитивной психологии на человеческом уровне, модель должна получить или иметь встроенные представления о том, как агенты планируют, сочетая вычисления полезности и основные знания об объектах и физике. и сравните две сильные базовые линии, построенные на байесовском обратном планировании и нейронной сети Theory of Mind.
https://www.tshu.io/AGENT//AGENT.pdf
AGENT: A Benchmark for Core Psychological Reasoning
Tianmin Shu, Abhishek Bhandwaldar, Chuang Gan
https://www.tshu.io/AGENT//
Чтобы машинные агенты могли успешно взаимодействовать с людьми в реальных условиях, им необходимо развить понимание человеческой психической жизни. Интуитивная психология, способность рассуждать о скрытых ментальных переменных, которые управляют наблюдаемыми действиями, естественна для людей: даже невербальные младенцы могут отличать агентов от объектов, ожидая, что агенты будут действовать эффективно для достижения целей с учетом ограничений.
Несмотря на недавний интерес к машинным агентам, которые рассуждают о других агентах, неясно, изучают ли такие агенты или придерживаются основных принципов психологии, которые управляют человеческим мышлением.
Вдохновленные исследованиями когнитивного развития в области интуитивной психологии, мы представляем тест, состоящий из большого набора данных процедурно сгенерированных 3D-анимаций, АГЕНТ (Действие, Цель, Эффективность, Ограничение, Полезность), структурированный вокруг четырех сценариев (целевые предпочтения, эффективность действия, ненаблюдаемые ограничения и компромисс между затратами и вознаграждением), которые исследуют ключевые концепции базовой интуитивной психологии.
Мы проверяем АГЕНТ с помощью человеческих оценок, предлагаем протокол оценки, делающий упор на обобщение, и сравниваем две надежные базовые линии, основанные на байесовском обратном планировании и нейронной сети теории разума.
Наши результаты показывают, что для того, чтобы пройти разработанные тесты базовой интуитивной психологии на человеческом уровне, модель должна получить или иметь встроенные представления о том, как агенты планируют, сочетая вычисления полезности и основные знания об объектах и физике. и сравните две сильные базовые линии, построенные на байесовском обратном планировании и нейронной сети Theory of Mind.
https://www.tshu.io/AGENT//AGENT.pdf
AGENT: A Benchmark for Core Psychological Reasoning
Tianmin Shu, Abhishek Bhandwaldar, Chuang Gan