September 26th, 2020

kant_mortal

Что не хватает ИИ?

Это пост-вопрос, в нем я попробовал сформулировать основные проблемы нейросетей, решение которых может сделать прорыв в технологии ИИ. В основном речь о сетях, что работают с текстом (GPT, BERT, ELMO и т.п.). Как известно, хорошая формулировка задачи — половина ее решения. Здесь только формулировка проблем. Буду рад мнению по их решению.

Итак,
1. Самое казалось бы простое, но нейросеть не учитывает факты. Она учится на примерах, но не может к ним обращаться в ответе. «Это было вчера» — почти невозможный ответ. Нейросеть выучивает общие факты, но не знает о них. На когнитивном языке это называется семантической и эпизодической памятью. Решение может есть простое, но нейросеть — классификатор, а прецеденты не могут быть классами, противоречие. Очень часто нужен именно такой ответ от ботов, они очень плохо работают с фактами, если речь не о шаблоном «поставь будильник на… — на сколько ты по ставила будильник?». Проблема усугубляется тем, что всегда есть исключения, которые не может учитывать сеть, если у нее не было достаточно примеров с исключением. А если примеров достаточно — это не исключение. В общем, NN может сказать, что это шляпа, но не может сказать, какая шляпа моя (был только один пример).
Collapse )