Определены фундаментальные границы сжатия информации в языковых моделях

МОСКВА, 9 июня. /ТАСС/. Исследователи из России и Великобритании обнаружили, что большие языковые модели способны в теории "сжимать" текст длиной в 1 500 слов в один вектор - набор чисел, который языковая модель понимает и может использовать для восстановления исходного содержания. Понимание этого позволит улучшить работу существующих и новых систем ИИ, сообщила пресс-служба Института искусственного AIRI.