Большие Языковые Модели в CS50

Гарвардский университет добавил в свои знаменитые лекции по Computer Science CS50 лекцию, посвященную большим языковым моделям. Лекцию читает доктор Мэтт Велш.

Лекция рассчитана на широкий круг зрителей, в ней нет ни одного сложного термина. Эта лекция будет понятна даже для вашей бабушке!

На волне хайпа эта лекция очень бысто стала популярной. Многие кинулись обсуждать некоторые выводы Мэтта, вроде того, что программирование больше никогда не будет прежним и мы перестанем писать алгоритмы, так как языковые модели будут справляться с этим лучше людей.

Однако мне, почему-то, показалось интересным другое его утверждение. Примерно на временной метке 47:19 на доске спикера написано: "Nobody understands how large AI models works" - "Никто не понимает как большие языковые модели работают". И это то, что меня больше всего поразило в этой лекции.

Я то надеялся, что здесь мне наконец объяснят как работают большие языковые модели. На каком этапе вся эта мешанина тензоров и другой страшной математики превращается в осмысленную речь, а оказалось, что никто на этой планете этого не понимает!

И вот в этой новой реальности нам теперь предстоит жить: если раньше ученые не понимали как работает, например, квантовая физика, то теперь и инженеры признают, что они не понимают как работают машины, которые они создают... Печаль...