Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.


Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka
Telegram-канал: https://t.me/podlodkanews
Страница в Facebook: www.facebook.com/podlodkacast/
Twitter-аккаунт: https://twitter.com/PodcastPodlodka

Ведущие в выпуске:
Женя Кателла, Андрей Смирнов

Полезные ссылки:

Illustrated Transformer
https://jalammar.github.io/illustrated-transformer/

Attention is all you need
https://arxiv.org/abs/1706.03762

Illustrated BERT
https://jalammar.github.io/illustrated-bert/

GPT-family models overview
https://towardsdatascience. com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/

A bit of overview of tokenization
https://huggingface.co/learn/llm-course/en/chapter6/1