DiscoverMachine Learning Podcast#055 ML Илья Гусев. Как запускать большие языковые модели локально
#055 ML Илья Гусев. Как запускать большие языковые модели локально

#055 ML Илья Гусев. Как запускать большие языковые модели локально

Update: 2024-01-18
Share

Description

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!


Ссылки выпуска:


Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/)

Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/)

Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-generation-webui)

Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-generation-inference)

Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850)

Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_processing/81627)


Буду благодарен за обратную связь!


Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)


Мой телеграм для связи (https://t.me/kmsint)

Также со мной можно связаться по электронной почте: kms101@yandex.ru


Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)


Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Comments 
Top Podcasts
The Best New Comedy Podcast Right Now – June 2024The Best News Podcast Right Now – June 2024The Best New Business Podcast Right Now – June 2024The Best New Sports Podcast Right Now – June 2024The Best New True Crime Podcast Right Now – June 2024The Best New Joe Rogan Experience Podcast Right Now – June 20The Best New Dan Bongino Show Podcast Right Now – June 20The Best New Mark Levin Podcast – June 2024
In Channel
#065 ML Авторы курса MSU.AI. Зачем учёному ML?

#065 ML Авторы курса MSU.AI. Зачем учёному ML?

2024-11-1801:21:04

#064 ML Екатерина Кондратьева. ML в медицине и легко ли стать радиологом

#064 ML Екатерина Кондратьева. ML в медицине и легко ли стать радиологом

2024-10-2356:50

#063 ML Виталий Кулиев. А чё там по железу?

#063 ML Виталий Кулиев. А чё там по железу?

2024-10-0749:36

#062 ML Александр Резанов. Генеративный ИИ в компьютерном зрении

#062 ML Александр Резанов. Генеративный ИИ в компьютерном зрении

2024-09-2401:04:25

#061 ML Александр Алерон Миленькин. Надо ли строить бизнес вокруг ML (Про LLM, RAG-системы, насмотренность и виртуальных помощников)

#061 ML Александр Алерон Миленькин. Надо ли строить бизнес вокруг ML (Про LLM, RAG-системы, насмотренность и виртуальных помощников)

2024-08-2655:05

#060 ML Егор Самосват. Монетизация, рекомендации и при чем здесь ML

#060 ML Егор Самосват. Монетизация, рекомендации и при чем здесь ML

2024-08-1950:11

#059 ML Лаида Кушнарева. Алхимики, шаманы и жрецы современного DS

#059 ML Лаида Кушнарева. Алхимики, шаманы и жрецы современного DS

2024-04-1056:58

#058 ML Дмитрий Матвейчев. Компьютерное зрение в радиосвязи

#058 ML Дмитрий Матвейчев. Компьютерное зрение в радиосвязи

2024-03-3156:27

#057 ML Антонина Горячева. Как отвечать за весь ML в компании, чтобы все работало

#057 ML Антонина Горячева. Как отвечать за весь ML в компании, чтобы все работало

2024-03-0101:03:08

#056 ML Юрий Окуловский. Гаражные стартапы в условиях бигбиза

#056 ML Юрий Окуловский. Гаражные стартапы в условиях бигбиза

2024-02-0601:28:22

#055 ML Илья Гусев. Как запускать большие языковые модели локально

#055 ML Илья Гусев. Как запускать большие языковые модели локально

2024-01-1841:56

#054 ML Валерий Бабушкин и Арсений Кравченко. Как написать книгу об ML System Design

#054 ML Валерий Бабушкин и Арсений Кравченко. Как написать книгу об ML System Design

2023-12-3101:17:33

#053 ML Евгений Соколов. Как преподавать и изучать компьютерные науки

#053 ML Евгений Соколов. Как преподавать и изучать компьютерные науки

2023-12-2501:03:37

#052 ML Юрий Кацер. Анализ и прогнозирование временных рядов и можно ли зарабатывать с их помощью

#052 ML Юрий Кацер. Анализ и прогнозирование временных рядов и можно ли зарабатывать с их помощью

2023-12-1558:12

#051 ML Антон Чунаев. MLOps - что это, и почему MLOps это не DevOps

#051 ML Антон Чунаев. MLOps - что это, и почему MLOps это не DevOps

2023-11-2701:27:03

#050 ML Руслан Гончаров. Как современный дизайнер подчиняет себе искусственный интеллект

#050 ML Руслан Гончаров. Как современный дизайнер подчиняет себе искусственный интеллект

2023-11-1601:02:56

#049 ML Данила Медведев. Риски ИИ и будущие войны в когнитивном театре военных действий

#049 ML Данила Медведев. Риски ИИ и будущие войны в когнитивном театре военных действий

2023-08-0201:54:15

#048 ML Андрей Данильченко. Машинное обучение в геопоиске

#048 ML Андрей Данильченко. Машинное обучение в геопоиске

2023-07-0758:03

#047 ML Татьяна Гайнцева. О научной работе и будущем человечества в конкуренции с искусственным интеллектом

#047 ML Татьяна Гайнцева. О научной работе и будущем человечества в конкуренции с искусственным интеллектом

2023-07-0501:00:57

#046 ML Татьяна Гайнцева. Чего не хватает для AGI, как учиться в Физтехе, чтобы доучиться и почему преподавать - это круто

#046 ML Татьяна Гайнцева. Чего не хватает для AGI, как учиться в Физтехе, чтобы доучиться и почему преподавать - это круто

2023-05-3101:06:28

loading
Google Play
Download from Google Play
Castbox
Download from App Store
usUnited States
00:00
00:00
x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

#055 ML Илья Гусев. Как запускать большие языковые модели локально

#055 ML Илья Гусев. Как запускать большие языковые модели локально