DiscoverОпівночні Балачки
43 Episodes
Reverse
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-1:16 Інтро
1:17-4:35 Як проходить дизайн-інтерв'ю? Мета-кроки, які повторюються.
4:36-7:09 Особливість інструментів для дизайн-інтерв'ю. Усякі https://excalidraw.com/, https://miro.com/ і подібне. А також варіант для багатих – беріть планшет
7:10-9:54 Основні аспекти дизайн інтерв'ю. Компоненти і їх взаємодія. Збереження даних. Нефункціональні вимоги, де довгий перелік *bility штук
9:55-12:31 Чи будуть на дизайн-інтерв'ю питати про внутрянку Postgres?
12:32-14:06 Можливі варіації дизайн задач. Питання щодо речей, про які ви не думаєте в стартапі на 3 юзера
14:07-21:49 Як готуватися до дизайн інтерв'ю? bytebytego, donnemartin/system-design-primer. Блоги github, discord. Блог AWS Solutions. https://www.educative.io
21:49-25:50 А тепер насправді, як готуватися. Dry-run інтерв'ю. І в цілому про важливість говорити слова ротом. ExponentTV на ютуб
25:51-28:23 Хот-тейки від Ігоря. 7 DBs in 7 Weeks.
28:24-33:09 За що можуть "віднімати бали" при проходженні. Чи варто казати, що юзатимеш технологію, з якою не знайомий? Показуйте ініціативність. І не сперечайтеся
33:10-36:57 Висновки. Що прикольне/не прикольне в дизайн-інтерв'ю. Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
В гостях Дмитро Войтех, СТО @ S-PRO
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
00:00 - 00:56 – Intro
00:57 - 02:50 – з чого почати побудову recommender system; як будувати baseline моделі
02:51 - 04:10 – говоримо про бейзлайн систему рекомендації для зображень
04:11 - 7:30 – говоримо про бейзлайн систему рекомендації для текстових даних; Bag of Words; BM-25
7:31 - 11:15 – які хороші методи для отримування вектора ознак для тексту? TF-IDF
11:16 - 14:47 – проблема холодного старту (Cold Start)
14:48 - 20:10 – моделі рекомендацій на основі механізму зворотнього зв’язку; кенселінг за дієвидло; колаборативна фільтрація – @benfred/implicit, улюблена Alternating Least Squares у каглерів
20:11 - 22:06 – знову говоримо про cold start; маленький кейс megogo
22:07 - 30:25 – Word2Vec, чи то пак Entity2Vec — як оригінальний NLP алгоритм можна використовував для побудови рекомендацій
30:26 - 33:20 – векторна арифметика на елементах вашої системи — як віднімати та додавати зображення та тексти один від/до одного; фантазуємо, які пошукові системи потрібні людям; слухайте подкаст з Олесем Петрівом, де космічні кораблі подорожують просторами ембедінгів
33:21 - 36:53 – рекомендації на базі графових нейронних мереж (GNN); чому це можна розглядати як логічне продовження моделей на базі Word2Vec; кейс AliBaba;
36:54 - 39:45 – чим графові нейронні мережі схожі на конволюційні; 3b1b про конволюції
39:46 - 45:50 – як використовувати Mixture of Experts моделі в рекомендаціях; пейпер Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer; згадуємо symbolic AI та експретні системи
45:51 - 51:56 – рекомендаційні системи на основні архітектури нейронних мереж Трансформер; паралелі з Deep & Wide model; слідкуйте за https://eugeneyan.com/
51:57 - 1:01:46 – алгоритми Learning to Rank (навчання ранжуванню) — побороли recall, починаємо бороти precision; поточкові, попарні та помножинні підходи; RankNet; LambdaMart
1:01:47 - 1:06:19 – рекомендації на базі моделі CLIP - Contrastive Language–Image Pre-training; як тюнити CLIP
1:06:20 - 1:07:28 – знову фантазуємо про просунуті пошукові інтерфейси; reverse image search
1:07:29 - 1:11:40 – як використовувати LLM для рекомендацій? Забудьте про ембеддінги – несемо prompt engineering в маси!
1:11:41 - 1:17:18 – крейзі ідеї в світі LLM – ChatGPT розкаже вам, як спати та бігати, враховуючи дані з вашого Apple Watch; як LLM обробляє великі дані через маленьке контекстне вікно
1:17:19 - 1:22:13 – Підбиваємо підсумки; перераховуємо теми в галузі рекомендаційних систем, про які ми НЕ поговорили, але які варто подосліджувати. Коли повернеться подкаст?
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
В гостях Дмитро Войтех, СТО @ S-PRO
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-0:30 Інтро
0:30 - 1:18 — рекомендаційна система для банок на донати - поповнюйте рахунки Повернись Живим
1:19 - 5:45 — Дмитро (ex-Giphy, CTO@S-PRO) розказує, чому він хороша людина на поговорити про рекомендаційні системи
5:46 - 8:10 — чутки про те, в який ML/AI хочуть вкладати гроші європейські компанії
8:10 - 11:43 — визначимо проблему рекомендацій, говоримо про задачу отримання інформації (information retrieval)
11:44 - 12:20 — чому задачу рекомендацій варто розбивати на підсистеми
12:21 - 17:15 — candidate generation – бази даних, векторні індекси, текстові індекси
17:16 - 19:20 — що таке precision та recall, скільки потрібно сіньйорів…
19:21 - 22:20 — чому фільтрувати кандидатів в рекомендації є хорошою ідеєю
22:21 - 30:50 — на чому тренувати рекомендаційну систему: не забудьте полайкати наш подкаст на вашій улюбленій платформі!
30:51 - 40:45 – для чого потрібні офлайн та онлайн метрики; роздумуємо про інтуїцію метрик для оцінки якості рекомендацій
40:46 - 46:50 — чому Mean Reciprocal Rank (MRR) — ймовірно, не найкращий вибір для метрики, говоримо про Expected Reciprocal Rank (ERR) — чому структура гріда рекомендацій має значення
46:51 - 47:45 – Click Through Rate (CTR)
47:46 - 49:55 — говоримо про customer satisfaction та функції втрат для тренування рекомендаційної системи
49:56 - 55:28 — проблема feedback loop, exploration vs exploitation, рандомізуємо рекомендації; багаторукі бандити
55:29 - 57:28 — робимо паузу; оутро і канал 'Kyiv Data Science’; чекайте продовження в наступному випуску!
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-2:43 Інтро про закони і як в майбутньому кіберполіція буде накривати людей, що генерують меми з метою розповсюдження
2:44-6:44 Aritificial Intelligence Act у ЄС 11 травня перейшов на наступний етап законотворчого воркфлоу. Що далі?
6:45-12:45 Що забороняють законом? (Текстовий переказ від the verge). Кейси ШІ на біометричних даних для високоризикових ситуацій – забороняємо.
12:46-15:45 Реєстр високоризикованих систем з використанням ШІ. Приймаємо консент-попапи при вході в ЖК за парканом
15:46-21:08 Змусимо всіх авторів великих моделей оцінювати ризики (і розповідати про датасети). Чим це загрожує Google і OpenAI? Прогнозуємо черговий бум у сфері дата провайдерів
21:09-23:35 Якщо дані – дуже важливі, то буде розквіт… барж з даними? … скоріше, про федеративне навчання і data clean rooms
23:36-27:03 Тут про правове поле в космосі, нейтральні води, застосунки з темних заковулків і першу космічну війну
27:04-27:31 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-0:49 Intro і пояснення існування 2ої частини
0:50-2:25 Hypothesis для property-based testing на python. Неймдропінг atheris
2:26-2:52 cleder/awesome-python-testing і розділи, які ми вирішили скіпати при записі
2:53-11:17 Тестимо швидкодію ваших застосунків за допомогою locust. “Для всього іншого є timeit” © JMeter. Набір утиліт для профайлінга з HTML репортами – elastic/perf8
11:18-11:57 Budget testing (різновид performance testing, але про нього складно гуглити, суто подібне може робити для вас pytest-benchmark)
11:58-14:42 Data tests, чому їх ніхто не пише і пошук того самого апологета дата тестів в коментарях під випуском
14:43-15:20 boxed/mutmut – щось і для мутаційного тестування є на пітоні
15:21-17:10 Остання настанова: підглядайте в опенсорс (і може побачити там matrix) і вчиться у людей
17:11-17:48 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-2:29 Інтро. Мультики, метасюжети і тестування на пітоні
2:30-5:15 Тест-ранери: вбудований unittest, класичний pytest. На додачу tox. Олдскульні nose2 і nose. Зовсім зелений green і свіжий швидкий hammet (мову якого конфузив із-за rye)
5:16-6:37 Як може тест-раннер на python бути швидшим за pytest? Rust скоро з’їсть всі утиліти
6:38-8:00 pytest-parallel і pytest-xdist для паралельного запуску тестів
8:01-19:47 Чому в rspec фікстури кращі, ніж фікстури в pytest? Як жити з pytest в такому випадку? Пишемо більш компактні тести за допомогою fixture і parametrize
19:48-23:17 Писати тести функціями чи класами в pytest? FunctionTestCase в unittest
23:18-29:37 Чому б не включити pytest в стандартну бібліотеку? Не забудьте чекнути, які опції можна передати в CLI пайтесту
29:38-32:14 Скоро нам всім заборонять писати тести без assert’ів. Про пошук тестів pytest’ом і unittest discover
32:15-32:38 Вбудовані фікстури pytest
32:39-35:00 Про генерацію репортів і тест-каверейдж
35:01-37:45 freezegun для підміни часу для тестів. unittest.mock#patch для тимчасової зміни поведінки стороннього коду
37:45-38:46 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:0:00 - 0:1:39 Intro. Про що цей і наступний епізод і кому це може бути корисним
0:01:39 - 0:05:38 Окрім співбесід, для чого корисно знать щось про тести?
0:05:39 - 0:09:10 Піраміда тестів: юніт - модульні - інтеграційні - e2e
0:09:11 - 0:20:05 Чи треба юніт-тести? Сваримо карго-культ мокання всього підряд
0:20:05 - 0:20:58 Додаємо кволіті інженерам посадових обов’язків лише для того, щоб одразу забрати. Що у нас роблять engineers in testing
0:20:59 - 0:23:58 Моки, стаби і спаї. Стаття Мартіна Фаулера. Стаби на фікстурах (які пояснили трохи по іншому канону, але теж може бути)
0:23:59 - 0:27:26 Анатомія тесту: сетап - тест - тірдаун. Що ваші інструменти роблять за вас і за що варто переживати?
0:27:27 - 0:38:01 Test Driven Development (TDD) – інженерна практика. Метагейм і внутрішні інкрементальні зміни. Перший тест, який варто писати в *будь-якому* проекті. Протіп як фіксати баги. Намагаємося безуспішно навертати людей в церкву святого TDD
0:38:01 - 0:40:46 Behavior Driven Development (BDD) – про підхід щодо походження і формату вимог при роботі. Cucumber і Gherkin. Given-when-then і подібні тестові сценарії. Згадуємо capybara
0:40:47 - 0:44:54 Тест ранери і тестові фреймворки. Інструменти для мов, де це не вбудовано по замовчуванню, як в Go.
0:44:55 - 0:46:31 Штучні дані для тестів, умовний faker під вашу мову програмування
0:46:32 - 0:53:50 Тестуємо API сторонніх сервісів: стабити ваш клієнт запитів чи піднімати власну репліку? Існує проміжний варіант: передзаписані відповіді за допомогою vcr. Глобальні проблеми зламаних чужих АПІ, особливо які не були SaaS’ом раніше
0:53:51 - 1:00:04 А як базу тестувати? За допомгою контейнерів! MinIO, Google Cloud SDK, LocalStack. Розбираємося з docker-compose’ом і depends_on. In-memory бази даних для тестів
1:00:05 - 1:02:47 Мутаційне тестування – це що таке? Доводимо суть code coverage до межі. Не втримуємося і вперше за епізод згадуємо ChatGPT
1:02:48 - 1:04:25 Property-based testing і QuickCheck. Coq і Agda для красного слівця
1:04:26 – 1:06:52 Outro. Пишіть тести! А також коментарі
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:01-3:10 Інтро. Наші перші код-рев’ю.
3:11-5:43 Чи є code review обовʼязковою практикою?
5:44-9:50 Навіщо робити код рев’ю: обмінюємося знаннями. Життя буденне при дистанційній роботі. Pull request як арена для молодих челенджити старі шляхи написання коду
9:51-11:20 Навіщо №2: шукаємо дефекти і налагоджуємо стиль, рев’ювлємо дизайн рішення
11:21-12:28 Що є результатом код рев’ю? Хто мусить мерджити пулл реквест?
12:29-12:49 Навіщо №3: шаримо відповідальність
12:50-13:24 Навіщо №4: покращуємо здатність естімейтити в майбутньому
13:25-15:18 Гітхабівські “пулл реквести” (PR) проти Гітлабівських “мердж реквестів” (MR)
15:19-17:05 Недолік рев’ю “не всі дефекти знаходять”. Google про code review у статті (але про 1/6 була брехня, Сашко перепрошує, знаходять “скільки знаходиться”, якщо говорити про стати, хіба у статті 2014 від MS було про “в середньому 4 дефекта в рев’ю”, але там все складніше і в ноутсах не перекажемо)
17:06-18:39 Ще недолік: довше закриваємо таски, що з цим робити?
18:40-20:57 Вирішуємо проблему код рев’юверів “не розумію, про що ця зміна?”
20:58-22:34 Ділимо фідбек на важливий і неважливий, а також питання. А також про комунікацію англійською.
22:35-23:57 Золоте правило рев’ю “Не задовбуйте”. Тудушки і тікети “на потім”. Допомагайте молодим
23:58-26:22 Як імплементувати цей поділ на популярних платформах для код рев’ю
26:23-29:11 А ще, можна коментарями надавати контекст. Ну і робіть самі собі code review
29:12-31:15 Якщо хтось створив і змерджив PR на вихідних – чи треба його пост-фактум рев’ювити?
31:16-35:59 На що найбільше спрямовувати увагу при код-рев’ю?
36:00-37:50 Чи є прохання написати тести порушенням заповіді “не задобвуй”? Без тестів – нікуди
37:51-41:34 Скільки рев’юверів треба на 1 пулл реквест? Знову посилаємося на статті від Google & MS. Як працюють CODEOWNERS у Github
41:35-43:38 Галопом по Європах: автоматизуємо тривіальне, де рев’ювити дизайн рішення і як довжина ПР впливає на тривалість рев’ю. Про кількість рядків за годину рев’ю посилаємося на smartbear
43:41-45:06 І взагалі, не напружуйтесь. Бот експірієнс інженери ніколи не думають про перфокарти
45:07-45:36 Як зменшити кількість рев’ю? Парне програмування. Рев’ю сесії
45:37-46:18 Gitlab і їх рулетка для рев’юверів (а також хай тут буде їх матеріали про код рев’ю)
46:19-47:50 Чи можна було б жити без код рев’ю завжди? Тести, ШІ і nocode
47:51-50:10 Не забувайте, що з того боку – жива людина
50:11-51:51 Outro, робіть код рев’ю цьому випуску і не будьте токсіком. Наступного тижня відпочиваємо
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-2:24 Інтро. Інтернет – AI психлікарня. Bard Beta, LLAMA, Alpaca. ChatGPT Plugins, Copilot X
2:24-4:34 Copilot X і голосове управління. Пора вчитися робити код-рев’ю
4:35-9:31 Відкритий лист щодо паузи в розробці моделей + думки Елізера Юдковського ака автор Harry Potter and the Methods of Rationality. Давайте бомбити центри скупчення GPU. Генетично модифіковані китайські діти. Що робитемимо наступні 6 місяців?
9:31-14:44 Вірите в небезпеку ШІ? А ковід щеплення зробили? Чи має сенс зупиняти поступ науки? Читайте Анафему.
14:45-19:08 Як часто ми зможемо перевчатися на фах, який ще не встигли автоматизувати? Чому self-driving cars можуть вбити міста в американській глибинці? Які галузі залишаться з нами за версією форбс? Що тут, знову чорні лебеді?
19:08-19:59 Що будуть робити консерватори? Час для нових амішей
20:00-22:00 Які професії залишаться в майбутньому? Bloomberg і їх власна GPT модель. Linus Tech Tips он взагалі на фермі працюватиме
22:00-24:36 Але це все перестане працювати, як ШІ вийде в офлайн. OpenAI інвестував в 1X. Замикаємо коло історії, що почалося в Дармуті і робота Shakey. Інший варіант впливу на оффлайн світ – ШІ проектує оффлайн агентів
24:37-30:58 ШІ нас не вб’є. Але може зробити боляче, дивіться Чорне Дзеркало. ІПСО від ШІ, як спосіб впливу на людей. Чи врятують нас Knowledge Bases? Де GPT постаріше зберігає факти? (публікація / відео)
30:59-36:30 Живучи в світі дезінформації, як верифікувати, що ти спілкуєшся з людиною? ChatGPT може бути вашим wingman в тіндері. Чекніть, чи зможе людина відповісти на питання із серії Winograd Schema
36:31-40:18 Щось тут все заскладно, але для чого нам були ці всі гучні заяви про заборону тренувань моделей? Але чомусь є і гарні новини
40:19-42:52 Як навчити ШІ знати все про речі на вулиці? Мультимодальний ШІ вже не за горами
42:53-46:20 Для справжнього ШІ нам треба зворотний зв’язок. Auto-GPT.
46:21-48:22 Змушуємо ChatGPT будувати дерево знань. Проблеми подібних конструктів
48:23-56:14 Справжній no code з ШІ. Як верифікувати програми, чий код ніхто не рев’ювив? Magi як представник TMR. Магічні декоратори ai_fn
56:15-1:01:00 Пишемо петицію, щоб у всі ігри додали побільше нейроночок. AI Dungeon. Симуляції екосистем в STALKER, що так і не побачили світ
1:01:01-1:04:04 Моделі психологів будуть лікувати людей, що закохуються в ігрові нейроночки. Рекомендуємо "The Discrete Charm of the Turing Machine," by Greg Egan (тут збірка) і “Я, робот” Азімова
1:04:05-1:05:03 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-0:42 Intro та дисклеймер
0:43-2:10 Від Notion’а до Zettelkasten. Чи зміниться це з появою чат-асистентів? Про це і поговоримо
2:11-4:42 Чи веде Ігор свою базу знань? Пошук в Notion – не як в github’а
4:43-7:42 Як справи з нотатками Дениса? Markdown файли і zettlr. Наступна віха розвитку – Obsidian. Тут вже і zettelkasten можна робити. Фрактальна капуста
7:42-9:04 Чому Денис більше не буде вести свою knowledge base?
9:05-9:59 Чим корисні короткі замітки для створення контенту?
10:00-11:47 Хронологічний journaling як альтернативний підхід
11:48-13:10 Дампаємо посилання з тегами і коротким описом. Яким міг би бути ідеальний нотатник для такого?
13:11-15:29 Але поки що, головна проблема – поганий пошук по цьому всьому. Мультимодальний пошук. Коротка лекція про японську мову
15:30-19:16 Індексуємо все-все-все, що ви робите за комп’ютером. І згадуємо “Чорне Дзеркало” (S4E3). Пора робити на GPT-4. А може і unCLIP заюзаємо, як промпт-інженери розберуться, що писати
19:16-21:36 Чи треба нам локальний пошук, якщо можна затьюнити пошуковий рушій? А також гібридні підходи
21:36-22:15 Згадуємо Apple і їх AI помічника
22:15-24:12 Потенційна небезпека сенсативних даних в чат-системах. Про OpenAI і кенійців. Фантазуємо, як це робити сек’юрно
24:13-27:43 Саша і його нотатки. Глобальний gitignore. You.com і їх чат
27:43-28:35 Всі біжемо під замочок і накопичуємо замітки (поки Маск все не поламав)
28:36-33:17 Рівні користі інформації. Лайфхаки збереження інформації. Шукаємо стартап зі скріншотами і чи то отримуємо ефект Мандели, чи просто інтернету пороблено
33:18-34:15 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-0:40 Інтро
0:41-6:51 Питання слухачів №1: python і приватні пакети в poetry. І взагалі про приватні реєстри пакетів на CI. І як на гітхабі достукатися до пакету в приватному репозиторії
6:52-8:21 Питання/уточнення слухачів №2: ще є pdm-project/pdm для залежностей
8:22-10:29 Повертаємося до deploy keys і як webfactory/ssh-agent це робить для декількох репозиторієв
10:30-12:57 Питання слухачів №3: “так і що мені юзати?”
12:58-17:43 Після створення проекту, що в першу додавати? make і task. Заздримо npm з їх scripts
17:43-19:52 Менеджимо автоматичні перевірки при спробі закомітити за допомогою pre-commit
19:53-20:56 Коли ваш інструмент не вміє в dev mode, допоможе watchdog
20:57-23:23 Коміти по конвенціям за допомогою commitizen
23:24-30:03 Ваші улюблені інструменти для перевірки/покращення коду від PyCQA: flake8, pycodestyle, pyflakes, autoflake, pep8-naming, isort, black. І новий мегашвидкий ruff. Як цими зв’язками користується Денис і flake8-print – золото
30:04-31:47 Шукаємо стерво код за допомогою vulture. Bandit для сек’юріті перевірок і чому потрібні baseline’и
31:48-32:49 Hadolint для докерфайлів, для shell скриптів – shellcheck, helm lint + helm-docs
32:50-32:55 mypy чим корисна типізація, але чому ж так важко почати?
35:56-38:28 tox і матричні білди
38:29-39:09 Pylance, що ґрунтується на pyright
39:10-39:49 Editorconfig для фіксації вигравшої сторони в суперечці “таби чи пробіли”
39:49-40:40 Запускаємо проект в контейнері, щоб команді було простіше
40:41-42:03 Інтегруємо платформи де ви правите код чи раните тести з таск-трекерами і месенджарами – обов’язково для ВСІХ agile команд. Swarmia
42:03-43:07 Включаємо нагадування “онови залежності”: dependabot, snyk
43:08-45:50 Outro. Закиньте грошей ПЖ
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-2:50 Intro. Спеціалізовані і генералізовані системи пошуків.
2:51-9:12 Чому у Github була найгірша система пошуку? Натягуємо Elastic на код, який не є натуральною мовою. BM25 “на пальцях”. Ну і неймдропаємо Tf-Idf
9:13-12:26 Повертаємося до оригінального блогпосту. Як весь код вліз в 25Тб? І інші цифри для оцінки масштабу розміру пошукової бази
12:27-15:02 Які кола мікросервісів проходить ваш код перед тим, як потрапити в видачу пошуку? Самописні бази на такому швидкому і безпечному Rust, а також ліричні відступи з шеймінгом людей за спадок на Golang
15:03-22:26 Що в цій базі? Інвертовані індекси, щоб не лупати днями всі документи в циклі. Триграми з прикладами “📃” ➡️👨⚕️,うく,💦. Як ділити величезний індекс по різних серверах? Трохи про шардінг, але може краще почитайте “кабанчика”. PGTune
22:26-25:24 Як відбувається безпосередньо пошук?
25:25-30:17 Невеликі, здавалося б, оптимізації, які значно покращували все: мінімальне остовне дерево, k-мердж списків, … Зато за 36 годин все переіндексовують з нуля, як треба буде
30:18-34:25 На чому все це крутиться? І навіщо взагалі треба пошук по коду? Даєш ReversoContext для коду!
34:26-35:40 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-1:53 Інтро, про що випуск і використовуємо в одному реченні Starlink і Python
1:54-2:22 Закриваємо тему pip
2:23-7:37 Стильний poetry, зробить все як у найкращих пакетних менеджерів, як у мові програмування сина маминої подруги. Які проблеми вирішує лок файл?
7:38-10:45 Але і з poetry бувають проблеми…
10:46-17:22 Чи перейдуть всі ваші улюблені бібліотеки на poetry, який стане стандартом в пітоні? Проводимо паралелі з glide
17:22-18:58 pip-tools і саме pip-compile звідти, як корисна виручалочка при великому наборі різних опціональних бібліотек
18:59-20:02 Для менеджменту версій пітона, pyenv – молодець. asdf + venv теж ок
20:02-21:15 pipenv - це не про нас
21:16-22:27 conda – ліпший бро дата-саєнтистів, і інколи – маководів
22:28-23:12 Чи існують гайди як будувати пакети за допомогою conda? Питаємо у вас, розкажіть нам в коментарях!
23:12-24:19 Outro. Пам’ятайте: кожен ваш коментар нині – +1 тиждень до існування цього подкасту
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-2:27 Інтро. ChatGPT в Україні, історії про швайнокарасів і r/bing
2:28-6:12 Юзаємо ChatGPT як бекенд. І Copilot + gptcommit для менш радикально налаштованих забирати хліб у розробників. Референсимо Януковича
6:13-6:58 Чекаємо ще рідше побачити живу людину у чаті служби підтримки
6:59-10:39 Журналісти і їх ґайпожерство на темі ШІ. І описуємо найшвидший спосіб ChatGPT зменшити розмір людства
10:40-16:18 Як GPT3 в Square аналітиком працював. Світле майбутнє, де запити в сховища даних можна писати зрозумілою мовою. Чат модель пошуковика Bing, яка не завжди дружить з реальністю. І попередження аналітикам
16:18-16:55 Наші аналітики передбачають нові продукти Apple
16:56-18:39 Langchain додав wolfram alpha інтеграцію. ChatGPT як універсальний перекладач між різними структурованими мовами
18:40-21:52 “Уяви, що ти – Х” для ChatGPT. Корисний промпт-інжиніринг чи експлоіт?
21:53-22:41 Люди, що заробляють на GPT-3 + StableDiffusion на Amazon
22:42-26:23 Чи зможе геймерський ноут запустити ChatGPT? Згадуємо Jim Keller
26:23-28:27 Що робити, якщо API запити до OpenAI задорогі? GPT3 вдома: EleutherAI/gpt-neo-1.3B / GPT2 / PaLM(на жаль, наче закритий, щось наплутали) / CTRL / BLOOM / OPT
28:28-30:00 Відео про побудову GPT та сам проект nanoGPT від Andrej Karpathy
30:01-32:30 Два слова про відмінність GPT і ChatGPT. Reinforcement learning with human feedback
32:31-33:51 Outro
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:01-1:09 intro
1:10-3:26 gRPC очима senior JSON девелоперів. Які недоліки у класичної передачі даних за допомогою JSON’ів по REST’у?
3:27-8:06 gRPC = HTTP/2 + ProtoBuf. Машинерія, що ув’язує всі ці речі між собою. Зрозуміла оф дока
08:07-10:16 - плюс №1: перевикористання прото інтерфейсів різними командами
10:17-10:54 - плюс №2: загальна швидкодія
10:55-12:50 - плюс №3: експресивна комунікація можливих помилок
12:51:15:51 - мінус №1: слідкування за схемою – це не завжди просто. Розповідаємо, як оновлювати схеми на CI і чому не вийде так просто переіменувати поле.
15:52:16:35 - Чи допоможуть тут schema registry? Відкрите питання 😊
16:36-19:19 - мінус №2: підвищена складність debug’у. Клієнти: grpcurl, класичний postman, insomnia. І мимохіть згадуємо чим Linux ліпший за Windows
19:20-21:21 - (формальний) мінус №3: ваша схема не буде робити більшість валідацій, які ви очікуєте, будьте готові імплементувати їх самі
21:22-23:36 - (пітонячий) мінус №4: генеровані класи по вашим прото читати ви не захочете, а IDE не обов’язково зможе підхопити і правильно підказувати. [Коли вже здогадаються pydantic туди додати?]
23:37-24:03 - Міряємо перформанс за допомогою ghz
24:04-27:34 - Балансування навантаження в k8s кластері
27:35-29:31 - outro і місце для ваших коментарів
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут (може) будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00 - 0:45 Нове інтро + про цей "сезон" + про що цей випуск
0:45 - 4:16 Сценарії деплою бази даних на вашому проекті, від "дешевших" до дорожчих
4:16 - 5:38 Рух serverless і чому він дібрався і до баз даних. AWS Aurora як приклад
5:38 - 7:12 Які проблеми селфхостед постгресу ви оминаєте з serverless базою. Чи потрібно всім знати тюнінг?
7:12 - 9:30 Чи не стане вендорлок проблемою? Кубернетіс вже занадто дорого для бізнесу? Клауд рішення, що приносять value з першої хвилини запуску
9:30 - 12:31 Serverless не лише про великі дані, до речі. Параметр бази, який всі вічно забувають апдейтити і чому це не проблема для CockroachDB. Ще трохи, і AWS здогадається тарифікувати бази як djuice у 2003ому
12:31 - 15:07 Заплатив за cockroach, а як його в кластер запхати? А ніяк, платіть за Aurora. Слоупок коментарі про кубернетіс
15:07 - 17:05 Нові можливості, які відкривають serverless бази. Болі time-series баз. Amazon Timestream
17:05 - 20:14 Cloudflare і їх хмарні функції. А також їх D1 – серверлес сховище даних. Обіцяні посилання на проекти, базовані на sqlite: rqlite, duckdb
20:14 - 21:40 Повертаємося до Aurora і її спільні риси з D1. Доповідь про Aurora як геній інженерної думки. І чому це поки що не безкоштовно
21:40 - 22:50 Аутро
Долучайтесь до наших соцмереж:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
В гостях – Дмитро Ткаченко
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
0:00-0:30 Дисклеймер
0:30-2:05 Книга з Амазона за 23 млн $. Про що цей епізод
2:05-5:20 Динаміка E-commerce останніми роками
5:20-11:36 E-commerce агрегатори: що це і як вони працюють?
11:36-14:28 Як агрегатори обирають, які бізнеси придбати? Тех нічні виклики аналітики
14:28-20:56 Як нам визначити, за якою ціною продавати наш продукт: базові економічні матерії
20:56-23:22 Про що мовчить базова модель: зміни реального світу з часом та поведінкова економіка
23:22-28:44 Як максимізувати прибуток? Відповідь зарита десь у еластичності попиту, але спочатку визначимо, що це таке. Еластичні і нееластичні товари
28:44-32:24 Але як порахувати еластичність попиту? Чому просту теоретичну формулу не так-то і просто обрахувати на практиці?
32:24-36:26 Отримуємо дані для обрахування еластичності: A/B тести і "натуральні" експерименти. Агрегація сигналів по товарам тієї ж категорії
36:26-38:40 Знову про економічну теорію: що таке крос-еластичність
38:40-48:17 Розчехляємо ML: чим корисні CV і NLP для цих задач? Моделюємо еластичність попиту. Лінійна регресія. Causal inference. Confounding factors
48:17-1:00:20 Fixed effects model. Demeaning / log-трансформації. Як від коефіцієнтів моделі переходимо до еластичності попиту
1:00:20-1:09:20 От порахували ми еластичність попиту, що далі? Визначення оптимальної ціни. І як для різних обставин ми маємо різні точки оптимальності
1:09:20-1:10:00 Інтерлюдія про посилання, що можна знайти в нашому телеграмі
1:10:00-1:22:08 Як визначати якість наших моделей? Хитрощі для проведення A/B тестів з цінами
1:22:08-1:29:10 2х ступеневий підхід для кейсів, коли даних недостатньо, а вирахувати еластичність хочеться – R-learner підхід
1:29:10-1:31:15 Аномальність історичних даних останніми роками
1:31:15-1:34:20 Чому варто почитати оригінальні пейпери?
1:34:20-1:36:47 Outro
1:36:49-1:39:39 Post-credits: підручник дрозофіл за 23 млн $
Долучайтесь:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
- 0:00-1:15 Intro
- 1:15-16:58 Copilot і сингулярність. Багато про восьминогів і жодного слова про октокотів. Ruby, Cucumber і Gherkin як ідеї, що опередили свій час.
- 16:58-18:25 Питаємо у ChatGPT як вирішувати робочі задачі.
- 18:25-20:20 Знову про Copilot і важливіть верифікації нагенерованого коду
- 20:20-21:25 Tabnine і дуже короткий досвід з цією альтернативою Copilot
- 21:25-23:30 Тренди дата інжиніринг року: SQL в кожен двір!
- 23:30-28:17 Проходимося по тулах, щоб просто робити інжест, а там і до аналітики недалеко: domo, fivetran, airbyte. Чи стало легше будувати пайплайни?
- 28:17-31:25 Опенсорсний dbt і секрет їх бізнес моделі
- 31:25-39:00 2022 рік не став роком лінуксу на десктопах. Скарги на аудіо, зовнішні монітори і ранодмні баги. А ще і iOS туди ж.
- 39:00-43:04 Листи в "Пізнайко": чому в світі більше одного Amazon сайту? І куди діваються рев'ю при перемиканні країни в апсторі?
- 43:04-45:24 EKS > ECS. А також інші способи ранити код в клауді.
- 45:24-47:28 Outro. Всіх з Новим Роком!
Долучайтесь:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stasgavrylov
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
00:00-01:43 Інтро.
01:43-08:53 Пришвидшення Python з новим релізом. Зменшення кількості фреймів і інлайнінг деяких функцій.
08:54-15:19 Ще про швидкодію. PEP 659 пришвидшення певних операцій над специфічними типами даних
15:19-17:01 Марк Шенон і його план про пришвидшення Пайтону
17:02-20:36 PEP 657 Більш дружні повідомлення про помилки
20:36-27:05 PEP 654 ExceptionsGroup ака дерева помилок
27:05-32:14 PEP 646 Варіадичні Дженерики
32:14-35:48 PEP 655 необов’язкові поля у typing.TypedDict
35:48-45:23 Тайпінги і асінкайко - це милиці? По-черзі бомбимо на пітон.
45:23-46:43 PEP 673 - продовжуємо про тайпінги. Новий тип Self
46:43-48:21 PEP 675. Arbitrary Literal String Type
48:21-49:07 PEP 681. Data Class Transform
49:07-52:43 PEP 680 стандартний парсер TOML
52:43-56:04 Зміни в асінкайоу: таск групи і людьскі таймаути
56:05-57:15 Нарешті дефолтовий Str + Enum = StrEnum
57:17-58:22 Атомарні регексп групи
58:22-1:00:14 Що подеприкейтили?
1:00:14-1:01:48 Outro
Долучайтесь:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stas_gee
🔞 Тут будуть матюки 🔞
Робочі посилання і коментарі в каналі https://t.me/midnight_chatter
В гостях – Ярослав Ходаковський
00:00-02:04 Дисклеймер, “що в епізоді” та представлення нашого гостя Ярослава. Фазовий перехід від трьох людей до чотирьох у записі
02:05-12:12 Основні “дійові особи” зі світу криптовалют: консенсус, гаманець, транзакція, блок. Proof-of-Work і Proof-of-Stake. Паливо і ціна на нього
12:12-15:06 Основні застосування крипти. Decentralized Finance aka DeFi: (Market Makers aka MM, Order Books, Automated Market Makers aka AMM, похідні фінансові інструменти, позики і страхування). Decentralized Autonomous Organization aka DAO. NFT. Зберігання даних. Корпоративні/закриті блокчейни
15:06-18:16 Наскільки децентралізовані “децентралізовані блокчейн системи”? Флешбечимо до епізоду №20
18:16-18:52 Як ми обирали історії для випуску
18:52-21:34 Хтось заплатив 2.6млн $ за переказ 130$
21:34-24:18 Продаж Bored Ape NFT за 0.75 ефіра замість 75 ефіра через помилку у формі продажу
24:18-25:30 Новий правопис і назва “Етер”
25:30-29:30 Нульова адреса в блокчейні, яка має 11.5к ефірів. Коментарі до транзакцій на сайті etherscan. Аналогії з example.com
29:30-32:43 Стандарт ERC20 токенів. Пост-мортем одного проекту, де замість віднімання токенів у словнику-лічильнику токенів, було присвоєння
32:43-36:01 Конфлікт децентралізації і регуляризації. Адмін-адреси і замороження гаманців/транзакцій після ґаків чи по запиту представників правопорядку
36:01-45:44 DAO hack. Із-за вразливості, 15% всього ефіру (тогочасного) були під загрозою крадіжки від зловмисника. Як результат, hard fork і розділ на Ethereum і Ethereum Classic
45:44-48:30 Враховуючи попередню історію, наскільки це все “надійно” і коли стане ліпше. Єдине правильне використання крипти — донатити
48:30-54:45 Parity Multisig. Неініціалізований бібліотечний контракт привів до заморозки коштів на 500k ефірів на ~577 гаманцях
54:45-56:50 Незмінюванність контрактів на ефірі. Паттерн з проксі-контрактами
56:50-1:05:14 Ґаки в крипті. Ronin hack і крадіжка 625M$. Уроки з цього ґаку і рефлексія про стан розробки під блокчейн. Прохання від простих користувачів до ґакера поділитися награбованим
1:05:14-1:10:48 Ґак Poly network на 610M$. Драматичний розвиток подій з поверненням грошей, Q&A сесією і винагородою для ґакера
1:10:48-1:12:40 Етап ICO (Initial Coin Offering) у ефіра
1:12:40-1:14:22 Prodeus як приклад поганого ICO. Обіцянки революціонізувати овочево-фруктову галузь і подальший “дефейс” сайту
1:14:22-1:18:04 Мнемонічна фраза с туторіала в публічному доступі дає доступ до аккаунта, на який хтось перевів 10 ефірів(~40k$ на той час)
1:18:04-1:24:35 Tornadocash - міксер на ефірі. Що таке міксер? Накладання санкцій американським казначейством на цей криптопроект, “відлучення” від популярних API
1:24:35-1:28:20 Підбиваємо підсумки
1:28:20-1:30:21 Outro
Долучайтесь:
https://t.me/midnight_chatter
Twitter @O_Balachky
TikTok @o_balachky
Музика: https://www.streambeats.com/ | @stas_gee