AWS на русском

Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике. Ссылка на законы https://www.thefrugalarchitect.com/ 

В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций. Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке. Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform. Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку. Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.   Ссылки: https://awslabs.github.io/aws-lambda-powertools-python

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора. 🚀 Хаос-инжиниринг Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи. 📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью. Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке. 🔄 Прощай, ETL: Новая эра аналитики (Zero ETL) Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач. 📡 Project Kuiper: Интернет из космоса И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.

Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖 Ссылки на обзор всех новостей вы можете найти ниже.  AWS announces vector search for Amazon MemoryDB for Redis (Preview) Amazon CloudWatch announces AI-powered natural language query generation (in preview) AWS announces Amazon Q (Preview) Boost generative AI application development with Agents for Amazon Bedrock Amazon Q offers help to optimize EC2 instance type selection (preview) Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon Bedrock Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview) Knowledge Bases for Amazon Bedrock is now generally available Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock Stable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon Bedrock Llama 2 70B foundation model from Meta is now available in Amazon Bedrock Claude 2.1 foundation model from Anthropic is now generally available in Amazon Bedrock Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview) Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview)

🎙️ Добро пожаловать в первый подкаст 2024 года, где мы обсуждаем самые свежие и значимые анонсы AWS reInvent 2023. Узнайте о последних инновациях в Kubernetes, роли AI в разработке и как Amazon CodeWhisperer поможет написать CDK, CloudFormation и Terraform код. 🔍 Мы также глубоко погружаемся в новые стратегии управления и оптимизации затрат AWS, раскрывая, как эти изменения могут повлиять на вашу ежедневную работу. От нового объединенного интерфейса биллинга до улучшенных инструментов для анализа затрат – узнайте, как эффективно управлять ресурсами и сокращать расходы. 💡 Не пропустите уникальные впечатления от Keynote Вернера и узнайте, как философия "Frugal Architect" может вдохновить вас на новые подходы в разработке. Подключайтесь к нам, чтобы быть в курсе самых актуальных трендов и инноваций в мире AWS!   Ссылки на обзор всех новостей вы можете найти ниже.    Amazon Web Services announces Unified Billing and Cost Management console Introducing Cost Optimization Hub Announcing Data Exports for AWS Billing and Cost Management Amazon CloudWatch Application Signals for automatic instrumentation of your applications Announcing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview) Amazon EKS introduces EKS Pod Identity AWS CloudFormation introduces Git management of stacks Introducing the Amazon CodeCatalyst Enterprise Tier Announcing custom blueprints for Amazon CodeCatalyst AWS Application Composer announces AWS Step Functions Workflow Studio integration Amazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview) Introducing Amazon GuardDuty ECS Runtime Monitoring, including AWS Fargate Amazon Inspector agentless vulnerability assessments for Amazon EC2 now in preview

Прошло довольно много времени с момента последнего новостного выпуска, а значит, свежих апдейтов подоспело немало! Что же нового вышло в AWS с конца весны? Подборка материалов и актуальной информации о последних релизах: Новый AWS регион в ОАЭ, а также новость о том, какие регионы в очереди на открытие; Новые инстансы в AWS m6id, c6id, r6id, r6a; Инстансы с 3-м поколением гравитонов (Amazon EC2 C7g) вышли в GA; Cost Management практики - Cost Allocation Tags в EKS и что такое KubeCost; Консолидация нагрузки в Karpenter-е; Всё Serverless с re:Invent теперь GA: Amazon MSK Serverless Now Generally Available–No More Capacity Planning for Your Managed Kafka Clusters Amazon EMR Serverless Now Generally Available – Run Big Data Applications without Managing Servers Amazon Redshift Serverless – Now Generally Available with New Capabilities Amazon SageMaker Serverless Inference – Machine Learning Inference without Worrying about Servers.

В этом выпуске мы поговорили о DynamoDB, что это за база данных такая. Начали с основ, какого именно типа база данных DynamoDB, как именно данные хранятся в таблицах. Что такое локальные и глобальные вторичные индексы - чем они отличаются, и когда их стоит применять и создавать. На что стоит обратить внимания во время проектирования хранилища данных используя DynamoDB, и какие есть плюсы минусы при работе с GSI, и почему не стоит забывать про проблему "hot" partition. Все это и не только в новом выпуске вместе с Кареном (Data Community Builder) Полезные ссылки Amazon DynamoDB Deep Dive. Chapter 1: Essentials Перевод: Основы (Вы находитесь здесь!) Amazon DynamoDB Deep Dive. Chapter 2: Tables, Data types, Indexes, Capacity Units Перевод: Компоненты DynamoDB: таблицы, типы данных, индексы, единицы производительности Amazon DynamoDB Deep Dive. Chapter 3: Consistency, DynamoDB streams, TTL, Global tables, DAX Перевод: Консистентность, DynamoDB streams. TTL. Глобальные таблицы. DAX Amazon DynamoDB Deep Dive. Chapter 4: Data Modeling, Best Practices, What’s next Перевод: Моделирование данных. Лучшие практики. Что дальше? Rick Houlihan: DynamoDB deep dive: Advanced design patterns  

Продолжаем говорить про AWS организации. В первой части мы закончили говорить про Organization Units, а во второй уже начали с service control policies (SCPs): как работают политики и как внутренний сервис Amazon - Zelkova, помогает с безопасностью. Что такое AWS Control Tower и как он помогает в построении организации. Не забыли раскрыть тему уменьшения расходов при использовании AWS организации и другие преимущества работы с ней. Полезные ссылки Лучшие практики AWS организации AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts О делегированном администраторе. Что такое Zelkova  

В этом выпуске обсудили специфику бизнеса разработчиков игр и выяснили на опыте интересных публичных кейсов, почему облака так привлекательны игровым компаниям. Также обсудили: Как AWS связан с разработкой игр и их оперированием. Какие бывают задачи: аналитика, гейм-сервера, мета, билды, доставка контента. Рекомендации для инди девелоперов / небольших студий, с чего лучше начать. Как можно экономить, используя AWS, если у вас уже есть игра в оперировании. Полезные ссылки AWS for Games https://aws.amazon.com/gametech/?nc1=h_ls Game Tech Learning Plan - https://explore.skillbuilder.aws/learn/public/learning_plan/view/26/game-tech-learning-plan  

Говорим про AWS организации, в один эпизод не получилось поместить все что хотелось рассказать, поэтому будет целая серия выпусков про AWS организации. А в первой части начинаем с основ: что такое AWS аккаунт, организация, зачем нужны несколько аккаунтов. С чего стоит начать планирования вашей AWS организации. Стоит ли соблюдать закон Конвея при построении вашей организации. Рекомендуемые Organization Units, или с чего начать проектирование вашей организации. Что делать если у вас микро сервисная архитектура, и как она влияет на построение вашей организации. Полезные ссылки Лучшие практики AWS организации AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts    

DeepRacer - это сервис, позволяющий изучать ML в игровой форме через обучение гоночных машинок поведенческим паттернам для наилучшего прохождения треков. Саша (Solutions Architect, AWS) и Ростислав (Solution Architect, EPAM) в этом эпизоде рассказали в деталях о DeepRacer, о своём решении по управлению бюджетом, а также об опыте проведения DeepRacer ивента на 1000 человек для инженеров с различным бэкграундом и зоной экспертизы - разработчиков, аналитиков, системных инженеров, тестировщиков. Какие лиги есть в DeepRacer? Как правильно натренировать вашу модель? Как именно освоение DeepRacer может впоследствии помочь на проекте? Полезные ссылки DeepRacer сервис DeepRacer лиги DeepRacer квоты  

После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач. Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали: Что такое MLOps? Из каких фаз строиться MLOps - какие шаги включены в CI/CD. Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте. Как реализовать MLOps в AWS. MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок. Полезные ссылки Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines MLOps Workload Orchestrator Implementations Amazon EC2 Instance Types Amazon SageMaker Pricing - Machine Learning  

Николай Пойда community builder рассказал о своем опыте сдаче 8 сертификатов. В этом выпуске вы узнаете: Кто такой AWS community builder, какие требования к участникам и какие бенефиты программы История Николая подготовки и сдачи 8-ми сертификатов. В каком порядке Николай сдавал, какие ресурсы использовал (все ссылки ниже). Мотивация важный компонент в долгом путешествии в мир облачной сертификации. Что именно мотивировало Николая сдать столько сертификатов. Поможет ли сертификация в карьере, на примере конкретного человека. Все это и не только в нашем выпуске про сертификацию. Полезные ссылки Курс на DA AWS Certified Developer Associate 2022 - Stephane Maarek AWS Certified Solutions Architect - Professional от Adrian Cantrill Практические тесты по сертификации.  

Безопасность одна из важнейших задач для AWS, но стоить вопрос как именно защитить веб приложения. В этом выпуске мы подробно обсудили: - От чего защищаемся? И что такое OWASP Top 10 - Защита сетевого периметра с использованием AWS Network Firewall и AWS Firewall Manager, Security Groups - Что такое WAF? - Как он работает. - Какие WAF правила выбрать и как. На каком уровне модели OSI работает WAF, и каким сервисам можно его подключать. - Где лучше включать WAF на уровне CDN (CloudFront) или на уровне ALB? - Стоит ли защищать статический контент? - Как часто клиенты пишут свои WAF правила? И что такое WCU, и сколько правил стоит применять для своего приложения. - WAF и капча — как это работает. - Защита от DDoS - Шаг назад и разобрали что такое DoS и причем тут rate limiter - Какие типы атак бывают DoS/DDoS - Различие AWS Shield и AWS Shield Advanced. - Еще рекомендации, что вы можете сделать, чтобы защититься от DDoS.   Полезные ссылки - AWS WAF - AWS Shield - Automatic application layer DDoS mitigatio - reInvent2021    

В этом выпуске ребята из EPAM деляться опытом постороения Data Lake: от разрозненных источников данных к Data Lake и к Data Mesh: как AWS может помочь организации управлять данными. · Место Data Lake в современной организации. Дата продукты и что из них готовят · Что предлагает AWS: каждый кейс индивидуален · DevOps: нетривиальные задачи – нетривиальные решения. · Безопасность превыше всего: AWS LakeFormation · Data Mesh как следующее звено эволюции использования данных   Ссылки AWS Lake Formation Workshop Lake Formation access for federated users https://martinfowler.com/articles/data-monolith-to-mesh.html Data-mesh approach using Lake Formation https://aws.amazon.com/big-data/datalakes-and-analytics/what-is-a-data-lake/ https://ru.coursera.org/learn/introduction-to-designing-data-lakes-in-aws    

Новостной выпуск, говорим о последних релизах с марта по апрель. Новые инстансы в AWS на базе AMD - C6a Amazon RDS Multi-AZ теперь поддерживает две RO реплики. Amazon Aurora Serverless v2 теперь в GA. Уточнение Amazon Aurora Serverless v2 - на текущий момент не поддерживает паузу, работает только с первой версией. AWS Lambda Function URLs - поддержка встроенных HTTPS точек доступа для небольших микросервисов. AWS Lambda теперь поддерживает до 10 ГБ временного хранилища. AWS Fargate увеличение скорости масштабирование в 16 раз. Amazon EKS теперь поддерживает Kubernetes 1.22, все детали этого обновления. Таймкоды: 00:01:00 - Новые инстансы на базе AMD C6a 00:05:39 - Amazon RDS Multi-AZ 00:08:35 - Amazon Aurora Serverless v2 00:12:35 - AWS Lambda Function URLs 00:16:00 - AWS Lambda supports 00:18:50 - AWS Fargate 00:22:10 - Amazon EKS supports k8s 1.22 00:29:00 - Секция новости одной строкой. Телеграм канал который был упомянут во время разговора - https://t.me/aws_notes  

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a. Таймкоды: 00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM 00:01:47 - Что мигрировали и почему 00:08:25 - С чего начинали миграцию 00:12:23 - Не удачная структура хранения данных 00:15:50 - MapReduce с помощью Jenkins-а 00:20:00 - Проблемы при миграции 00:22:33 - Почему множество Amazon EMR кластеров 00:26:33 - Что сделал бы сейчас по другому 00:29:40 - Инструменты для создания инфраструктуры 00:34:00 - Советы для других Ссылки Архитектурные разговоры - EMR + Glue + Lambda  

В этом эпизоде мы поговорили про Serverless сервисы в AWS. Мы рассказали об основных сервисах таких как AWS Lambda, API Gateway, EventBridge, SNS, SQS, StepFunctions и как они помогут вам при создании новых микросервисных, event-driven приложений. Рассмотрели типичные сценарии использования этих сервисов и рассказали о лучших практиках их использования, как построить CI/CD для ваших лямбд. Также упомянули некоторые случаи, когда Serverless будет не лучшим вариантом. Таймкоды: 00:00:24 - Рома Бойко в гостях 00:02:28 - Почему serverless 00:07:20 - 4 характеристики serverless 00:09:05 - Cписок serverless сервисов в AWS 00:12:00 - Основные use-cases 00:16:23 - Как построить CI/CD для serverless 00:22:20 - Ограничения Lambda 00:24:30 - AWS Lambda power tuning 00:28:43 - Разогрев Lambda функций Ссылки Best practices of advanced serverless developers AWS Lambda power tuning  

Анонсы в AWS идут каждый день, и чтобы оставаться в курсе последних новинок мы добавляем отдельную категорию - новостные выпуски. Обсудили следующие новинки: Guard Duty - теперь обнаруживает когда профиль EC2 инстанса, используется в другом AWS аккаунте. А также можно подключать Guard Duty к вашему Kubernetes EKS кластеру. Amazon VPC теперь поддерживает управляемый AWS список префиксов для Amazon CloudFront App Runner теперь поддерживает VPC Репликация существующих объектов с помощью batch репликации Amazon S3 Amazon DocumentDB (с совместимостью с MongoDB) добавляет дополнительные возможности геопространственных запросов Таймкоды: 00:01:10 - Guard Duty 00:10:55 - AWS-managed prefix list for Amazon CloudFront 00:13:58 - App Runner – VPC Support 00:19:10 - Replicate Existing Objects with Amazon S3 Batch Replication 00:22:35 - Mocking service integrations with AWS Step Functions Local 00:26:40 - Новости одной строкой Ссылки Guard Duty: Instance Credentials, EKS AWS-managed prefix list for Amazon CloudFront App Runner – VPC Support Mocking service integrations with AWS Step Functions Local