Avsnitt
-
Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике.
Ссылка на законы https://www.thefrugalarchitect.com/
-
В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций.
Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке.Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform.Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку.
Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.
Ссылки:
https://awslabs.github.io/aws-lambda-powertools-python
-
Saknas det avsnitt?
-
В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.
-
Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.
🚀 Хаос-инжиниринг
Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи.
📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class
Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью.
Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке.
🔄 Прощай, ETL: Новая эра аналитики (Zero ETL)
Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач.
📡 Project Kuiper: Интернет из космоса
И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.
-
Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖
Ссылки на обзор всех новостей вы можете найти ниже.
AWS announces vector search for Amazon MemoryDB for Redis (Preview)Amazon CloudWatch announces AI-powered natural language query generation (in preview)AWS announces Amazon Q (Preview)Boost generative AI application development with Agents for Amazon BedrockAmazon Q offers help to optimize EC2 instance type selection (preview)Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon BedrockSafeguard generative AI applications with Guardrails for Amazon Bedrock (Preview)Knowledge Bases for Amazon Bedrock is now generally availableAmazon Titan Text models—Express and Lite—now generally available in Amazon BedrockAmazon Titan Multimodal Embeddings foundation model now generally available in Amazon BedrockStable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon BedrockLlama 2 70B foundation model from Meta is now available in Amazon BedrockClaude 2.1 foundation model from Anthropic is now generally available in Amazon BedrockEvaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview)Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview) -
🎙️ Добро пожаловать в первый подкаст 2024 года, где мы обсуждаем самые свежие и значимые анонсы AWS reInvent 2023. Узнайте о последних инновациях в Kubernetes, роли AI в разработке и как Amazon CodeWhisperer поможет написать CDK, CloudFormation и Terraform код.
🔍 Мы также глубоко погружаемся в новые стратегии управления и оптимизации затрат AWS, раскрывая, как эти изменения могут повлиять на вашу ежедневную работу. От нового объединенного интерфейса биллинга до улучшенных инструментов для анализа затрат – узнайте, как эффективно управлять ресурсами и сокращать расходы.
💡 Не пропустите уникальные впечатления от Keynote Вернера и узнайте, как философия "Frugal Architect" может вдохновить вас на новые подходы в разработке. Подключайтесь к нам, чтобы быть в курсе самых актуальных трендов и инноваций в мире AWS!
Ссылки на обзор всех новостей вы можете найти ниже.
Amazon Web Services announces Unified Billing and Cost Management consoleIntroducing Cost Optimization HubAnnouncing Data Exports for AWS Billing and Cost ManagementAmazon CloudWatch Application Signals for automatic instrumentation of your applicationsAnnouncing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview)Amazon EKS introduces EKS Pod Identity
AWS CloudFormation introduces Git management of stacksIntroducing the Amazon CodeCatalyst Enterprise TierAnnouncing custom blueprints for Amazon CodeCatalystAWS Application Composer announces AWS Step Functions Workflow Studio integrationAmazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview)Introducing Amazon GuardDuty ECS Runtime Monitoring, including AWS FargateAmazon Inspector agentless vulnerability assessments for Amazon EC2 now in preview -
👨💻 В этом выпуске обсуждаем кто же такой Solutions Architects в AWS. Вы узнаете, кто они такие, чем отличаются от других видов архитекторов, чем занимаются и многое-многое другое.
💡 Основные темы:1. Кто такой Solutions Architect? - Почему именно Solutions, а не Cloud или Systems Architect.2. Основные навыки архитектора: - От технической базы до умения вести диалог с бизнесом.3. Роль Solutions Architect в AWS: - Всё от общения с клиентами до экспертизы и оценки архитектуры.4. Как стать архитектором? - Практические советы для вашего карьерного роста.5. Разнообразие архитекторов: - Какие они бывают и в чем их специфика.6. SA в AWS против Enterprise SA: - Основные различия.7. Principal Software Engineer и Solutions Architecture: - В чем разница?8. Можно ли обойтись без архитектора? - Как оценить эффективность SA.9. Карьерный рост в архитектуре: - От SA до Principal SA.
🌟 Этот выпуск будет особенно полезен для тех, кто стремится понять, как строится карьера в области архитектуры в IT, какие навыки нужны для успеха, и как Solutions Architect влияют на успех проектов и компаний.
-
Хотите сэкономить на использовании AWS Lambda и повысить производительность функций? В этом выпуске подкаста мы подробно разберем способы оптимизации serverless приложений и раскроем неочевидные на первый взгляд тонкости настройки Lambda.
Мы начнем с того, как правильно выбрать объем оперативной памяти для функций. Оказывается, это напрямую влияет на производительность и стоимость.
Далее разберем технологию Snap Start, которая позволяет минимизировать холодные старты Java функций.
Поговорим о предварительном создании пула функций с Provisioned Concurrency. Это хороший способ ускорить отклик критичных Lambda.
Также узнаем, как использование компилируемых языков вроде Rust и Go вместо интерпретируемых может значительно прибавить скорость выполнения кода.
И еще много других полезных советов - от фильтрации ненужных событий до оптимальной инициализации функций.
В общем, если хотите выжать максимум из Lambda - обязательно послушайте этот выпуск!
Список полезных ссылок:
https://github.com/alexcasalboni/aws-lambda-power-tuninghttps://awslabs.github.io/aws-lambda-powertools-python/2.16.2/https://awslabs.github.io/aws-lambda-powertools-typescript/latest/https://awslabs.github.io/aws-lambda-powertools-java/https://aws.amazon.com/blogs/compute/optimizing-aws-lambda-cost-and-performance-using-aws-compute-optimizer/ -
В этом выпуске подкаста мы погружаемся в увлекательный мир Generative AI.
Разбираемся с ключевыми аспектами, такими как модели диффузии, Stable Diffusion и особенностями обучения больших языковых моделей (LLMs). Обсуждаем процесс FineTuning, детали RAG и его сравнение с FineTuning, а также принципы работы VectorSearch.
И как раз сегодня (28.09.2023) вышел новый сервис от AWS - BedRock, который мы обсуждали в выпуске.
Хотите попробовать Generative AI на практике? Узнайте больше о сервисе BedRock и начните своё приключение в мире GenAI с AWS.
-
В свежем выпуске мы обсудили множество актуальных новостей об AWS за последнее время (Q1-Q2 2023):LightSail for Research - новый сервис для начала работы с Data Science в AWS с низким порогом входа.Обновления в Amazon Aurora - новая ценовая модель без отдельной оплаты операций ввода-вывода, возможные экономии до 40%.AWS S3 Object Lambda - теперь возможно запускать лямбда-функции при GET-запросах к объектам S3.AWS User Notifications - новый сервис для получения объединенных нотификаций от более чем 100 AWS-сервисов.Обзор Amazon CodeWhisperer - генеративный AI-ассистент для ускорения написания кода.Рассмотрены возможности Amazon Service Catalog для автоматизации развертывания стандартных инфраструктурных компонентов.Улучшения видимости ресурсов VPC на новой ресурс-карте.Как всегда, в подкасте много интересных подробностей и примеров. Заходите на наш канал, слушайте, оставляйте отзывы! Упомянутые telegram каналы: https://t.me/aws_notes и https://t.me/awsweekly Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich
-
В этом выпуске мы углубляемся в мир SaaS и разбираемся в архитектуре Multi-tenant на платформе AWS. Поговорим о следующем:
Что такое "tenant" и как определить его границы и периметр?В чем ключевое отличие между SaaS и не-SaaS. Можно ли сказать, что "у меня много клиентов на отдельных окружениях" равносильно тому, что "я предоставляю услуги в формате SaaS"? Обсудим!Почему компании выбирают путь SaaS: вопросы стоимости и управления операциями.Эффективность с точки зрения стоимости: на что в первую очередь стоит обратить внимание и почему бесплатные тарифы могут стать "болью".Общие решения для frontend/backend, которые могут настраиваться для каждого клиента, но кодовая база не зависит от конкретного клиента.Как подходить к вопросам изоляции данных.Полезные ссылки:
Основы архитектуры SaaSSaaS Lens -
В этом эпизоде подкаста, Михаил Голубев (Principle Solution Architect), перехватывает эстафету и становится хостом, чтобы узнать больше о роли Developer Advocate от постоянного ведущего Виктора Ведмича. Виктор делится своими мнениями и опытом в этой роли. Он рассказывает о том, как помогает разработчикам, собирает их отзывы для улучшения продуктов и создает мосты между разработчиками и бизнесом. Если вы хотите узнать, чем занимается Developer Advocate, как эта роль помогает компании, не пропустите этот занимательный и информативный эпизод!
Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich
-
В новом выпуске подкаста мы в глубину погрузились в мир данных вместе с нашим гостем Kurmanov Samat, AWS Community Build, Senior Data Engineer из DataArt
Во время обсуждения мы проследили историю появления аналитических хранилищ данных, включая эволюцию от классических Data Warehouses до Data Lakes и современных Lakehouses. Samat подробно разъяснил основные особенности каждого из этих подходов, их преимущества и слабые стороны, а также ситуации, в которых они проявляют себя наилучшим образом.
Мы также обсудили набор сервисов AWS, которые активно используются в сфере обработки и анализа данных. Наш гость поделился своими знаниями о том, как эти инструменты помогают достичь желаемого результата, и какой из них выбрать в зависимости от конкретных целей и задач.
Завершая нашу беседу, мы затронули вопрос о выгоде Lakehouse решения для бизнеса. Нужен ли он всем? Какие компании могут извлечь максимальную пользу из его применения? Слушайте этот выпуск, чтобы узнать ответы на эти и многие другие вопросы.
Полезные ссылки:
https://www.striim.com/blog/data-warehouse-vs-data-lake-vs-data-lakehouse-an-overview/https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.htmlhttps://delta.io/Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich
-
Уже третий эпизод и только про AWS организации.В первой части мы закончили говорить про Organization Units, во после обсудили Service Control Policies (SCPs). А в этом эпизоде продолжаем говорить про безопасность, и начали IAM Access Analyzer, поговорили про то как работает SOO, работа c SSO через CLI. Проговорили еще раз лучшие практики написание SCP политик, и как лучшего всего защищать ваш root account, какие есть способы защиты MFA, и как быть если вы утеряли свой MFA. Все это и не только в третьем выпуске про организации. Кажется, тема настолько обширная, что будет и 4-й выпуск, если у вас есть какие-то вопросы по этой теме, пишите - будем рады добавить в список. Ссылки, которые упоминали во время разговора
SSO CLI (Open source from community): https://github.com/synfinatic/aws-sso-cliSCP policies best practice examples: https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_scps_examples.html -
Обсудим из чего базы данных состоят, где узкие горлышки, и какие продукты приходят на смену устоявшимся Postgres, MongoDB, Redis, Neo4J.
Например, знали ли вы, что большая часть современных БД хранит данные в Log Structured Merged Tree структуре, а если точнее - в одной ее реализации - RocksDB от Facebook? А что Postgres не умеет работать с асинхронными интерфейсами Linux, и уже на этом уровне в 10 раз медленнее чем новые аналоги построенные на io_uring и SPDK? Или что можно отправить данные с диска на видеокарту в обход процессора?
У ребят из Unum есть своя альтернатива RocksDB, которая до 7 раз быстрее, и функционально совместима. И вокруг нее построена череда open-source проектов, включая UKV, универсальную базу данных, которая может хранить документы, графы и бинарные данные, предлагая сквозные ACID транзакции, а также целый набор интуитивно понятных библиотек для пользователей верхнеуровневых языков.
Ее уже можно найти в AWS Marketplace, а документация и исходные коды лежат на GitHub, а также на официальном сайте https://www.unum.cloud/
-
В этом выпуске подкаста мы обсуждаем сложный вопрос выбора базы данных. Иногда наше решение определяется опытом работы с определенными технологиями, но такой подход не всегда гарантирует оптимальный выбор для конкретного приложения. К тому же, ситуация может меняться со временем, когда нагрузка на систему растет, и возникает дилемма: что делать дальше? Вместе с Александром Изюмовым, экспертом по базам данных, и Михаилом Голубевым, мы рассмотрели различные категории баз данных, чтобы помочь вам принять обоснованное решение.
Мы рассмотрели:
Key-value DB:Amazon DynamoDBAmazon Keyspaces (for Apache Cassandra)Amazon DocumentDBRDBM)Amazon RDSAmazon Aurora + Serverless v2Graph: Amazon NeptuneIn-Memory:Amazon ElastiCache for Redis/Amazon ElastiCache for MemcachedAmazon MemoryDB for RedisOther:Amazon Timestream DatabaseAmazon Quantum Ledger Database (QLDB)Full-text-search:Amazon OpenSearch ServiceЕсли у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/
-
А вот и вторая часть reCap re:Invent 2022, в этом выпуске сфокусировали на аналитике, ML, DevOps и конечно же безопасности. В сегодняшнем выпуске мы рассмотрели:
Amazon Redshift - updatesAWS Glue - updatesAmazon DataZoneAWS Clean RoomsCodeCatalyst AWS Lambda SnapstartML Governance with Amazon SageMakerAmazon SageMaker Data WranglerИ еще несколько новостей одной строкой.
Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/
-
В новом эпизоде нашего подкаста мы пригласили Егора Мясникова, чтобы обсудить возможности использования Amplify в разработке приложений для iOS, Android, Flutter, Web и React Native. Мы рассмотрели основные компоненты Amplify, включая Studio, CLI, Libraries, UI Components и Web Hosting, и обсудили, как значительно они могут ускорить процесс разработки. Также мы обсудили ситуации, в которых Amplify может быть особенно полезен, и ответили на вопрос, можно ли использовать Amplify для разработки высоконагруженных систем. В конце эпизода мы рассмотрели интеграцию Figma с Amplify и порассуждали о том, могут ли дизайнеры стать кандидатами для становления full-stack developer.
-
В этот раз re:Invent 2022 посетили 50 000+ человек, прошло 2000 технических сессий на которых презентовали более 100 технологических новинок - и это все только за одну неделю! По традиции в нашем подкасте мы делаем обзор того, что было анонсировано: и это не только новые сервисы, но и детальное обсуждение новых фич в уже существующих. В одном выпуске очень трудно уместить все, поэтому в первой части мы рассмотрели:- Amazon Security Lake- Amazon CloudWatch Internet Monitor - AWS Verified Access - Amazon Verified permissions- Amazon EventBridge Pipes- Trusted Language Extensions for PostgreSQL on Amazon Aurora and Amazon RDS- Amazon DocumentDB Elastic Clusters- Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS - AWS Control Tower – Comprehensive Controls Management
-
В гостях подкаста - Алексей Григорьев: AWS Hero, автор нескольких книг по ML и лидер https://datatalks.club/ комьюнити.
Вначале мы поговорили о том, как стать AWS Hero - в этой части подкаста можно узнать больше о самой программе и о том, какими активностями занимаются комьюнити лидеры, которые хотят быть частью этой программы. Затем мы обсудили разницу между Data Scientist и ML инженером - кого же, как не Principal Data Scientist об этом расспрашивать, верно?:) И наконец, мы поговорили о подходе Алексея к написанию книг, обсудили мнение, почему код нужно писать раньше, чем книгу о нем, и почему сделать обучающий курс намного легче, чем написать книгу.
Если вы интересуетесь ML - курсы и книги Алексея будут отличным стартом для самообразования и перехода в эту сферу.
Книги про которые говорили по время подкаста:
Machine Learning Bookcamp: Build a portfolio of real-life projects Mastering Java for Data Science: Analytics and more for production-ready applicationsКурсы и комьюнити:
https://datatalks.club/ - Visa fler
