Различия

Показаны различия между двумя версиями страницы.

@@ Строка 1: / Строка 1: @@
+# Конспект лекции: Ключевые понятия и принципы DevOps
+---
+## 1. Введение
+DevOps (Development & Operations) — это подход к созданию, доставке и эксплуатации программного обеспечения, который предполагает тесное сотрудничество между командами разработки (Development) и эксплуатации (Operations). Цель DevOps — ускорить выпуск новых версий ПО при сохранении стабильности, качества и безопасности.
+---
+## 2. История и мотивация
+- **Проблемы традиционного подхода**
+. Разделение ответственности: разработчики создают код, а операционные команды занимаются разворачиванием/поддержкой.
+. Узкие места: долгий цикл выпуска, частые конфликты между отделами.
+. Небольшая скорость реакции на запросы бизнеса и изменения в требованиях.
+- **Возникновение DevOps**
+. Идеи берут начало в Agile-движении (начало 2000-х).
+. 2009–2010 гг. — термин «DevOps» становится популярным после беседы Патрика Дебуа на конференции Agile.
+. Основная мотивация: сломать «стену» между Development и Operations, ускорить обратную связь и обеспечить непрерывную доставку ценности пользователям.
+---
+## 3. Определение DevOps
+> DevOps — это культура, объединяющая команды разработки и эксплуатации при помощи практик автоматизации, инструментов и методологий для быстрой и надежной поставки программного обеспечения.
+Основные элементы определения:
+. **Культура сотрудничества**
+. **Автоматизация процессов**
+. **Непрерывная интеграция и доставка (CI/CD)**
+. **Непрерывное измерение и обратная связь**
+---
+## 4. Основные цели DevOps
+. **Ускорение Time-to-Market**
+   - Частые и надежные релизы (несколько раз в день, неделю).
+. **Увеличение стабильности и качества**
+   - Меньшее число аварийных релизов, быстрый отклик на инциденты.
+. **Снижение затрат и рисков**
+   - Автоматизация позволяет избегать человеческих ошибок, уменьшать время простоя.
+. **Сокращение «разрыва» между командами**
+   - Минимизация конфликтов, общие цели и метрики.
+---
+## 5. Ключевые концепции DevOps
+### 5.1. Культурные принципы
+- **Сотрудничество и общая ответственность**
+  - Команды разработчиков и эксплуатации работают как единое целое, вместе отвечают за результат.
+  - Обмен знаниями: перекрестное код-ревью, «атланты» (on-call rotation), совместные стендапы.
+- **Сдвиг влево (Shift Left)**
+  - Традиционно тестирование, безопасность и прочие проверки выполнялись после написания кода.
+  - В DevOps эти задачи «сдвигаются» ближе к началу цикла разработки:
+    - Автоматические юнит- и интеграционные тесты.
+    - Статический анализ кода.
+    - Сканы на уязвимости.
+- **Культура непрерывного улучшения (Continuous Improvement)**
+  - Внедрение практик ретроспектив, постмортем-анализа (blameless postmortems).
+  - Анализ ошибок и поиск способов предотвращения повторных инцидентов.
+  - Kaizen-подход: постоянное совершенствование процессов.
+- **Принцип «You build it, you run it»**
+  - Команды, которые пишут код, также несут ответственность за его эксплуатацию в production-среде.
+  - Повышает ответственность и мотивацию писать более надежный и поддерживаемый код.
+### 5.2. Автоматизация (Automation)
+- **Зачем нужна автоматизация?**
+  - Исключение рутинных, повторяющихся операций.
+  - Ускорение процесса сборки, тестирования, развертывания и мониторинга.
+  - Снижение числа ошибок вследствие человеческого фактора.
+- **Области автоматизации**
+. **Сборка и тестирование**
+     - Инструменты: Jenkins, GitLab CI, GitHub Actions, CircleCI, Travis CI.
+     - Автоматизированные сборки при каждом коммите, выполнение набора тестов.
+. **Развертывание (Deployment)**
+     - Инструменты: Ansible, Puppet, Chef, Terraform, AWS CloudFormation.
+     - Скрипты и playbook’и для автоматизированного Provisioning (создания инфраструктуры) и конфигурации серверов.
+. **Мониторинг и логирование**
+     - Инструменты: Prometheus, Grafana, ELK Stack (Elasticsearch, Logstash, Kibana), Datadog.
+     - Автоматическая агрегация метрик, построение дашбордов, оповещение о критических ситуациях.
+. **Инфраструктура как код (IaC)**
+     - Хранение описания инфраструктуры в виде версионируемого кода.
+     - Возможность повторного воспроизведения окружений, отката к предыдущим версиям.
+### 5.3. Непрерывная интеграция (Continuous Integration, CI)
+- **Суть CI**
+  - Каждое изменение (commit) разработчика автоматически интегрируется в основной (master) ветку.
+  - Запуск набора автоматических тестов, сборка артефактов и проверка качества кода.
+  - Раннее выявление дефектов, конфликтов слияния, несоответствий требованиям.
+- **Основные компоненты CI**
+. **VCS (Version Control System)**
+     - Git (GitHub, GitLab, Bitbucket).
+. **CI-сервер**
+     - Запускает сборки по коммитам, пулл-реквестам.
+. **Набор автоматизированных тестов**
+     - Юнит-тесты, интеграционные тесты, статический анализ кода (linting, SonarQube).
+- **Показатели эффективности CI**
+  - Время прохождения билдов.
+  - Процент успешных сборок.
+  - Среднее время обнаружения и исправления дефекта.
+### 5.4. Непрерывная доставка и развертывание (Continuous Delivery & Deployment, CD)
+- **Continuous Delivery**
+  - Кодовая база всегда находится в состоянии, готовом к деплою в продакшн.
+  - Автоматизация пакетов, тестовых процессов, процедур проверки качества.
+  - Ручной шаг (approval) перед выпуском в production.
+- **Continuous Deployment**
+  - Автоматизация полного цикла: от коммита до продакшн-развертывания без ручных вмешательств.
+  - Вклчает Canary Deployment, Blue-Green Deployment, Rolling updates.
+- **Поток CD**
+. CI: сборка + тестирование →
+. Сборка артефакта (docker image, jar, пакет) →
+. Интеграционные/приемочные тесты в staging-среде →
+. Маштабируемое развертывание в production (включая стратегии деплоя: canary, blue-green, rolling).
+- **Стратегии развертывания**
+  - **Blue-Green Deployment**:
+    - Две идентичные среды: “Blue” (текущая prod) и “Green” (новая версия).
+    - После успешных тестов в “Green” переключение трафика, “Blue” становится backup.
+  - **Canary Deployment**:
+    - Постепенное развёртывание новой версии на небольшой % инстансов (канареек).
+    - Мониторинг поведения, откат при проблемах.
+  - **Rolling Deployment**:
+    - Поочередная замена экземпляров старой версии на новую, без полного прерывания сервиса.
+---
+## 6. Инфраструктура как код (Infrastructure as Code, IaC)
+- **Суть IaC**
+  - Описание и управление инфраструктурой (серверы, сети, балансировщики нагрузки и т. д.) с помощью декларативных или императивных скриптов/манифестов.
+  - Версионирование конфигурации: можно откатываться к предыдущим состояниям, развертывать идентичные среды.
+- **Преимущества**
+. **Повторяемость**: запуск одинаковых скриптов на разных окружениях, минимальное «дрейф» конфигураций.
+. **Прозрачность**: весь конфигурационный код хранится в репозитории, что облегчает аудит и ревью.
+. **Автоматизация**: при изменениях инфраструктура пересоздаётся/переконфигурируется автоматически.
+- **Основные инструменты**
+  - **Terraform** (HashiCorp)
+    - Декларативный язык HCL, управление ресурсами в облаках AWS, GCP, Azure и др.
+  - **Ansible**
+    - SSH-базированная автоматизация конфигурации, управление состоянием серверов.
+  - **Chef / Puppet**
+    - Серверно-агентная архитектура, DSL на Ruby (Chef) или собственный DSL (Puppet).
+  - **AWS CloudFormation**, **Azure Resource Manager Templates**, **Google Deployment Manager** — родные инструменты IaC для облачных провайдеров.
+- **Практики IaC**
+. **Декларативный подход** (Terraform, CloudFormation): описываем желаемое состояние, система сама приводит среду к этому состоянию.
+. **Идемпотентность**: повторный запуск скрипта приводит к тому же результату без нежелательных изменений.
+. **Модульность**: выделение повторяемых блоков (модулей) для переиспользования (например, VPC, базы данных, кластер Kubernetes).
+. **Версионирование и ревью**: инфраструктурные манифесты размещаются в Git, подчинены тому же процессу CI/CD.
+---
+## 7. Мониторинг, логирование и обратная связь
+### 7.1. Мониторинг (Monitoring)
+- **Цели мониторинга**
+. Раннее обнаружение инцидентов (падение сервиса, аномалии).
+. Сбор метрик производительности (CPU, память, задержки, error-rate, throughput).
+. Оценка пользовательского опыта (SLIs/SLOs/SLAs).
+- **Типы мониторинга**
+. **Инфраструктурный мониторинг**: состояние серверов, контейнеров, сетевых устройств.
+. **Приложенческий мониторинг**: метрики работы приложения, время отклика, количество ошибок.
+. **Логирование**: сбор и агрегация логов (ELK, Fluentd, Loki).
+. **Аналитика пользовательского поведения**: распределённые трассировки (Distributed Tracing), APM (Application Performance Management).
+- **Инструменты мониторинга**
+  - **Prometheus + Grafana**
+    - Prometheus: сбор метрик через pull-модель, хранение временных рядов.
+    - Grafana: визуализация, дашборды, алерты.
+  - **ELK Stack (Elasticsearch, Logstash, Kibana)**
+    - Сборка и фильтрация логов, хранение в Elasticsearch, визуализация и поиск через Kibana.
+  - **Datadog, New Relic, Splunk** — SaaS-решения для мониторинга и логирования.
+  - **Jaeger, Zipkin** — распределённые трассировки для микросервисных архитектур.
+### 7.2. Обратная связь (Feedback)
+- **Быстрая обратная связь**
+  - Инструменты CI/CD могут отправлять уведомления (Slack, Email, Teams) о статусе билдов/деплоев.
+  - Интеграция с системами управления инцидентами (PagerDuty, Opsgenie) для экстренного оповещения SRE/OPs-инженеров.
+- **Метрики и метрики качества**
+. **MTTR (Mean Time to Recover)** — среднее время восстановления после сбоя.
+. **MTBF (Mean Time Between Failures)** — среднее время между отказами.
+. **Deployment Frequency** — частота релизов в production.
+. **Change Lead Time** — время от коммита кода до его успешного релиза в prod.
+. **Error/Failure Rate** — доля неудачных сборок/деплоев/запросов.
+- **Ретроспективы и постмортемы**
+  - Проведение ретроспектив после каждого крупного релиза или инцидента.
+  - Без вины (blameless): анализ причин, документирование уроков, план корректирующих действий.
+---
+## 8. Безопасность в DevOps (DevSecOps)
+- **DevSecOps**
+  - Интеграция процессов безопасности (Security) во все этапы разработки и эксплуатации.
+  - Идея «сдвиг влево» для безопасности: ранняя проверка кода, сканирование уязвимостей, управление секретами.
+- **Ключевые практики DevSecOps**
+. **Статический анализ безопасности (SAST)**
+     - Инструменты: SonarQube, Checkmarx, Fortify.
+     - Проверка кода на наличие уязвимостей, нехватку валидации данных, инъекции и т. д.
+. **Динамический анализ (DAST)**
+     - Сканы уже запущенного приложения на уязвимости (OWASP ZAP, Burp Suite).
+. **SCA (Software Composition Analysis)**
+     - Проверка библиотек и зависимостей на известные уязвимости (OWASP Dependency-Check, Snyk, WhiteSource).
+. **Управление секретами и ключами**
+     - Хранение паролей, токенов, сертификатов в секретных хранилищах (HashiCorp Vault, AWS Secrets Manager, Azure Key Vault).
+. **Контейнерная безопасность**
+     - Сканирование Docker-образов (Clair, Anchore).
+     - Минимизация размера и привилегий контейнера.
+. **Политики и соответствие (Compliance)**
+     - Внедрение правил безопасности в pipeline (Policy as Code, e.g. Open Policy Agent).
+     - Аудит и логирование изменений инфраструктуры и кода.
+---
+## 9. Архитектуры и стратегии развертывания в DevOps
+### 9.1. Монолит vs. Микросервисы
+- **Монолит**
+  - Единственное приложение со всеми компонентами (UI, БД, бизнес-логика).
+  - Проще разворачивать и отлаживать на начальных этапах, но сложнее масштабировать и поддерживать по мере роста.
+- **Микросервисы**
+  - Архитектурный стиль, когда приложение разбито на набор мелких сервисов, которые взаимодействуют между собой через API (обычно HTTP/REST, gRPC, message-broker).
+  - Каждый сервис можно автономно разрабатывать, тестировать и разворачивать.
+  - Упрощает независимое масштабирование, быстрое обновление отдельных компонентов, но добавляет сложность в оркестрацию, мониторинг и управление распределённостью.
+### 9.2. Контейнеризация и оркестрация
+- **Контейнеры (Docker)**
+  - Легковесная виртуализация на уровне ОС.
+  - Обеспечивает предсказуемую среду выполнения (зависимости, конфигурации).
+- **Orchestration (Kubernetes)**
+  - Управление группами контейнеров: автоматическое масштабирование (Horizontal Pod Autoscaler), балансировка нагрузки, самовосстановление (self-healing), обновления без простоя (Rolling Update), сервис-дискавери.
+  - Ключевые объекты Kubernetes: Pods, Deployments, Services, ConfigMaps, Secrets, StatefulSets, DaemonSets, Ingress, CRD.
+- **Преимущества**
+. **Изоляция и предсказуемость**: контейнеры гарантируют, что приложение будет работать одинаково везде.
+. **Масштабирование**: автоматическое увеличение/уменьшение числа подов в зависимости от нагрузки.
+. **Управление конфигурацией**: отделение конфигурации (ConfigMaps, Secrets) от образа.
+---
+## 10. Организационные аспекты и роли
+- **DevOps-команда или DevOps-инженер?**
+  - **DevOps-инженер** — специалист, владеющий навыками разработки, инфраструктуры и автоматизации (SRE, Platform Engineer).
+  - **DevOps-команда** — кросс-функциональная группа, включающая разработчиков, системных администраторов, инженеров по качеству (QA) и специалистов по безопасности.
+- **Основные роли и обязанности**
+. **Разработчики (Developers)**
+     - Пишут код, покрывают его тестами, участвуют в CI/CD-процессах.
+. **Инженеры по обеспечению качества (QA, Test Engineers)**
+     - Автоматизация тестов, написание тест-кейсов, регрессионные проверки.
+. **SRE (Site Reliability Engineer)**
+     - Фокусируются на стабильности, масштабировании, безопасности и мониторинге сервисов.
+     - Пишут инструменты для автоматизации операций, управляют Incident Response.
+. **Инженеры по инфраструктуре (Infrastructure Engineers)**
+     - Настройка и поддержка серверов, сетей, систем хранения.
+     - Управление конфигурацией, разворачивание кластеров Kubernetes, облачные сервисы.
+. **Security Engineer / DevSecOps**
+     - Интегрируют практики безопасности во все этапы CI/CD.
+     - Проводят аудиты, сканы уязвимостей, управляют секретами.
+- **Взаимодействие и коммуникация**
+  - **Ежедневные стендапы** (Daily Standups)
+  - **Ретроспективы** (Sprint Retrospectives) для обсуждения результатов и поиска улучшений.
+  - **Документация**: внутренние вики, README, стандарты кодирования, playbook’и для инцидентов.
+---
+## 11. Лучшие практики DevOps
+. **Версионирование всего**
+   - Код приложения, инфраструктурный код (IaC), конфигурации, документация.
+. **Малые и частые релизы**
+   - Менее рискованные, проще откатить, быстрее получить обратную связь.
+. **Автоматизированное тестирование**
+   - Юнит-тесты, интеграционные тесты, энд-то-энд тесты, регрессионные тесты.
+. **Канареечные релизы и blue-green**
+   - Обеспечивают бесперебойность, позволяют постепенно вводить изменения.
+. **Непрерывный мониторинг и alerting**
+   - Чёткие SLA/SLO, настроенные алерты при отклонении ключевых метрик.
+. **Разделение окружений**
+   - Dev → QA/Staging → Production.
+   - Изоляция тестовых данных, использования отдельных ресурсов.
+. **Документирование процессов и архитектуры**
+   - Архитектурные диаграммы, плейбуки для инцидентов, Runbooks.
+. **Обратная связь и ретроспективы**
+   - Постоянное улучшение процессов, устранение узких мест.
+. **Постепенное расширение DevOps-культуры**
+   - Начать с одного проекта или небольшого этапа, показать результат (quick wins), затем масштабировать на всю организацию.
+---
+## 12. Основные метрики и KPI в DevOps
+. **Deployment Frequency** — частота релизов в production.
+. **Lead Time for Changes** — время от момента коммита до рабочего релиза.
+. **Change Failure Rate** — процент релизов, которые приводят к сбоям/инцидентам.
+. **Mean Time to Recovery (MTTR)** — среднее время восстановления после сбоя.
+. **Availability / Uptime** — доля времени, когда система доступна.
+. **Customer Ticket Volume** — количество обращений пользователей по непродуктивности.
+. **Time to Detect (TTD)** — среднее время обнаружения проблемы.
+Метрики должны быть прозрачными и доступными для всех команд. Их регулярный анализ позволяет выявлять узкие места и принимать решения, направленные на улучшение процессов.
+---
+## 13. Инструменты и стэк технологий DevOps
+| Категория                   | Инструменты / Технологии                                                                         |
+|-----------------------------|--------------------------------------------------------------------------------------------------|
+| **Система контроля версий** | Git, GitHub, GitLab, Bitbucket                                                                   |
+| **CI/CD-системы**           | Jenkins, GitLab CI/CD, GitHub Actions, CircleCI, Travis CI, Bamboo                               |
+| **Управление конфигурацией**| Ansible, Chef, Puppet, SaltStack                                                                 |
+| **IaC (Infrastructure as Code)** | Terraform, CloudFormation, Azure ARM Templates, Google Deployment Manager                    |
+| **Контейнеризация**         | Docker                                                                                           |
+| **Оркестрация контейнеров** | Kubernetes, OpenShift                                                                            |
+| **Мониторинг и алертинг**   | Prometheus, Grafana, Zabbix, Nagios, Datadog, New Relic                                           |
+| **Логирование и трассировка** | ELK Stack (Elasticsearch, Logstash, Kibana), Fluentd, Loki, Jaeger, Zipkin                   |
+| **Управление секретами**    | HashiCorp Vault, AWS Secrets Manager, Azure Key Vault                                            |
+| **Управление артефактами**  | Nexus, Artifactory, AWS CodeArtifact                                                              |
+| **Security / DevSecOps**    | SonarQube, Checkmarx, OWASP ZAP, Snyk, Clair                                                      |
+| **Облачные платформы**      | AWS, Google Cloud Platform (GCP), Microsoft Azure                                                  |
+| **Системы управления инцидентами** | PagerDuty, Opsgenie, VictorOps                                                           |
+---
+## 14. Примеры и кейсы
+### 14.1. Пример реализации CI/CD для веб-приложения
+. **Репозиторий на GitLab**
+   - Каждое изменение в ветке `develop` автоматически запускает pipeline.
+. **Pipeline stages**
+. **Build**: сборка артефакта (Docker-образ).
+. **Unit Tests**: запуск автотестов.
+. **Static Code Analysis**: проверка через SonarQube.
+. **Integration Tests**: деплой в staging-окружение, выполнение интеграционных тестов.
+. **Approval**: ручное подтверждение финального шага.
+. **Deploy to Production**: транспорт образа в Docker Registry, развертывание в Kubernetes.
+### 14.2. Кейсы внедрения DevOps в компании
+- **Spotify**
+  - Использовала микросервисную архитектуру, полностью автоматизированный CI/CD.
+  - Команды-«племена» (tribes) с автономией: каждая команда самостоятельно разворачивает и поддерживает свои сервисы.
+- **Netflix**
+  - Масштабируемое CI/CD, автоматизированное тестирование отказоустойчивости (Chaos Engineering, инструмент Chaos Monkey).
+  - Внедрение принципов «You build it, you run it» и сильная культура ответственности.
+- **Amazon**
+  - Постоянная доставка (Continuous Deployment). Ежедневные релизы сотен изменений.
+  - Высокая степень автоматизации:  বাইরে 90 % всех изменений проходим без вмешательства человека.
+---
+## 15. Трудности и риски при внедрении DevOps
+. **Сопротивление изменениям**
+   - Люди, привыкшие к традиционным методам, могут сопротивляться новым процессам и инструментам.
+   - Важна культура обучения, тренинги, поддержка со стороны руководства.
+. **Недостаток навыков и знаний**
+   - DevOps-инженеры должны владеть широким стеком технологий (CI/CD, контейнеры, облако, безопасность).
+   - Необходимы обучение, курсы, внутренний менторинг.
+. **Сложность интеграции сторонних инструментов**
+   - Различные системы (мониторинг, автоматизация, VCS) нужно связать между собой, настроить права доступа, webhook’и, уведомления.
+. **Проблемы безопасности**
+   - Без должного внимания к безопасности (DevSecOps) можно внедрить уязвимые контейнеры, неправильно настроить права доступа.
+. **Управление инфраструктурным «дрейфом»**
+   - Если инфраструктура создаётся вручную, могут появляться расхождения между средами.
+   - Решение: строгое использование IaC и регулярный аудит.
+---
+## 16. Заключение и рекомендации
+. **Начинайте с культуры**
+   - DevOps — прежде всего культурный сдвиг: открытость, автоматизация, совместная ответственность.
+. **Автоматизируйте всё, что можно**
+   - От сборки и тестирования до развертывания и мониторинга.
+. **Стремитесь к непрерывной доставке**
+   - Делайте релизы малых, управляемых частей, чтобы быстро получать обратную связь.
+. **Используйте IaC**
+   - Контролируйте инфраструктуру через код, чтобы обеспечить повторяемость и прозрачность.
+. **Внедряйте мониторинг и аналитику**
+   - Своевременное обнаружение проблем — ключ к быстрому восстановлению.
+. **Обязательное внимание к безопасности**
+   - Интегрируйте практики безопасности на всех этапах разработки (shift-left security).
+. **Непрерывно обучайтесь и совершенствуйтесь**
+   - Участвуйте в конференциях, курсах, обменивайтесь опытом внутри команды и с сообществом.
+---
+## 17. Литература и ресурсы для дальнейшего изучения
+. **Книги**
+   - “The Phoenix Project: A Novel About IT, DevOps, and Helping Your Business Win” — Gene Kim, Kevin Behr, George Spafford.
+   - “The DevOps Handbook: How to Create World-Class Agility, Reliability, and Security in Technology Organizations” — Gene Kim, Jez Humble, Patrick Debois, John Willis.
+   - “Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations” — Nicole Forsgren, Jez Humble, Gene Kim.
+. **Онлайн-ресурсы**
+   - [DevOps.com](https://devops.com/) — статьи и блоги по DevOps.
+   - [The DevOps Institute](https://devopsinstitute.com/) — сертификаты, вебинары, курсы.
+   - [Docker Documentation](https://docs.docker.com/) — официальная документация по контейнеризации.
+   - [Kubernetes Documentation](https://kubernetes.io/docs/) — документация по оркестрации контейнеров.
+. **Сообщества и конференции**
+   - **DevOpsDays** — локальные мероприятия по всему миру.
+   - **KubeCon + CloudNativeCon** — ключевое событие для облачных и контейнерных технологий.
+   - **Meetup-группы** в вашем городе (поиск на meetup.com).
+---

nadejnei.net

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы