Menu
W-plugins-03

Масштабування даних: Big Data Hosting – архітектурний плейбук для CTO

Цей плейбук концентрує практику проєктування і експлуатації Big Data‑платформ. Він допоможе ухвалити ключові рішення: референс‑архітектури, вибір сховища та формату, дизайн мережі та SLO, «безпека за замовчуванням» і контроль вартості. На кожному кроці показуємо, як рішення мапляться на можливості Unihost (обчислення, об’єктне сховище, високошвидкісна фабрика, колокація та керування), щоб швидше перейти від вибору до запуску.

Референс‑архітектури

1) Real‑time аналітика (stream‑first)

  •       Інжест: Kafka (3+ брокери), registry схем, REST/gRPC‑шлюзи.
  •       Обробка: Flink (низька затримка), Spark Structured Streaming для мікро‑батчу.
  •       Сховище: lakehouse (S3‑сумісне) з Delta/Iceberg/Hudi.
  •       Доступ: Presto/Trino, ClickHouse для суб‑секундного OLAP; API через FastAPI.
  •       Unihost: bare‑metal з NVMe під Kafka/Flink state, 25/100 GbE spine‑leaf, S3‑кластери, опційно GPU для інференсу.

2) Batch lakehouse (ETL/ELT)

  •       Інжест: Airbyte/Fivetran, CDC (Debezium).
  •       Обробка: Spark на k8s/YARN; оркестрація Airflow/Argo.
  •       Сховище: об’єкт як source of truth; каталоги (Glue/Hive), формати таблиць (Iceberg/Delta).
  •       Доступ: Trino/Presto/Impala; BI через JDBC.
  •       Unihost: щільні CPU‑вузли, рознесене сховище, приватні VLAN, керовані снапшоти.

3) IoT/телеметрія (edge → core)

  •       Edge‑збір: MQTT, локальний буфер.
  •       Потік: Kafka з tiered storage; Flink windows/CEP.
  •       Тайм‑серії: TimescaleDB/ClickHouse; cold – об’єкт.
  •       Unihost: edge‑колокація, регіональні POP, приватний бекбон у core.

4) ML feature store (offline/online)

  •       Offline: Spark на lakehouse; каталог/лінійдж.
  •       Online: Redis/Cassandra/Scylla; сервінг моделей (Triton/TF Serving).
  •       Синхронізація: job‑и матеріалізації для паритету.
  •       Unihost: GPU‑пули, швидкі NVMe, сегрегація мереж train/serve.

5) Регульовані дані (PII/PHI/PCI)

  •       Зонування: landing/raw/curated/trusted; токенізація на вході.
  •       Контролі: рівень рядків/стовпців, KMS/HSM, незмінні аудит‑логи (WORM).
  •       Unihost: виділені клітки/шафи, прив’язка резиденції даних, шифровані бекапи, підтвердження відповідності за запитом.

Дерева рішень

Шар зберігання

  •       HDFS – коли on‑prem batch, висока послідовна швидкість, стабільний кластер.
  •       S3‑сумісне об’єктне – коли потрібна еластичність, multi‑tenant, lakehouse і прозорість витрат.
  •       Гібрид: HDFS для «гарячого» shuffle + об’єкт – для довговічного шару істини.

Формати файлів

  •       Parquet/ORC для аналітики (колоночні, predicate pushdown, векторизація).
  •       Avro/JSON для обміну/потоків; схеми у registry.

Формати таблиць

  •       Iceberg – для довгоживучих таблиць, еволюції схем і time travel.
  •       Delta Lake – для Spark‑центричних стеків і простих upsert/ACID.
  •       Hudi – для потокових upsert та інкрементальних витягів.

Оркестрація

  •       Airflow – для різнорідних ландшафтів і «людських» процесів.
  •       Argo/Kubeflow – для k8s‑native CI/ML.
  •       Unihost підтримує обидва – обирайте те, що реально зможете підтримувати.

Мережа та SLO

Цілі

  •       Усередині стійки: <5 мкс; між leaf: p95 < 150 мкс; північ‑південь до об’єктного сховища: p95 < 2 мс.
  •       Важкий shuffle Spark: 30–60 Гбіт/с на вузол без втрат під час merge.

Дизайн

  •       Spine‑leaf 25/100 GbE, ECMP, jumbo‑кадри (9000), DCB за потреби.
  •       Розділення площин: data, management, replication. Приватні VLAN для команд/продуктів.
  •       Близькість брокерів: Kafka/Flink поруч із обчисленнями та NVMe.

Unihost

  •       Неблокуючі фабрики, агрегація NIC, QoS і приватні міжДЦ‑лінки; на PoC даємо дашборди p95/p99.

Безпека за замовчуванням

  •       Зонування та мінімальні привілеї: landing/raw/curated/trusted + окремі IAM‑ролі.
  •       Шифрування: TLS скрізь; на диску – SSE‑KMS чи клієнтське; envelope для PII.
  •       Секрети/KMS: централізований KMS/HSM, авто‑ротація; ключі не зберігаємо в ноутбуках/ETL‑репо.
  •       Контролі рядків/стовпців: Ranger/Lake Formation/Iceberg‑фільтри; токенізація чутливих атрибутів.
  •       Аудит/лінійдж: незмінні логи (WORM), OpenLineage/Marquez.
  •       Unihost: KMS на HSM, захищене завантаження, політики стирання дисків, підтримка комплаєнсу (GDPR/HIPAA‑ready).

Розмір і економіка

Орієнтири

  •       Сховище: колоночні формати + стиснення дають ~3–6×; плануйте 30–50% запасу.
  •       Обчислення: 50–70% середня завантаженість batch‑вузлів, 40–60% – stream для SLO.
  •       Пам’ять: Spark executors 6–8× ГБ від кількості ядер для важких join; файли 512 МБ–1 ГБ.

Важелі вартості

  •       Довговічність на об’єктному; гарячий shuffle – на NVMe; нічні компакції.
  •       Spot/преривані вузли для некритичних батчів; резерв для стабільних.
  •       Tiering: hot (NVMe) → warm (object) → cold (archive). TTL на рівні таблиць/неймспейсів.

Unihost

  •       Прозорі тарифи за ТБ і Гбіт/с, резерви та консультації: зв’яжемо метрики навантажень з типами вузлів до покупки.

Операції

  •       IaC: Terraform + Ansible/ArgoCD; середовища як код із вікнами змін.
  •       Деплой: blue‑green/rolling для каталогів і рушіїв запитів; канарки для Spark/Flink.
  •       Бекапи/DR: снапшоти форматів + версіонування об’єкта; регулярні тренування відновлення.
  •       Патчі: щомісячно ОС/JVM; терміново для CVE. Вікна – за календарем job‑ів.
  •       Unihost: плейбуки, 24/7 NOC та опційний managed SRE для наших дата‑центрів/колокації.

Спостережуваність і KPI

  •       SLO: p95 латентність запитів, кінець‑в‑кінець лаг стриму, успішність job‑ів, свіжість даних, дрейф схем.
  •       Інфра: CPU/RAM/IOPS на вузол, мережа p95/p99, GC‑паузи.
  •       Якість даних: null/дублікати, порушення обмежень, аномалії.
  •       Вартість: $/ТБ‑міс (по тиру), $/запит, $/успішний job; алерти на аномалії витрат.
  •       Unihost надає tenant‑дашборди і експорт у ваш SIEM/BI.

Міграції і ризики

  •       Перенесення в об’єктне сховище; поступовий перехід від ETL до ELT.
  •       Подвійний запис під час cutover; перевірка data‑diff (Deequ/Great Expectations).
  •       Боріться з «малими файлами»: компакції з першого дня.
  •       Не тюньте JVM раніше, ніж виправите формати/партиції.
  •       Архітектори Unihost проводять PoC з синтетичними та реальними навантаженнями для фіксації KPI перед масштабуванням.

Checklists

Готовність

  •       Визначені SLO, зони даних, IAM, формати таблиць, неймінг, ретеншн.
  •       Мережа перевірена (p95/p99), jumbo frames, класи QoS.

Введення в експлуатацію

  •       Бекапи ввімкнені і тестувались, каталог/лінійдж доступні, 7 днів «зелених» дашбордів.
  •       Резерв потужності ≥ 30%, політики автоскейлу, затверджені плейбуки.

DR

  •       Задокументовані RPO/RTO; відновлення тестувалось цього кварталу; крос‑регіональна реплікація перевірена.

Висновок

Успіх Big Data – це архітектура. Обирайте формати і сховища, що зберігають гнучкість, проєктуйте мережу під SLO, вшивайте безпеку і ставте вартість у перший ряд метрик. З інфраструктурою Unihost (високошвидкісні фабрики, NVMe‑вузли, S3‑сумісне сховище та практична підтримка архітекторів) ви швидше перейдете від діаграми до продакшену і масштабуватиметесь разом із зростанням даних.

Додаток

  •       KPI: p95/p99 запитів, SLA свіжості, вартість за успішний job, MTTR збоїв, інциденти дрейфу схем.
  •       FAQ: HDFS чи S3? Для довговічності/еластичності – S3‑сумісне; HDFS – для «гарячого» shuffle. Delta чи Iceberg? Iceberg – для мульти‑рушіїв, Delta – для Spark‑центричних. Чи потрібні GPU? Для навчання/інференсу або прискореного SQL. Скільки брокерів Kafka? Почніть з 3 і масштабуйте секціями/пропускною.
  •       Примітка Unihost: проводимо воркшопи з sizing, ділимось бенчмарками і робимо спільні PoC до продакшену.