Паша Финкельштейн, JetBrains
Он занимается маркетингом
Она работает SRE
А это бизнес, который им платит
Даёт нам простой (сравнительно) способ установки и настройки хадупа
yum install ambari-server*.rpm ambari-server setup ambari-server start # agents yum install ambari-agent*.rpm ambari-agent start
Нам нужны инсайты! Нам нужны эксперименты!!1
Дата саентисты генерируют много кода.
Дата инженеры часто не имеют квалификации его проверить и времени его поддерживать.
Время DevOps
Вопросы:
Courtesy of @vvsevolovich
И найти ошибки всё равно сложно
Production-ready решений нет!
Есть вопрос на reddit, где нет ответа
Поэтому пользуемся тем, что сделал я: asm0dey/liquibase-hive
Надеюсь что всё станет лучше
Собрать, задеплоить, запустить
И все они плохие.
make myApp # sbt 'project myApp' assembly # docker build ... echo "To run your application run 'docker run --env-file …'"
projects = someProject1 someProject2 define project_rule build-$1: sbt 'project $1' clean endef $(foreach f,$(projects),$(eval $(call project_rule,$f)))
result=0 for var in "V1" "V2" "V3"; do if test -z "${!var}"; then echo "Variable $var is not defined" result=1 fi done test $result = 0 || exit 1 spark-submit # args here
Практически любые задачи (ETL и DS) надо запускать периодически
Два базовых понятия:
dag = DAG(catchup=False, name="dag_name", start_date="20200202", schedule="0 3 * * *") task1 = SomeTask(dag=dag, name="somename1") task2 = SomeTask(dag=dag, name="somename2") task3 = SomeTask(dag=dag, name="") task1 > task2 > task3
HOCON
YAML на стероидах
dag { name = "somename" image = "docker-image-base"${dag.name} connections = [some, another] }
Его отлично умеет Scala и хорошо умеет Python. И читать просто
0 2 * * */13 → 0_2_A_A_AD13 (потому что новое расписание — новый DAG)
0 2 * * */13
0_2_A_A_AD13
Для Spark существует несколько решений:
Теоретически Zeppelin — альтернатива JupyterHub. И с ним интегрируются Big Data Tools by JetBrains
Интерактивный блокнот, который может всё:
Но не смогли настроить так, чтобы работало для всех
is:issue is:open sort:updated-desc label:bug
На момент написания там 20 багов открытых багов, 3 из которых были для нас критичны.
В том числе баг работы с HOCON конфигурацией
Livy enables programmatic, fault-tolerant, multi-tenant submission of Spark jobs from web/mobile apps (no Spark client needed). So, multiple users can interact with your Spark cluster concurrently and reliably.
Эту штуку неудобно использовать дата саентистам:
Однако со временем призводят они.
Мне надо запустить расчёт, на который на моём ноуте не хватает памяти
Что делать?
A quantity of yarn, thread, or the like, put up together, after it is taken from the reel.
https://jcrist.github.io/skein/
Инструмент для запуска в кластере чего угодно
Форматы описания:
master: resources: memory: 2 GiB vcores: 2 env: FRIEND: Yarn files: ["..."] script: | echo "Hello, $FRIEND!" source .venv/bin/activate && python app.py
skein application submit spec.yml
app=skein.ApplicationSpec( master=skein.Master( script=""" # script """, env={ FRIEND: "Yarn" }, files=[…], resources=skein.Resources( memory=2, vcores=2 ) ) ) with skein.Client() as client: client.submit(app)
Key/Value store
client.kv.wait['mykey'] client.kv['mykey'] = 'skein is a magic'
Сервисы Кроме основного узла можно запускать любое количество вспомогательных
Scale
client.scale(myservice, 15)
https://jcrist.github.io/venv-pack/
venv-pack -o my_env.tar.gz
Skein из коробки поддерживает venv-pack
https://jcrist.github.io/hadoop-test-cluster/
Обёртка над docker-compose
docker-compose
В основном нас волнует внутренняя безопасность и надёжность
Каждый джоб в докер Версионированный докер Версионированный набор DAG'ов в Airflow Всё в Artifactory™
liquibase:
На самом деле нет!
Впереди ждут:
@asm0di0 @asm0dey Подкаст: it.asm0dey.ru + t.me/ps_podcast
