Apache Airflow

Apache Airflow

Airflow е платформа за програмиране на автори, планиране и наблюдение на тръбопроводи за данни.
  • Безплатно
  • Linux
Airflow е платформа за програмиране на автори, планиране и наблюдение на тръбопроводи за данни.Използвайте Airflow за авторски работни процеси като насочени ациклични графики (DAGs) на задачите.Планировникът на въздушния поток изпълнява вашите задачи върху масив от работници, като следва определените зависимости.Богатите комунални линии правят бързо извършването на сложни операции на DAG.Богатият потребителски интерфейс улеснява визуализацията на тръбопроводи, работещи в производството, следене на напредъка и отстраняване на проблеми при необходимост ... Принципи Динамика: Тръбопроводите на въздушния поток са конфигурирани като код (Python), което позволява динамично генериране на тръбопровода.Това дава възможност за писане на код, който създава динамично тръбопроводи динамично.Разширяемо: Лесно дефинирайте собствените си оператори, изпълнители и разширете библиотеката, така че да отговаря на нивото на абстракция, което отговаря на вашата среда.Елегантен: Тръбопроводите за въздушен поток са стройни и явни.Параметрирането на вашите скриптове е вградено в сърцевината на Airflow с помощта на мощен Jinja шаблонен двигател.Мащабируемост: Airflow има модулна архитектура и използва опашка за съобщения, за да говори за организиране на произволен брой работници.Въздушният поток е готов за мащабиране до безкрайност.
apache-airflow

Алтернативи на Apache Airflow за Self-Hosted с безплатен лиценз