Пакеты

Создание пакета

• Открыть панель Пакеты узла

• Нажать кнопку на панели инструментов.

• Откроется окно создания пакета:

  

  В окне задаются:

  • Метка - название пакета;

  • Переключатель - включить/отключить запуск обработки пакета после загрузки

  • Переключатель - включить/отключить использование параметров узла в качестве полей пакета

    Если включить данный переключатель, то соответствующие значения параметров узла (то есть значения параметров с такими же именами, что и у полей пакета) не будут доступны в скриптах узла при использовании, например, функции job.load. В этом случае для доступа к параметрам узла в скрипте необходимо использовать функцию job.params.

  • Переменные пакета типа поле, соответствующие параметрам узла (при их наличии и включении предшествующего переключателя);

  • Переменные пакета типа файл загрузив произвольные файлы из файловой системы.

Обработка пакета

• Открыть панель Пакеты узла

• Выбрать необходимый пакет установив напротив него переключатель в значение .

• Нажать кнопку на панели инструментов.

  

• Перейти в панель Задания узла, в котором должно появиться новое задание. Может потребоваться обновить список заданий.

Процесс выполнения задания можно контролировать с помощью файла журнала идентификатор_задания.log, который расположен в списке файлов задания (см. панель Задания).

Обработка пакета Jupyter скриптом

• Открыть панель Файлы узла и добавить Jupyter скрипт.
• Открыть панель Контейнер узла и в Script указать:

  jupyter nbconvert --execute --to html script_name.ipynb
  

  Здесь script_name.ipynb - название скрипта, jupyter nbconvert - утилита конвертации.

Обработка пакета по расписанию

Можно осуществлять отложенный запуск задания согласно заданному пользователем расписанию.

• Открыть панель Пакеты узла.

• Выбрать необходимый пакет, установив напротив него переключатель в значение .

• Нажать кнопку на панели инструментов.

  

• Задать время запуска в поле в Cron-формате

  Формат:

      
      * * * * *
      | | | | |
      | | | | +----- Дни недели (диапазон: 1-7)
      | | | +------- Месяцы     (диапазон: 1-12)
      | | +--------- Дни месяца (диапазон: 1-31)
      | +----------- Часы       (диапазон: 0-23)
      +------------- Минуты     (диапазон: 0-59)
      
    

  • Любое из пяти полей может содержать символ * в качестве значения. Это означает полный диапазон возможных значений, например, каждая минута, каждый час и т.д.
  • Любое из полей может содержать список значений, разделенных запятыми (наприимер, 1,3,7) или интервал (поддиапазон) значений, обозначаемый дефисом (например, 1-5).
  • После звездочки * или интервала можно с помощью символа / указать шаг значений. Например, 0-23/2 может использоваться в поле "Часы" для указания того, что действие должно происходить каждые два часа, значение */4 в поле "Минуты" означает, что действие, должно происходить каждые четыре минуты, 1-30/3 - это то же, что и 1,4,7,10,13,16,19,22,25,28.
  • В полях "Месяцы" и "Дни недели" можно вместо числовых значений использовать сокращенные до трех букв названия месяцев (Jan, Feb ... Dec) и дней недели (Mon, Tue ... Sun).

  

  • В выпадающем списке примеров можно выбрать подходящий шаблон.

  • С дополнительными примерами можно ознакомиться после перехода по сслыке .

• Установить переключатель в значение Одноразовое выполнение задания.

• Нажать на кнопку "СОХРАНИТЬ".

• Перейти в панель Задания узла, в котором должно появиться новое задание (может потребоваться обновить список заданий). Наличие у задания статуса сообщает об успешном запуске "будильника".

Интерактивная обработка пакета с Jupyter Notebook

Смотреть интерактивная обработка пакета.

Интерактивная обработка пакета

С видео примером можно ознакомиться в разделе видео.

Запуск

• Открыть панель Контейнер узла и в параметре Память установить не менее 256М.

• Открыть панель Пакеты узла

• Выбрать необходимый пакет установив напротив него переключатель в значение .

• Нажать кнопку на панели инструментов.

  

• Перейти в панель Задания узла, в котором должно появиться новое задание. Может потребоваться обновить список заданий.

• Когда Состояние задания станет вида , щелкнуть по иконке состояния .

• В браузере будет открыта новая вкладка с панелью Jupyter.

  

• После щелчка по скрипту узла в браузере будет открыта новая вкладка с Jupyter редактора с скриптом узла с возможностью интерактивного редактирования и выполнения.

  Стандартные образы контейнеров RnDFlow включают в себя библиотеку Jupytext, которая позволяет работать с обычными скриптами в Jupyter Notebook. При открытии такого файла он будет автоматически разбиваться на блоки (пустая строка определяет начало блока), можно задавать блоки самостоятельно с помощью комментариев вида: #+ и #- .

  

Остановка

• Сохранить все изменения в вкладке Jupyter редактора с скриптом узла нажав на кнопку сохранения в панели инструментов Jupyter редактора.

• В вкладке с Jupyter панелью нажать кнопку Quit (верхний правый угол).

  Через определенное время неактивности, заданное в настройках исполнителя задач (по умолчанию 24 часа), интерактивное задание будет автоматически остановлено.

• Перейти в панель Задания узла и щелкнуть по идентификатору задания в поле Id.

• В списке файлов выбрать необходимые файлы и нажать для каждого кнопку для сохранения изменений в файлы узла.

Переименование переменных

Смотреть переименование переменных в связи в разделе Связи.

Фильтрация пакетов

Смотреть фильтрация пакетов в разделе Связи.