06.10.2020
О компании:
Fides.com - ООО Фидес, международная компания, занимающаяся парсингом и обработкой данных, а так же операциями с доменными именами. Мы выбираем гибкий подход в разработке, и поддерживаем раскрытие потенциала сотрудников компании.
Зарплатная вилка
100-200 USD \ проект
Тип работы
Подработка/Неполный рабочий день
Тип занятости
Удаленка
Описание вакансии:
Мы работаем с парсерами.
На данный момент есть задача написать wrapper для скачивателя сайта (webdriver).
При успешном сотрудничестве по этому проекту - будет регулярный поток задач (с занятостью до 20 ч в неделю)
---------------------------
О текущей задаче:
1. Нужен враппер, для автоматизации повторных запусков парсера (парсер на питоне).
2. Текущая ситуация: по окончании работы парсер формирует список сайтов, которые не удалось спарсить.
Оператору сейчас приходится вручную брать этот список и запускать их на повторную обработку, и так до той степени, пока не устроит результат (действий не много (запустить скрипт с подкладыванием списка failed в нужную папку), но это монотонно).
3. Враппер контролирует момент завершения работы скрипта,
Берет список failed, запускает их в работу.
И так далее, пока либо список failed не будет пустым, либо пока не закончится прирост (такая конепция: в конфиге прописывается success rate, напр, 5%. Если новый failed список по сравнению
со старым уменьшился на 5 или более процентов, то запускаем еще раз. Если меньше, то заканчиваем.)
Требования по позиции:
• Уровень Senior или очень уверенный мидл
• Опыт на чистом Руби от 3-5 лет
• Работа на Linux;
• Опыт работы с парсерами;
• Опыт самостоятельной разработки.
Условия работы:
• Учитываем Ваш часовой пояс и предпочтения по коммуникации;
• Регулярные еженедельные выплаты.
Дополнительные инструкции:
• При отклике присылайте резюме и примеры скриптов на чистом Руби