Простая тулза для сбора вакансий из RSS ленты хабр карьеры. Все аккуратно собирается в базу для последующего анализа. Выполнено в виде микросервиса с возможность развертывания на бесплатном уровне в heroku.Предусмотрено так же создание дампа данных для того чтоб можно было забрать в другое место.
- поставить пакеты из requirements-dev.txt -- pip install -r requirements-dev.txt
- авторизоваться в heroku-cli и выбрать проект
- Настроить postgres, redis на heroku
- Запустить ./run_from_local_migrations_on_heroku.bash чтоб прошли миграции для БД
- запустить что вам требуется из баш скриптов run_local*
- Жмакнуть по кнопке
- Подцепить сервис Postgres и redis
- Засунуть в настройка переменных среды параметр ACCESS_MAGIC_KEY в котором указать случайные значения. Это пригодиться если захочется выгружать дампы.
- Указать в переменных среды RSS_URL адрес откуда тянуть данные https://career.habr.com/vacancies/rss?page=1&per_page=25&q=Ruby
- Запустить ./run_from_local_migrations_on_heroku.bash чтоб прошли миграции для БД
- Прописать в heroku cron : cd src/ && python3 parser_hc.py
- Enjoy
