Техническое задание на разработку парсера.
Ссылка на источник: https://zootovary.ru
Цель - получение информации о товарах: цены, артикулы, штрихкоды, параметры; Получение списка доступных категорий товаров.
Общие требования к разработке: разрабатывается консольное приложение; язык разработки Python 3; операционная система, на которой должен работать парсер: Ubuntu 18.04.3 LTS x64 или новее; придерживаться принципам ООП, избегать высокого уровня вложенности. написание кода в соответствии с PEP8, наличие необходимых комментариев; реализовать обработку исключений, код должен продолжать отрабатывать несмотря на появление ошибок в обработке получаемых данных; реализовать логирование работы (включая логирование ошибок) в TXT-файл; предусмотреть возможность дальнейшего удобного расширения функционала.
Требования к функционалу: Получение списка категорий товаров. У каждой категории необходимо получить уникальный id и по возможности id родительских либо дочерних категорий для понимания иерархии дерева категорий. В качестве id можно указывать часть строки url: "/tovary-i-korma-dlya-koshek/". Парсер должен конфигурироваться для сбора данных как по полному каталогу, так и по выбранным категориям.
Пример типовой структуры файла (categories.csv):
Получение списка товаров. Их цены, наименования, артикулы, штрихкоды, цепочки категорий в каталоге, параметры (страна, вес, объем, количество штук), ссылки на изображение, ссылки на страницу товара. Текстовые данные собираются в csv-файлы. Кодировка - Unicode UTF-8, разделитель полей - точка с запятой (;). Настройка парсера через файл config.json
Файл конфигурации должен содержать следующие параметры: “output_directory” - имя директории, в которую будут записываться csv-файлы c результатами парсинга. По умолчанию: "out". “categories” - список id категорий, которые будем парсить. Возможность указать несколько категорий через запятую. Если категорий не задано, перебираем полный каталог, т.е. все категории. “delay_range_s” - Минимальное и максимальное значение искусственной задержки между товарами в секундах (чтобы избежать блокировки за спам). Программа должна выбирать задержку случайным образом в заданном интервале. По умолчанию 1-3 секунды. При значении 0 искусственная задержка отключается и скорость работы парсера зависит от аппаратного обеспечения. “max_retries” - количество попыток повторного запроса, в случае некорректного ответа. “headers” - Необходимые заголовки запросов (User-agent и т.п.). “logs_dir” - имя директории, в которую будут записываться логи. “restart” - Количество попыток перезапуска и задержка между ними при аварийном завершении парсинга. Формат: "restart": { "restart_count": 3, "interval_m": 0.2 }
Перечень столбцов выходного CSV-файла с пояснениями по формированию: price_datetime - Дата и время сбора данных по товару. Пример: 2022-11-22 16:17:33 price - Регулярная цена. Тип данных - число. Пример: 134.99 price_promo - Акционная цена. Тип данных - число. Пример: 99.99 sku_status - наличие товара. 1 - в наличии. 0 - не в наличии. sku_barcode - Штрихкод товара. Тип данных - текст. Если их несколько, дублируем строку для каждого из них. sku_article - Артикул товара. Тип данных - текст. Не записывать в результат парсинга товары, у которых совпадает и артикул, и штрихкод с уже найденными товарами. sku_name - Наименование товара. sku_category - Название категории товара в каталоге. Сбор данных должен происходить по иерархии сверху вниз, от родительских категорий к дочерним. Например: ”Колбасные изделия|Сосиски, сардельки, шпикачки|Сосиски”. sku_country - страна. sku_weight_min - вес, в граммах, тип данных - число. sku_volume_min - объем, в миллилитрах, тип данных - число. sku_quantity_min - количество единиц, например, 100 салфеток в пачке, тип данных - число. sku_link - ссылка на товар в интернет-магазине. Собираем без лишних параметров, в максимально лаконичном виде. sku_images - Прямые ссылки на каждую фотографию товара.
Примечания: При парсинге продукта перехват ошибок должен быть изолированным по каждому атрибуту. Например, проблемы с извлечением параметра sku_images не должны приводить к пропуску всего товара, достаточно оставить поле sku_images незаполненным.
По ходу парсинга в консоль должна выводиться информация, по которой можно судить о текущем статусе парсера (например, обрабатываемый в данный момент товар, категория товаров)
Используемые функциональные библиотеки: Requests BeautifulSoup