Меню

Как настроить content downloader x1

Content Downloader — универсальный парсер контента

Content Downloader — это универсальный парсер контента с сайтов. С помощью программы вы можете получать, структурировать и обрабатывать практически любую информацию из открытых источников.

  • Купить программу можно на сайте разработчика sbfactory.ru
  • Задать вопросы можно на форуме пользователей.
  • Найти инструкции можно в системе помощи Content DownLoader.
  • Видео с реальными примерами парсинга можно найти на канале автора программы.

Если нет желания или времени вникать и разбираться, вы можете заказать настройку проекта Content DownLoader .

Описание программы Content Downloader

Порядок работы, описание основных разделов и функций программы, а также видео ролики, которые помогут понять суть работы с этими разделами.

    Сбор ссылок всех целевых страниц

Первое, что нужно сделать, собрать адреса всех целевых страниц — карточек товаров или статей, исключив рубрики и страницы «о сайте», «контакты» и т.п. Делаем это во вкладке программы «Ссылки» (справка).

Есть несколько способов сбора ссылок:

Загрузить ссылки карты сайта. Если у сайта есть карта сайта для роботов — sitemap.xml, которая обновляется и содержит ссылки на все страницы сайта, добавьте её адрес и программа сама соберёт все ссылки.

Название карты может быть любым и отличаться от sitemap.xml. Загляните в файл robots.txt, как правило, там указан адрес актуальной карты сайта для роботов.

Генерировать ссылки. Если у страниц понятная структура, например, содержащая порядковые номера (id) страниц или товаров, то можно задать шаблон и сгенерировать все возможные варианты.

Сканер сайтов. Настройте фильтрацию ссылок, указав какие ссылки включать, а какие не нужно. Запустите сканер и программа соберёт все ссылки.

Отфильтровать ссылки на целевые страницы лучше сразу, но можно это сделать после загрузки кликнув правой кнопкой в окне ссылками и выбрав пункт «Настроить фильтр», а затем «применить фильтры».

Настройка границ парсинга

В программе есть 20 обычных границ и 5 повторяющихся границ. Использовать можно повторяющие внутри обычных и наоборот.

Повторяющие границы нужны для сбора элементов, которые имеют одинаковый код. Например, парсинг картинок в галереи, строк или ячеек таблицы, списков характеристик.

Шаблон вывода контента

Здесь, Вы сможете настроить вывод/запись спарсенных блоков контента в определённой последовательности. Например, сначала вывести 5-ый блок, потом 3-й, а потом первый. Можно добавлять в шаблон произвольные слова и теги.

Загрузка и обработка картинок

Для загрузки картинок и других файлов на диск используется макрос DOWNLOADFILE, в который нужно поместить абсолютную или относительную ссылку на файл (справка).

Для вызова настройки макроса DOWNLOADFILE: SHIFT+CTRL+L
Вызов настройки обработки картинок: shift+ctrl+i

Модуль программы, который поможет обработать и импортировать контент в популярные CMS.

Редактор CSV файлов

Инструмент поможет редактировать csv файлы.

Функция html to txt

Функция позволяет очищать текст от html-тегов. Задать использование этой функции можно отдельно для каждой границы парсинга.

Настройка функции html to txt.

Здесь можно указать время и периодичность запуска парсинга сохранённых проектов.

Читайте также:  Как настроить карбюратор sco scorpion

Работа с прокси

Для парсинга можно использовать прокси. Программа имеет свой встроенный прокси чекер, который после загрузки прокси проверит их и удалит мёртвые. Также Вы можете указать, использовать прокси или нет, и если использовать, то при сканировании сайтов или при парсинге контента.

Готовые проекты Content Downloader

На форуме можно найти готовые проекты парсинга некоторых сайтов и заготовки для парсинга популярных CMS.

Страница обновляется. Здесь представлена подборка ссылок на инструкции и видео, которые помогут в освоении программы.

Если есть вопросы, на которые не требуется быстрый ответ, можете спрашивать в комментариях, но лучше это делать на форуме пользователей по ссылке выше.

Описаны не все возможности и функции программы. Пост редактируется и дополняется.

Источник

Content Downloader X1 – универсальный парсер сайтов

скачать/обновить программу
просмотреть весь лог изменений
экспресс-курс
Лицензионное соглашение (рекомендуем ознакомиться!)
скачать демо-версию

Если интернет – ваша работа, то Content Downloader должен стать вашими руками ©


Для получения консультаций, для заказа готовых проектов настроек по сбору товаров с интернет-магазинов или любой другой информации с сайтов напишите по Whatsap/Telegram +79833813211 (Сергей).

Парсинг в любые интернет-магазины

Возможность парсить практически все сайты

Также есть возможность использовать для парсинга браузер на основе Chromium, обернутый в нашу оболочку WBAppCEF (клик для справки). При парсинге браузер выполняет все скрипты на WEB страницах + можно эмулировать действия пользователя на WEB страницах (клики, прокрутку, вставка текста и прочее).

Множество функций и макросов для обработки данных при парсинге

Срок действия ключа универсального парсера сайтов не ограничен по времени

При покупке Content Downloader вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года или бессрочно в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

ключ придет в течение 30 минут, максимум – 8 часов с момента оплаты

Просто оплатите нужную сумму на один из указанных ниже реквизитов и отправьте нам письмо на e-mail sbfroot@gmail.com с информацией об оплате (сумма и с какого счета/кошелька оплатили). Также желательно в примечании к переводу указать вашу почту.

  • Яндекс счет 41001648375948
  • QIWI +79833813211
  • PayPal sbfroot@gmail.com (Если вы отправляете платеж в другой валюте (не рубли), то посчитайте сумму по курсу ЦБ РФ (сумму в рублях разделить на курс валюты), сумма оплаты через PayPal на 6% больше!
  • Перевод на карту VISA 4276 3000 5405 7792 ( Сбербанк , Зайковский Сергей Владимирович)

СПАСИБО!

Standard: Оптимальный выбор (можно устанавливать до 20 потоков при парсинге контента и сканировании сайта на предмет ссылок)
+ 1 год подписки на обновления

ULTIMATE: Лучший выбор, открыты все возможности! (можно устанавливать до 50 потоков при парсинге контента и до 200 потоков при сканировании сайта)
+ WBApp (имитация кликов по кнопкам WEB-страниц, прокрутка WEB-страниц вниз и многое другое)
+ Мощные макросы парсинга таблиц характеристик товаров
+ 2 года подписки на обновления!

Читайте также:  Как настроить роутер apple через windows

Под потоками понимается одновременное количество параллельных запросов к сайту при парсинге.

При покупке программы вы бонусом получаете возможность обновлять ее бесплатно на протяжении 1 года с момента активации (2 года в случае приобретения лицензии ULTIMATE) (далее, при желании, можно в любое время пролонгировать подписку на обновления)

Обращаем ваше внимание на то, что в стоимость Content Downloader не включены услуги по его настройке! Вы можете самостоятельно изучить программу, используя имеющиеся на сайте материалы системы помощи (http://sbfactory.ru/cd/). В обязанности технической поддержки входит только решение проблем активации программы! Ответы на остальные вопросы даются на наше усмотрение!

Также у специалистов по настройке вы можете заказать следующие платные услуги:
– Настройку парсера сайтов под определенный ресурс (или ресурсы);
– Персональное обучение работе с программой;
– Доработку ваших проектов.
Подчеркиваем, что мы не отвечаем за работу специалистов по настройке (так как это фрилансеры). Но мы давно и тесно с ними сотрудничаем, контролируем их деятельность и принимаем от вас любые комментарии по их работе.

После покупки ключа универсального парсера сайтов вы обязаны хранить его! Настоятельно рекомендуем записать код активации (ключ) и e-mail адрес (с которым вы его активировали) в “блокнот из бумаги”. Как показывает практика, это бывает очень полезно!

Одна программа для сбора любой информации с любых сайтов (весьма сильно). Да, она может показаться сложноватой в освоении, но зато какие большие возможости

2) Продукт, который развивается более 10 лет

Если ознакомиться с логом доработок (смотрите выше) станет понятно, сколько сил и труда вложено в универсальный парсер сайтов

3) Честный и полностью контролируемый универсальный парсер

Вы получаете полный контроль на каждом этапе. При сборе ссылок, парсинге и обработке контента, при публикации данных. Вы полностью управляете процессом и это позволяет делать уникальное

4) Серьезные технологии

Помимо оптимизированных многопоточных функций в Content Downloader используются достойные компоненты. Например, коммерческая библиотека для выполнения запросов Clever Internet Suite (позволяет делать запросы к любым сайтам и имеет очень большой функционал). Также в программе используется современный движок браузера Chromium (с ним можно парсить сайты, где обычные GET или POST запросы не справятся, также можно автоматизировать действия пользователя в браузере)

5) Лояльная цена

От 2000 до 5000 рублей (в зависимости от типа лицензии). Полностью функциональная версия за 3000 рублей

Есть вопрос – мы постараемся ответить на форуме. Хотите полностью настроенный проект – мы сделаем за подобающую стоимость

7) Развитая и полноценная справка

Обратите внимание на систему помощи, сколько в ней описано различных возможностей (ссылка справа в сайдбаре)

Пожалуйста, посмотрите демонстрационное видео универсального парсера сайтов (не забыв выбрать качество HD в плеере):

Описание универсального парсера сайтов Content Downloader

Читайте также:  Не работает slave режим starline

Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых сайтов (где это вообще возможно)

Content Downloader может применяться для:
Парсинга товаров интернет-магазина в таблицу CSV (с любым требуемым набором столбцов на выходе)
Парсинга статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов) в txt или htm форматы
– Парсинга телефонных номеров, e-mail адресов или любой другой контактной информации (в CSV, txt или html, как вам угодно)
– Парсинга скрытой информации, доступной только после клика, например, на кнопку “показать номер” или “показать контактные данные” (для этого требуется тип лицензии ULTIMATE, включающий в себя приложение WBApp, которое и будет имитировать клики по кнопкам)
– Парсинга скрытой информации, доступной после авторизации;
– Парсинга любых, удовлетворяющих заданным фильтрам, ссылок с сайта (до 1 миллиона)
– Парсинга любых частей кода WEB-документов и их вывод в нужном для вас формате
– Парсинга XML-карт сайтов

Парсер сайтов является универсальным! Перечислять полный список его областей применений можно очень долго, так как он ограничен лишь воображением…

Принцип работы Content Downloader очень удобен, эффективен и прост: вы указываете программе (в HTML-коде страницы), с каких частей веб-страниц брать данные, и в каком формате их выводить. Если вы хотите ознакомиться с этим более детально – пожалуйста кликните сюда.

Некоторые дополнительные возможности универсального парсера сайтов:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси (в том числе и SOCKS с авторизацией)
– Возможность задавать паузу между запросами и изменять количество потоков
– Возможность обработки данных непосредственно в процессе парсинга
– Загрузка файлов и картинок на ваш FTP-сервер прямо при парсинге контента
– Автоматическая загрузка результирующего CSV-файла на FTP-сервер после процедуры парсинга контента
– Возможность парсить разом огромное количество характеристик товаров (только для ULTIMATE-версий)
– Возможность отправки данных в базу MySQL сразу при парсинге
– Возможность подключения собственных PHP-скриптов для обработки данных при парсинге контента
– Возможность парсить через Internet Explorer (DOM) (с поддержкой выполнения различных скриптов);

Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми заданными столбцами), htm, txt, php, MySQL

Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM

Также в универсальном парсере сайтов Content Downloader есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.

С уважением к вам, администрация сайта…

PS: В тексте часто используется словосочетание универсальный парсер сайтов для определенных целей. Надеемся на ваше понимание. Спасибо!

Источник

Adblock
detector