|
|
WebTransporter - программа для скачивания сайтов
Некоторые советы разработчиков
Глубина сканирования
Самая распространенная ошибка, которую делают пользователи, впервые столкнувшиеся с
WebTransporter`ом,- запуск проекта с большой глубиной сканирования. В этом случае Вы рискуете выкачать очень много совершенно ненужной информации, затратив на это уйму времени и денег. Поэтому мы советуем перед запуском проекта зайти на сайт
с помощью обычного браузера и внимательно оценить представленную информацию, а заодно и прикинуть, какой начальный URL лучше всего задать программе.
Маскировка под браузер
Многие пользователи не понимают суть этой возможности. Поясним ее популярно. Дело в том, что некоторые сайты в Интернете очень дорожат информацией, которую они содержат и совершенно не спешат делиться ей с оффлайн браузерами. Это
объясняется тем, что оффлайн браузеры - это автономные программы, разработанные преимущественно для работы без вмешательства человека, что неинтересно тем сайтам, которые живут за счет показа рекламы. Такие сайты проверяют программу, которая обращается к его страницам, и если это оффлайн браузер - просто не разрешают ему закачку.
Именно для обхода такого рода защиты WebTransporter имеет возможность маскировки под браузер, а также возможность морфинговой маскировки - когда каждый запрос осуществляется как бы от имени другого браузера, что в некоторых случаях повышает результативность.
Закачка сложных сайтов с редиректами
Сайты в Интернете постоянно усложняются, веб-дизайнеры все время придумывают новые способы навигации и управления контентом. При этом сайт, прекрасно работавший на сервере, может не
всегда адекватно работать на Вашем жестком диске. Мы постоянно
совершенствуем движок программы, что позволяет адекватно реагировать на новые веянья в веб-дизайне. Однако Вам следует понимать, что в некоторых случаях программа не сможет справиться с сайтом, например, с интернет-магазинами может возникнуть проблема, т.к. базы данных товаров обычно
лежат на сервере в защищенной зоне и доступ к ним, как правило, закрыт паролями.
При создании нового проекта также следует обратить внимание на страницы с редиректом
(автоматическим перенаправлением). Хороший пример
- это сайт http://www.alglib.dore.ru. Т.е. если Вы в качестве начального URL укажите ссылку http://www.alglib.dore.ru, то программа, ничего не скачав, остановится и сообщит, что ссылку скачать не удалось и дальнейшая работа невозможна. Это происходит по тому, что обращение к ссылке http://www.alglib.dore.ru вызывает редирект, т.е. перенаправление запроса на страницу http://www.alglib.dore.ru/scripts/info/p/1 (проверьте это в своем браузере). Поэтому мы настоятельно рекомендуем перед созданием проекта хоть немного изучить структуру интересующего Вас сайта.
Экспорт проекта
Если доступ к Интернету у Вас есть только на работе, а дома его нет, или Вы просто хотите поделиться добытой информацией с друзьями, то скачанную информацию необходимо
перенести с компьютера на компьютер. Однако обычное копирование
здесь не всегда помогает, т.к. в этом случае на другом компьютере скачанный сайт надо поместить в папку с точно
таким же путем. Только так можно рассчитывать на полноценную навигацию по скачанному сайту. Чтобы таких проблем не возникало, мы рекомендуем использовать функцию экспорта проекта. Просто откройте нужный проект
и в настройках экспорта укажите путь к той папке, в которую Вы намерены поместить проект на другом компьютере, после чего смело переносите проект.
Максимальная эффективность программы
Самый большой эффект WebTransporter приносит тогда, когда он работает сам по себе, а Вы занимаетесь в это время другими делами или просто спите. Для этого мы рекомендуем использовать планировщик заданий с режимом "После завершения задания выключить питание компьютера". Надо просто настроить проект и планировщик, а программа в назначенное время сама соединится с Интернетом, выкачает сайт и выключит компьютер. Утром Вы сможете спокойно изучить ту информацию, которую добудет для Вас
WebTransporter.
|
|
Иностранный
язык |
|
|