Обмен базами рецептов для "Кулинарного блокнота"

**JusteG** » Ср сен 28, 2011 3:41 pm

Maxxi
Здравствуйте!
Уважаемый разработчик, не сочтете ли Вы за оскорбление/нарушение авторских прав/нарушение прав на интеллектуальную собственность/нарушение правил пользования сайтом/удар ниже пояса/выставление Вас в "глупом свете" (выбрать по вкусу) если я доработаю Вашу без сомнения полезную программу и сделаю свою доработку достоянием общественности? Доработка будет заключаться в написании лаунчера на платформе DOT .NET который при запуске будет производить поиск по сайту на предмет новых рецептов, "наполнять" ими, если таковые имеются, базу данных Вашей программы а затем производить ее запуск.

З.Ы. Кстати почему из всего обилия всевозможных СУРБД вы выбрали именно эту? Она же тормозная, неужели дело только в отсутствии необходимости разворачивания сервера и интегрируемости в Delphi? Она же "ляжет" наполни ее сотней другой тысяч строк.

С уважением, JusteG.

**Maxxi** » Ср сен 28, 2011 9:00 pm

JusteG писал(а):Уважаемый разработчик, не сочтете ли Вы за оскорбление/нарушение авторских прав/нарушение прав на интеллектуальную собственность/нарушение правил пользования сайтом/удар ниже пояса/выставление Вас в "глупом свете" (выбрать по вкусу) если я доработаю Вашу без сомнения полезную программу и сделаю свою доработку достоянием общественности? Доработка будет заключаться в написании лаунчера на платформе DOT .NET который при запуске будет производить поиск по сайту на предмет новых рецептов, "наполнять" ими, если таковые имеются, базу данных Вашей программы а затем производить ее запуск.

Я не против. Но только если вы не будете распространять готовую базу, а тем более продавать ее.
И хотелось бы взглянуть на описание технических подробностей, каким образом будет сканироваться сайт.

JusteG писал(а):З.Ы. Кстати почему из всего обилия всевозможных СУРБД вы выбрали именно эту? Она же тормозная, неужели дело только в отсутствии необходимости разворачивания сервера и интегрируемости в Delphi? Она же "ляжет" наполни ее сотней другой тысяч строк.

Скорость тут не столь важна. Да и под "парой тысяч строк" она не ляжет. Выбор был в сторону all-in-one. На тот момент ничего лучше не нашел. Сейчас бы ее не выбрал. Какие-то странные глюки вылазят. Но переходить на что-то другое - слишком проблематично для существующих пользователей..

**JusteG** » Чт сен 29, 2011 7:48 am

Maxxi писал(а):И хотелось бы взглянуть на описание технических подробностей, каким образом будет сканироваться сайт.

Все "банально", выглядеть будет примерно так:
1. Качаем текстовую часть главной страницы.
2. Парсим фрагмент страницы в "<div id="mainmenu">" на предмет получения категорий и подкатегорий а также ссылок к ним.
3. Сравниваем с хешем прошлой синхронизации (при необходимости создаем структуру разделов и подразделов)
4. Поочередно ломимся по всем полученным ссылкам подразделов, качаем текстовую часть страниц.
5. Парсим фрагмент страницы в "<div id="content">" на предмет получения перечня рецептов а также ссылок к ним.
6. Сравниваем с хешем прошлой синхронизации, при наличии новых рецептов ставим ссылки в очередь скачки.
7. После проходки по всем подразделам, обращаемся к очереди загрузки, если там что-то есть, начинаем скачивание страниц (парсим текст, получаем список ингредиентов, получаем рецепт, получаем ссылки на картинки, загружаем комментарии (опционально)).
8. Выкачиваем по полученным ссылкам картинки.
9. Создаем RTF документ, размещаем в нем весь контент.
10. Разбиваем документ на байты, загружаем в BLOB.

Ну +- как то так.

Доработка сугубо некоммерческая.

**Maxxi** » Пт сен 30, 2011 10:47 pm

JusteG писал(а):Все "банально", выглядеть будет примерно так:

Понятно, спасибо.
Вот только я не очень приветствую всяких ботов, качающих и нагружающих сервер..

JusteG писал(а):9. Создаем RTF документ, размещаем в нем весь контент.

Только там не rtf.

**JusteG** » Сб окт 01, 2011 8:32 am

Maxxi писал(а):Понятно, спасибо.
Вот только я не очень приветствую всяких ботов, качающих и нагружающих сервер..

За счет того, что синхронизация будет проходить исключительно при старте, и учитывая относительно небольшое количество пользователей программы, нагрузка на сайт особо не увеличится.

Maxxi писал(а):Только там не rtf.

Я на вскидку сказал, существенно упростите задачу назвав формат.