Импорт каталога товаров с сайта

Рейтинг: 0.8902  
На голосовании
Предложил Пользователь 51006 11.02.2016 16:31:56

Импорт каталога товаров с сайта

Модуль обмена 5.0.0.10

Проблема: запускаю выгрузку каталога с сайта БУС в 1С, жду часа 4. XML закачивается внутри обработки в 1С, и дальше 1С предлагает создать товары.
При создании номенклатуры вылетают разные ошибки, обычно связанные с одинаковыми названиями товара на сайте (дублями). При этом загрузка прерывается и всю процедуру приходится повторять заново. Я сижу уже третий день с этим и конца края не видно.

Возможно добавить функционал, чтобы выгрузку с сайта можно было 1 раз сохранить в файл XML и уже не ждать каждый раз повторной выгрузки c сайта по 4 часа? Гораздо проще решить все проблемы на уровне ручной правки XML.
Ну или корректно доработать процедуру импорта - чтобы при ошибке создания номенклатуры процедура не останавливалась. Там сейчас "транзакция" добавлено, мне кажется лучше заменить на "попытка-исключение"
Рейтинг: 0  
Ответил 11.02.2016 19:18:12
В настройках Управления Сайтом есть параметр - сколько товаров получать с сайта за один запрос. По умолчанию 1. Поставьте хотя бы 100. И думаю это решит вашу проблему.  

Рейтинг: 0  
Пользователь 51006 11.02.2016 20:39:13
Юрий, по умолчанию 300, я поставил 100. С 300 вылетает 1с с ошибкой недостаточно памяти на сервере с 16гб оперативки. Я написал предложение уже пообщавшись со службой поддержки, у них нет лекарства. На сайте 50000 товаров с торговыми предложениями
Рейтинг: 0  
Пользователь 21984 12.02.2016 18:13:10
Конечно нет лекарства. Так как в вашей проблеме нужно комплексно разбираться.

То что у вас сервер 16 гигабайт не говорит о том, что все они используются или вообще используются. 50 000 элементов это не просто не объем это совсем не объем. Выгрузка пакетами внутри нашего 1С модуля и есть решение вашей проблемы. А вот что у вас в системе происходит это уже нужно разбираться. Видели ситуацию когда клиент говорил все пропало все падает, а на деле оказалось, что на каждый выгруженный элемент запускается обработчик который на 3-5 секунд задерживает выгрузку.

Вам нужно просто найти партнера специализирующегося на выгрузках из 1С, и они смогут оказать помощь и в решение вашей проблемы и в правильной настройке. А выгрузку можно сделать полную и пойти взять файл и просто загрузить его в 1С. Вы в идеи все мешаете в кучу, но проблема явно не в этом. Что такое создание кучи товаров в 1С, почему это делается так, а не наоборот. Что бы давать вам советы, нужно понимать в чем у вас проблема.  
Рейтинг: 0  
Пользователь 51006 12.02.2016 19:06:46
Юрий, так я сам специализируюсь на обмене между БУС и 1с и являюсь администратором 1С с 2003 года. Не претендую на лучшие знания в области конечно, но опыт есть разнообразный.

16 гигабайт абсолютно точно не используются при загрузке. Процесс 1С разбухает до 3,5 Гигабайт после чего выдается ошибка нехватки памяти. Но это действительно удалось обойти изменением с 300 товаров до 100 в пакете.

Другое дело, что необходимо обсудить: подход к выгрузке.
1. У меня типовая УТ, не измененный модуль обмена 5.0.0.10 и загрузка товара с сервера идет 4 часа. Проверял на двух разных серверах 1С, в разных датацентрах с разными характеристиками. Сайт не переносил, возможно он медленно отдает конечно.
2. После 4х часов загрузки начинается этап создания номенклатуры в базе. Вот здесь бы сохранить XML чтоб не грузить повторно но увы, нет функционала. Его хочу чтоб делали, это суть идеи.
Вы пишете что можно пойти куда-то взять файл но как это сделать? Пожалуйста, напишите точно мои действия.


3. Дальше через минут 15 вылетает ошибка создания товара (уникальности рабочего названия), хотя гружу в пустую базу. Значит на сайте есть дубли и это никак не предусмотрено в загрузчике.
4. Исправляю дубль и дальше вынужден запускать процедуру загрузки заново.


Зачем критиковать идею, ведь очевидные вещи пишу. Наверняка многие мучаются так же?
Рейтинг: 0.0715  
Пользователь 89944 21.04.2016 17:26:46
Столкнулся с той же проблемой, очень мне в этом вопросе помогла бесплатная утилита http://marketplace.1c-bitrix.ru/solutions/impet.searchdup/?sphrase_id=19797443
А вообще конечно логи подробные хотелось бы ошибок видеть чтобы понимать почему прерывается процесс обмена.  
Может они и есть где только включить надо дополнительно?