Проблемы с собственным RSS

Наша копилка знаний

Модераторы: dushik, Slim

Ответить
АвтоЗАЗ
Сообщения: 12
Зарегистрирован: Вс авг 23, 2015 10:04 am

Проблемы с собственным RSS

Сообщение АвтоЗАЗ » Сб дек 21, 2019 4:08 pm

Привет.

Мы импортируем в стримротатор с помощью собственного rss.
https://api.analdin.com/api/v1/streamrotator?part=1

Проблема с ним, что я по логам вижу, что стрим всегда проходит весь список от начала и до конца.

Два вопроса:
1. Есть ли способ, чтобы стрим остановился и перестал идти по страницам дальше после того как встретил первый дубликат контента? Или же я на своей стороне должен помнить, что я отдавал стриму, а что нет и соответственно возвращать каждый раз новое?
2. В чём смысл StreamRotatorTmpId?

Аватара пользователя
dushik
Admin
Сообщения: 2199
Зарегистрирован: Вс сен 03, 2006 4:51 pm

Re: Проблемы с собственным RSS

Сообщение dushik » Сб дек 21, 2019 7:24 pm

привет
1. да, нужно запоминать что отдавал. чтобы каждый раз пихать в рсс не все-все-все, а только апдейты
2. StreamRotatorTmpId нужен если есть разные запросы от разных стримов например и каждому отдается что-то свое, чтобы можно было понять - кому что отдавать

АвтоЗАЗ
Сообщения: 12
Зарегистрирован: Вс авг 23, 2015 10:04 am

Re: Проблемы с собственным RSS

Сообщение АвтоЗАЗ » Вс дек 22, 2019 8:57 am

Понял спасибо.
Ещё вопрос на этот счёт:

Будет ли работать схема при котором в случае если стрим вызывает RSS с type=advanced, то я ему отдаю StreamRotatorNextPart и StreamRotatorRemains так, чтобы он все 200к галер сграбил, а если без type, то отдаю только последние сутки?
Т.е. стрим вначале сграбит весь контент, а потом будет в обычном режиме грабить без type=advanced, так?

В таком случае что я забиваю ему в админку?
https://api.analdin.com/api/v1/streamro ... =1&tmpid=1 и он уже type=advanced сам добавить когда нужно?

Аватара пользователя
dushik
Admin
Сообщения: 2199
Зарегистрирован: Вс сен 03, 2006 4:51 pm

Re: Проблемы с собственным RSS

Сообщение dushik » Вс дек 22, 2019 5:33 pm

advanced он добавляет только если ты руками кнопку в админке жмешь

АвтоЗАЗ
Сообщения: 12
Зарегистрирован: Вс авг 23, 2015 10:04 am

Re: Проблемы с собственным RSS

Сообщение АвтоЗАЗ » Сб мар 07, 2020 4:22 pm

По результатам граббинга мы получили множество ошибок с пометкой "double content". причем у всех у них поле gallery_pics осталось пустым - 0, хотя в нашем фиде эти пиксы существуют.
Пытались смотреть в базе, думали может по какой-то причине галереи записались дважды, но нет. Подскажите, что это может быть и имеются ли какие-то логи, для облегчения понимания происходящего.
Спасибо

Аватара пользователя
dushik
Admin
Сообщения: 2199
Зарегистрирован: Вс сен 03, 2006 4:51 pm

Re: Проблемы с собственным RSS

Сообщение dushik » Сб мар 07, 2020 7:28 pm

1. должен на своей стороне отслеживать
2. StreamRotatorTmpId используется в том случае, когда ты раздаешь разным сайтам разный контент, чтобы можно было отслеживать кому и что отдавать

АвтоЗАЗ
Сообщения: 12
Зарегистрирован: Вс авг 23, 2015 10:04 am

Re: Проблемы с собственным RSS

Сообщение АвтоЗАЗ » Вс мар 08, 2020 2:06 pm

Привет.

Мне кажется ты на первый вопрос в треде ответил, а проблема уже другая:

- Мы запускаем "Advanced Grabbing". Стрим сграбливает всю базу но при этом 95% галер падают с ворнингом "double content". При этом если смотреть в базе, то gallery_pics у них равен нолю.
Мы в RSS для стрима отдаём единственную тумбу следующим образом:

Код: Выделить всё

<description>
<![CDATA[
&lt;a href='https://www.xozilla.com/videos/175795/young-latina-and-her-sexy-friend-pleasuring-bald-dude-on-the-couch/'&gt;&lt;img src='https://i.xozilla.com/contents/videos_sources/175000/175795/screenshots/23.jpg'&gt;&lt;/a&gt;
]]>
</description>


- При попытке переграбить эти double content галеры - стрим снова не берёт эту тумбу, а вместо этого нарезает самостоятельно.


- Посмотрел сейчас в БД сколько вообще gallery_pics у разных галлерей - увидел следующую картину. Как такое вообще может быть? :shock:

Код: Выделить всё

mysql> select gallery_id, gallery_pics from galleries order by gallery_pics desc limit 10;
+------------+--------------+
| gallery_id | gallery_pics |
+------------+--------------+
|    1758207 |       128629 |
|    1758208 |       114373 |
|    1758209 |       105136 |
|    1758210 |        85608 |
|    1758211 |        58698 |
|    1758212 |        57362 |
|    1758213 |        44776 |
|    1758214 |        44233 |
|    1758215 |        40423 |
|    1758216 |        35676 |
+------------+--------------+

Аватара пользователя
dushik
Admin
Сообщения: 2199
Зарегистрирован: Вс сен 03, 2006 4:51 pm

Re: Проблемы с собственным RSS

Сообщение dushik » Вт мар 10, 2020 1:26 pm

gallery_pics тут не причем
стрим отслеживает, грабился ли такой урл тумбы (thumb_srcs.src_md5)
а также, есть ли такая точно тумбы уже в стриме (thumb_srcs.src_pic_md5)
если ты делаешь рекроп (При попытке переграбить эти double content галеры), стрим идет по урлы гали, и тащит оттуда картинки какие найдет, он не переграбливает тумбы, которые ты ранее импортировал через фид

Ответить