Крч, логинюсь я, значит, с баночкой для кук, сессия сохраняется в куку. Кука в баночке, я, считайте, залогинен. Отправляю я опосля POST запрос с куками и новым примером сюда => https://bkrs.info/examples.php ... Content-Type в application/x-www-form-urlencoded, с payload'ом "add_ch=CHINESE&add_ru=RUSSIAN", все дела... Но ничего не происходит! Примеры не добавляются! Что делать? Help!
бкрс
Хочу примеры загрузить, как параллельный перевод предметов и персонажей из игры WoW
wowhead bot, если список большой (больше нескольких десятков, иначе проще в ручную), то скиньте мне, я его вставлю и даже вас упомяну в соответствующей теме со статистикой.
Почему не добавляется откуда можно знать, дебажить надо, тут проверки на человечность нет.
Имена точно нужно в словарь, а не в примеры.
2021.02.28бкрс wowhead bot, если список большой (больше нескольких десятков, иначе проще в ручную), то скиньте мне, я его вставлю и даже вас упомяну в соответствующей теме со статистикой.
Почему не добавляется откуда можно знать, дебажить надо, тут проверки на человечность нет.
Имена точно нужно в словарь, а не в примеры.
Хорошо, тогда напишу, когда соберу все данные. Там свыше 30 тысяч позиций, которые охраняет злой cloudflare с дикими ratelimit'ами.
А примеры не добавляются даже если я исходный запрос в curl сконвертирую и запущу. Редирект проходит, на выходе даже получается html с залогиненным пользователем и без ошибки... Но добавления не видать.
2021.02.28wowhead bot Хорошо, тогда напишу, когда соберу все данные. Там свыше 30 тысяч позиций, которые охраняет злой cloudflare с дикими ratelimit'ами.
30 тыс это точно надо мне скидывать, представьте 30 тыс бессымсленных правок. И я смогу отфильтровать уже существущие слова, чтобы их в сателлит или в ручную исправить.
Цитата:А примеры не добавляются даже если я исходный запрос в curl сконвертирую и запущу. Редирект проходит, на выходе даже получается html с залогиненным пользователем и без ошибки... Но добавления не видать.
Там есть защита от слишком резвых ботов, но невозможно сказать что имеено у вас не работает.
К сожалению, автоматизацией чаще во вред пользуются (парсинг, поиск уязвимостей, ддос), поэтому к ней нет расположения. В идеальном мире можно было бы сделать простой api и не требовать входа (как раньше и было).
2021.02.28бкрс 30 тыс это точно надо мне скидывать, представьте 30 тыс бессымсленных правок. И я смогу отфильтровать уже существущие слова, чтобы их в сателлит или в ручную исправить.
Там есть защита от слишком резвых ботов, но невозможно сказать что имеено у вас не работает.
К сожалению, автоматизацией чаще во вред пользуются (парсинг, поиск уязвимостей, ддос), поэтому к ней нет расположения. В идеальном мире можно было бы сделать простой api и не требовать входа (как раньше и было).
В каком формате лучше скинуть?
Оказалось не 30 тысяч, а все 300. На данный момент уже собрано 45.
Наименования можно разделить на простые (из одного слова) и сложные (из нескольких). Одни пойдут в слова, другие в примеры. А то бывают всякие "скрытотени из клана кровавых волков" - такому явно не место в словаре.
Там еще есть категория "квесты" (30 тысяч позиций). Большинство примеров оттуда требуют модерации из-за частых несовпадений по смыслу (контекстуальные они, в общем). Не знаю что с ними делать.
2021.02.28wowhead bot В каком формате лучше скинуть?
Слово\tПеревод\n лучше всего
2021.03.01wowhead bot Оказалось не 30 тысяч, а все 300.
300 000 имён из WoW? Там на русский или английский?
Цитата:Большинство примеров оттуда требуют модерации из-за частых несовпадений по смыслу (контекстуальные они, в общем). Не знаю что с ними делать.
Сделайте их отдельным файлом, чтобы можно было оценить независимо от имён, если они там отдельно. Смотря на сколько сильно отличается и на сколько много из общего количества.
Откуда вы их берёте, что-то парсите?
2021.03.01бкрс Слово\tПеревод\n лучше всего
300 000 имён из WoW? Там на русский или английский?
Сделайте их отдельным файлом, чтобы можно было оценить независимо от имён, если они там отдельно. Смотря на сколько сильно отличается и на сколько много из общего количества.
Откуда вы их берёте, что-то парсите?
Как гласит мой никнейм, парсинг производится с сайта wowhead методом брутфорса для каждой категории:
https://ru.wowhead.com/npcs
https://cn.wowhead.com/npcs
https://ru.wowhead.com/quests
https://cn.wowhead.com/quests
https://ru.wowhead.com/spells
https://cn.wowhead.com/spells
https://ru.wowhead.com/items
https://cn.wowhead.com/items
https://ru.wowhead.com/achievements
https://cn.wowhead.com/achievements
Английские названия фильтруются (иногда в китайской версии проскальзывает). А так, почти каждая позиция имеет русский вариант.
Можно и описания потом подтянуть, но они как названия квестов - не всегда показательные.
У меня как раз 5 машин параллельно каждую из категорий в отдельный файл подсасывают потихоньку.
Интересно глянуть что получится, по идеи он и сам по себе будет неплох.
|