`open_http': 403 Forbidden (OpenURI::HTTPError) для строки "Steve_Jobs", но не для любой другой строки
Я просматривал учебники по Ruby, представленные на сайте http://ruby.bastardsbook.com/, и столкнулся со следующим кодом:
require "open-uri"
remote_base_url = "http://en.wikipedia.org/wiki"
r1 = "Steve_Wozniak"
r2 = "Steve_Jobs"
f1 = "my_copy_of-" + r1 + ".html"
f2 = "my_copy_of-" + r2 + ".html"
# read the first url
remote_full_url = remote_base_url + "/" + r1
rpage = open(remote_full_url).read
# write the first file to disk
file = open(f1, "w")
file.write(rpage)
file.close
# read the first url
remote_full_url = remote_base_url + "/" + r2
rpage = open(remote_full_url).read
# write the second file to disk
file = open(f2, "w")
file.write(rpage)
file.close
# open a new file:
compiled_file = open("apple-guys.html", "w")
# reopen the first and second files again
k1 = open(f1, "r")
k2 = open(f2, "r")
compiled_file.write(k1.read)
compiled_file.write(k2.read)
k1.close
k2.close
compiled_file.closeКод терпит неудачу со следующей трассировкой:
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:277:in `open_http': 403 Forbidden (OpenURI::HTTPError)
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:616:in `buffer_open'
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:164:in `open_loop'
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:162:in `catch'
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:162:in `open_loop'
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:132:in `open_uri'
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:518:in `open'
from /System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:30:in `open'
from /Users/arkidmitra/tweetfetch/samecode.rb:11Моя проблема не в том, что код не работает, а в том, что всякий раз, когда я меняю r2 на что-нибудь другое, кроме Steve_Jobs, он работает. Что здесь происходит?
Ваш код работает нормально для меня (Ruby MRI 1.9.3), когда я запрашиваю существующую страницу вики.
Когда я запрашиваю страницу вики, которая НЕ существует, я получаю код ошибки mediawiki 404.
- Steve_Jobs => success (успех)
- Steve_Austin => успех
- Steve_Rogers => успех
- Steve_Foo => ошибка
Википедия делает тонну кэширования, поэтому если вы видите ответы на "Стив_Джобс", которые отличаются от других людей, которые действительно существуют, то лучше всего предположить, что это потому, что Википедия кэширует статью о Стиве Джобсе, потому что он знаменит, и потенциально добавляет дополнительные проверки/верификации, чтобы защитить статью от быстрых изменений, дефейсов и т.д.
Решение для вас: всегда открывайте url со строкой User Agent.
rpage = open(remote_full_url, "User-Agent" => "Whatever you want here").readПодробности из документации Mediawiki: "Когда вы делаете HTTP-запросы к API веб-сервиса MediaWiki, обязательно указывайте заголовок User-Agent, который правильно идентифицирует вашего клиента. Не используйте User-Agent по умолчанию, предоставляемый вашей клиентской библиотекой, а придумайте собственный заголовок, включающий имя и номер версии вашего клиента: что-то вроде "MyCuteBot/0.1".
В википроектах Викимедиа, если вы не предоставите заголовок User-Agent, или предоставите пустой или общий заголовок, ваш запрос будет отклонён с ошибкой HTTP 403. См. нашу политику User-Agent."
Я думаю, это происходит для закрытых записей, таких как "Стив Джобс", "Аль-Гор" и т.д. Это указано в той же книге, на которую вы ссылаетесь:
Для некоторых страниц - таких, как закрытая запись Аль Гора, - Википедия будет не отвечать на веб-запрос, если User-Agent' не указан. На сайте "User-Agent" обычно относится к вашему браузеру, и вы можете увидеть это, если изучив заголовки, которые вы отправляете для любого запроса страницы в вашем браузере. Предоставив пару ключ-значение "User-Agent" (я в основном использую "Ruby" и это, кажется, работает), мы можем передать его в виде хэша (я использую константу HEADERS_HASH в примере) в качестве второго аргумента метода call.
Он указан позже на http://ruby.bastardsbook.com/chapters/web-crawling/.
