Pythonでスクレイピング(Cookie取得)

urllib2とcookielibでWebサイトへアクセスしたときに、Cookieを取得するサンプル

view plainprint?

1. import urllib2, cookielib  
2. from BeautifulSoup import BeautifulSoup  
3.   
4. if __name__ == '__main__':  
5.     # アクセスするWebサイトのURLを設定  
6.     url = 'http://www.google.co.jp'  
7.   
8.     # Cookieを格納するオブジェクト  
9.     cookie = cookielib.CookieJar()  
10.     # Webサイトへアクセスするオブジェクト  
11.     opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))  
12.     # Webサイトへアクセス  
13.     web = opener.open(url)  
14.     # BeautifulSoupで解析  
15.     html = BeautifulSoup(web)  
16.     # 取得したCookie内容を表示  
17.     print cookie  
18.     # 取得したHTML内容を表示  
19.     print html.prettify()  

import urllib2, cookielib
from BeautifulSoup import BeautifulSoup

if __name__ == '__main__':
    # アクセスするWebサイトのURLを設定
    url = 'http://www.google.co.jp'

    # Cookieを格納するオブジェクト
    cookie = cookielib.CookieJar()
    # Webサイトへアクセスするオブジェクト
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
    # Webサイトへアクセス
    web = opener.open(url)
    # BeautifulSoupで解析
    html = BeautifulSoup(web)
    # 取得したCookie内容を表示
    print cookie
    # 取得したHTML内容を表示
    print html.prettify()

Cookieが設定されている場合、cookielib.CookieJarオブジェクトとして取得できる