Pythonでスクレイピング

PythonでスクレイピングするライブラリとしてBeautifulSoupを利用

HTMLを取得して、それを表示する簡単なサンプル

view plainprint?

1. import urllib2  
2. from BeautifulSoup import BeautifulSoup  
3.   
4. if __name__ == '__main__':  
5.     web = urllib2.urlopen('http://www.google.co.jp/')  
6.     html = BeautifulSoup(web)  
7.     print html.prettify()  

import urllib2
from BeautifulSoup import BeautifulSoup

if __name__ == '__main__':
    web = urllib2.urlopen('http://www.google.co.jp/')
    html = BeautifulSoup(web)
    print html.prettify()

これで、指定したWebサイトのHTMLを取得/表示することができる