[python] 파이썬 빅데이터 기초 ( 웹사이트에 접근해서 사진 다운받기 )

빅데이터의 대표적인 기술 

---

스크레이핑

웹사이트에있는 특정 정보를 추출하는 기술

 

크롤링

프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술

 

urllib : Http,Ftp 프로토콜을 통해서 다운받고 사용할수 있게 도와주는 라이브러리

request모듈: 웹사이트에 있는 데이터에 접근하게 해주는 모듈

urlretrieve함수: 웹상에 자료를 다운로드 할수 있게 도와주는 함수

 

위의 라이브러리를 사용해서 웹상에 존재하는 이미지로고를 다운받아 보겠습니다.

---

1. 웹브라우져 ( chrome )에서 f12를 누르면 켜지는 개발자도구 열기

2. 왼쪽 위 마우스버튼을 누르면 현재 마우스가 위치하고 있는 곳이 코드의 어느부분인지 확인할수 있습니다. Daum페이지 로고에 마우스 올려놓고 img경로를 확인하고 복사합니다.

---

1. 코드실행

2. 다운로드 확인

---

코드

바로 저장하는 방법

import urllib.request

urllib.request를 import합니다.

url = "https://t1.daumcdn.net/daumtop_chanel/op/20200723055344399.png"
imgName = "C:\study\daum.png"

url : 사진 경로가 길기때문에 변수에 따로 저장을 해줍니다.
imgName : 다운로드할 경로를 지정해줍니다.

urllib.request.urlretrieve(url, imgName) #urlretrieve(URL, 저장할 파일 경로)
print("다운로드 완료")

 

메모리에 올려둔 뒤 저장하는 방법 ( file로 )

import urllib.request

url = "https://t1.daumcdn.net/daumtop_chanel/op/20200723055344399.png"

imgPath = "c:\study\daum2.png"
downImg = urllib.request.urlopen(url).read()
with open(imgPath, "wb") as f:
    f.write(downImg)
print("이미지다운완료")

urlretrieve 메소드를 이용해서 바로 저장하는게 아닌 urlopen메소드를 이용해서 메모리에 올려놓고 파일로 저장하는 방식입니다.