[웹 데이터 수집] ChatGPT와 파이썬 이용한 웹 데이터 수집방법

1) 크롬에서 Naver > 뉴스 접속해서 "검색어입력" : 예를 들어 "미드저니"라고 입력

 

 

2) 키보드의 F12 버튼 누르면 우측에 html 코드가 나타남

 

3) 코드 상단 좌측의 화살표 버튼을 클릭 (ctrl+shift+c) : 페이지 탐색

 

 

4) 좌측 뉴스제목에 마우스를 댄다

  - 뉴스제목의 경우, 상단에 a.news_tit 가 공통적으로 보임.

5) 아래와 같은 프롬프트를 ChatGPT에 입력 한다.

 - url은 네이버에 "미드저니" 검색했던 뉴스 주소

 - 아래 4줄을 ChatGPT에 입력함.

# 눈으로 확인한 데이터(뉴스 제목) 데이터 위치 : a.news_tit 의 Name에 있는 데이터 = 뉴스의 제목

# 데이터를 수집하는 파이썬 코드를 작성하려고 한다.

# 다음 url로 접속하여  a.news_tit 태그로 표시된 Name 데이터를 엑셀 파일에 저장한다.

# https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=%EB%AF%B8%EB%93%9C%EC%A0%80%EB%8B%88

# 수집한 데이터를 D:\test\data.xlsx 파일로 저장하는 파이썬 코드를 작성해줘

 

 

6) 아래와 같이 ChatGPT가 답을 해준다.

 

7) 파이썬에 붙여넣기해서 실행

 

8) 엑셀파일에 뉴스 제목 10개(1페이지)가 생성되어 있음.