728x90
반응형
위의 파일은 크롬드라이브라는 파일입니다. (다운 받으시면 exe 파일 하나만있습니다. 경로를 기억해주세요!)
아래의 코드를 참고하여 코딩해주시면 댓글 크롤링이 가능합니다.
출저 :
네이버 웹툰 베스트 댓글 크롤링-1
필자가 파이썬을 배우고 난 후 가장 처음 해 본 프로젝트가 크롤링이었다. 지금은 웬만큼 익숙해 져서 크롤링 코드를 짜는 데 그리 오래 걸리지 않게 되었다. 그냥 무작정 코드를 따라하는 것보
skyjwoo.tistory.com
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
|
# 웹툰 URL : 외모지상주의
# https://comic.naver.com/webtoon/detail?titleId=웹툰 아이디&no=회차&weekday=mon # 주 = 요일
# titleId = 웹툰자체 아이디, no = 웹툰 내부 회차
import os
from bs4 import BeautifulSoup
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time
import json
base_url = 'https://comic.naver.com/webtoon/weekday.nhn'
# chrome_dirver가 있는 위치
os.chdir('C:/Users/hsa82/Desktop/프로젝트/웹툰/크롤링/chromedriver_win32')# chromedriver_win32 파일위치
#driver 실행
def drive(url):
driver = webdriver.Chrome('./chromedriver.exe') # driver 객체 불러옴
driver.implicitly_wait(3) # 3초 후에 작동하도록
driver.get(url) # url에 접속
html = driver.page_source # 현재 driver에 나타난 창의 page_source(html) 가져오기
soup = BeautifulSoup(html, 'html.parser') # html 파싱(parsing)을 위해 BeautifulSoup에 넘겨주기
return driver, soup
#웹툰 기본 페이지에서 데이터 가져오기
driver, soup = drive(base_url)
driver.close()
#가져온 데이터 파싱, id, 요일, 이름
title = soup.select('.title')
t_IDs=list(map(lambda x: x.get('href').split('titleId=')[1].split('&')[0], title))
t_weekdays = list(map(lambda x: x.get('href').split('weekday=')[1], title))
t_names = list(map(lambda x: x.text ,title))
#크롤링이 잘 되었나 확인하기 위함, 총 웹툰 수
print('t_IDs: ',len(t_IDs))
print('t_weekdays: ',len(t_weekdays))
print('t_names: ',len(t_names))
print(t_IDs[0],t_weekdays[0], t_names[0])
#웹툰 이름으로 id와 weekday 반환
def find_id_weekday(name,t_names,t_IDs,t_weekdays,start_idx = 0):
try:
idx = t_names.index(name)
except:
print('찾는 웹툰이 없습니다.')
return
return t_IDs[idx], t_weekdays[idx]
def episode_count(ID, weekday):
url = base_url.split('weekday')[0]+'list.nhn?titleId={0}&weekday={1}'.format(ID, weekday)
#print(url)
driver, soup = drive(url)
driver.close()
res = soup.select('.title')[0].select('a')[0].get('href').split('no=')[1].split('&')[0]
return res
res = episode_count(183559, 'mon') #신의 탑
print(res)
def comment_crawler(name, start_idx=0):
id_num, weekday = find_id_weekday(name, t_names, t_IDs, t_weekdays, start_idx=start_idx)
cnt = int(episode_count(id_num, weekday))
comments = []
proceed = -1 # 진행 상태 표시 위함, 처음에 0보다 작아야 0%가 표시 됨
driver, _ = drive(base_url) # driver만 먼저 열어 놓음. for문 돌면서 url만 바꿔줄 것임
print('진행중...')
for i in range(1, cnt + 1):
percentage = int((i / cnt) * 100)
if percentage % 10 == 0 and percentage > proceed: # 진행상황 표시
proceed = percentage
print(proceed, '% 완료')
url = 'https://comic.naver.com/comment/comment.nhn?titleId={0}&no={1}#'.format(id_num, str(i))
# driver.implicitly_wait(3)
time.sleep(1.5)
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
comments += list(map(lambda x: x.text, soup.select('.u_cbox_contents')))
driver.close()
print('crawling finished')
return comments
comments = comment_crawler('외모지상주의')
# 댓그 개수
print(len(comments))
#크롤링 파일 저장하기
os.chdir('C:/Users/hsa82/Desktop/프로젝트/웹툰/크롤링/')
# for i in comments:
# dict_comment = { 'comment' : i }
file = open('외모지상주의_comments.JSON', 'w', encoding='utf-8')
for cmt in comments:
# file.write('\n'+'\"comment\"'+' : '+'\"'+cmt+'\",'+'\n')
file.write(cmt + '\n')
file.write(json.dumps(comments))
file.close()
|
cs |
다음 시간에는 이 코드를 참고하여 프로젝트를 진행해보도록하겠습니다.
728x90
반응형