파이썬 웹크롤링 후 엑셀 저장(멀티프로세싱 구현)

글쓴이2020.05.15 21:19조회 수 470댓글 2

    • 글자 크기

파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데

 

데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데

 

엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서

 

데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ

    • 글자 크기

댓글 달기

  • 다양한 방법이 있을 수 있는데요
    1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
    2. multiprocessing의 lock기능 활용
    3. multiprocessing의 semaphore기능 활용
    4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
    이정도가 생각나네요
  • @훈훈한 수국
    글쓴이글쓴이
    2020.5.16 13:00
    1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
    고수님 상세한 답변 감사합니다.
번호 제목 글쓴이 날짜
공지 욕설/반말시 글쓰기 권한 영구 정지10 저렴한 개불알꽃 2019.01.26
공지 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 흔한 달뿌리풀 2013.03.04
16145 파스타 좋아한다는 여자가 있는데...63 어두운 바위솔 2013.11.23
16144 파스타집 그랑셰프12 사랑스러운 굴피나무 2013.09.30
16143 파시즘이 무서운 이유6 생생한 개망초 2019.04.14
16142 파업 하긴해요??3 친숙한 달맞이꽃 2017.06.06
16141 파업으로 성적 안적히신분들 중 장학금 잇나요3 힘좋은 노랑어리연꽃 2019.01.04
16140 파오후 분들 숨소리 왜이렇게 큰가요?13 머리좋은 고사리 2018.01.24
16139 파우더 추천좀 부탁드려요!!!!!!!3 눈부신 산자고 2018.05.01
16138 파운데이션 추천 좀 해주세요33 무좀걸린 왕솔나무 2015.04.30
16137 파운데이션 추천해주세요~16 피로한 오죽 2016.01.17
16136 파워레인져스보고 인행심리포트7 다부진 자귀풀 2017.04.27
16135 파워반도체 쌀쌀한 국수나무 2017.08.08
16134 파워블로거 되는법 알려주세요3 무거운 큰괭이밥 2014.01.23
16133 파워포인트 2013 영어판 한글로 바꾸기ㅠㅠ7 촉촉한 풀솜대 2015.05.09
16132 파워포인트 무료설치 쉽게하는 방법(정품인증까지)10 신선한 둥근잎나팔꽃 2020.05.20
16131 파워포인트 제작알바 일하려면 어떻게 시작하죠???1 신선한 둥근잎나팔꽃 2020.05.20
16130 파워포인트 파이차트 효과중에요 힘쎈 참회나무 2014.11.12
16129 파워포인트 포토샵.. 어떻게 배울 수 있을까요?10 부자 대나물 2016.01.26
16128 파워포인트 피씨방에 있나요??5 밝은 독일가문비 2015.07.05
16127 파워포인트 한컴 엑셀 학교에서 제공해주지않나요?9 푸짐한 벋은씀바귀 2020.06.03
16126 파워포인트가 깔려 있는데 피티파일을 실행하면 안 깔려 있다고 하는데...6 키큰 바위솔 2013.10.12
첨부 (0)