파이썬 웹크롤링 후 엑셀 저장(멀티프로세싱 구현)

글쓴이2020.05.15 21:19조회 수 470댓글 2

    • 글자 크기

파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데

 

데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데

 

엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서

 

데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ

    • 글자 크기
목록

댓글 달기

  • 훈훈한 수국
    2020.5.15 22:45
    댓글 추천 0 비추천 0
    다양한 방법이 있을 수 있는데요
    1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
    2. multiprocessing의 lock기능 활용
    3. multiprocessing의 semaphore기능 활용
    4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
    이정도가 생각나네요
  • @훈훈한 수국
    글쓴이글쓴이
    2020.5.16 13:00
    댓글 추천 0 비추천 0
    1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
    고수님 상세한 답변 감사합니다.
정렬 검색
번호 제목 글쓴이 날짜
공지 욕설/반말시 글쓰기 권한 영구 정지10 저렴한 개불알꽃 2019.01.26
공지 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 흔한 달뿌리풀 2013.03.04
167820 마이피누 북적일 때가 그립네요4 고상한 보리수나무 2023.04.28
167819 요즘따라 두통이랑 어지럼증이 심한데 이런 분들 있나요4 멍한 으름 2023.04.28
167818 살뺀다. 팔근육 키운다.2 해맑은 갓끈동부 2023.04.27
167817 요즘 게이밍 노트북 괜찮은 거 뭐가 있나요?3 훈훈한 수양버들 2023.04.24
167816 남자는 자기보다 외모가 뛰어난 이성을 좋아할 때2 화사한 산국 2023.04.22
167815 [레알피누] 누나3 상냥한 사과나무 2023.04.21
167814 시험치고 나오는 날이 항상 기분이 좋았어요1 느린 편백 2023.04.21
167813 요새는 휴대폰 수명이 길어진 것 같지 않나요?3 무거운 노루참나물 2023.04.15
167812 혼자 사시는 분들 끼니 어떻게 떼우시나요7 가벼운 괭이밥 2023.04.12
167811 또 하나의 기쁜 소식1 참혹한 오미자나무 2023.04.06
167810 류이치 사카모토가 죽었네요...1 겸손한 사마귀풀 2023.04.03
167809 오페라의 유령 한국어 공연 보고 왔는데 좋네요1 치밀한 기린초 2023.04.01
167808 졸업한 다음에 교수님하고 연락해보신 분 있나요5 발랄한 가락지나물 2023.03.30
167807 운전연수 해주실 분 계신가요?8 활달한 구상나무 2023.03.26
167806 남자 키 170은 소개팅 불가능인가요?5 짜릿한 편백 2023.03.21
167805 교수님들이 학점 줄때 재수강이면 좀 낮춰서 주는 경향은 있는 거죠?4 정겨운 으름 2023.03.19
167804 드디어 대중교통에서도 마스크 의무 착용 해제되네요3 기쁜 제비동자꽃 2023.03.15
167803 요즘 대기업에서 사람 많이 뽑나요?4 정겨운 베고니아 2023.03.14
167802 이제 우리는 야구 국대는 포기해야 하나봐요1 활달한 곰딸기 2023.03.11
167801 오늘 WBC 일본전 어떻게 될까요4 사랑스러운 오이 2023.03.10
정렬 검색
이전 1 ... 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23... 8404다음
검색
첨부 (0)