파이썬 웹크롤링 후 엑셀 저장(멀티프로세싱 구현)

글쓴이2020.05.15 21:19조회 수 470댓글 2

    • 글자 크기

파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데

 

데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데

 

엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서

 

데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ

    • 글자 크기
목록

댓글 달기

  • 훈훈한 수국
    2020.5.15 22:45
    댓글 추천 0 비추천 0
    다양한 방법이 있을 수 있는데요
    1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
    2. multiprocessing의 lock기능 활용
    3. multiprocessing의 semaphore기능 활용
    4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
    이정도가 생각나네요
  • @훈훈한 수국
    글쓴이글쓴이
    2020.5.16 13:00
    댓글 추천 0 비추천 0
    1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
    고수님 상세한 답변 감사합니다.
정렬 검색
번호 제목 글쓴이 날짜
공지 욕설/반말시 글쓰기 권한 영구 정지10 저렴한 개불알꽃 2019.01.26
공지 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 흔한 달뿌리풀 2013.03.04
162501 부산대동아리 문의 mma나 이종격투기 동아리없나요??1 현명한 왕고들빼기 2013.04.20
162500 토플학원 소개좀...3 발랄한 삼백초 2013.04.20
162499 2열 319에 고등학생 뭔가요..22 행복한 곤달비 2013.04.20
162498 무역학원론 시험범위ㅜㅜ2 멋진 닥나무 2013.04.20
162497 밑에 기계 가면 설계한다는 글 보니4 한심한 꽃향유 2013.04.20
162496 황규선 교수님 시험날짜1 정겨운 무 2013.04.20
162495 여자분들 군모어때요?14 이상한 박하 2013.04.20
162494 중도3층에서 팔돌리시는분들5 배고픈 큰앵초 2013.04.20
162493 공대에서 토익3 화려한 기린초 2013.04.20
162492 크로뮴산 이온 질문좀요ㅜㅜ2 멍한 파리지옥 2013.04.20
162491 익명성 보장을 방패로 해서 쓰는 거지만 채용설명회 때 신입사원들 와서 설명하는 것 보면10 한심한 꽃향유 2013.04.20
162490 북문피자집4 민망한 시클라멘 2013.04.20
162489 저좀 혼내주세요10 초라한 박주가리 2013.04.20
162488 좌석배정기 딱 여는 시간..6 바쁜 보풀 2013.04.20
162487 .5 침착한 마 2013.04.20
162486 반수타령해도 학교 욕은 하지 맙시다16 저렴한 개연꽃 2013.04.20
162485 이 책 읽어보신분?3
 절묘한 망초 2013.04.20
162484 아래군모질문이미지첨부27
 이상한 박하 2013.04.20
162483 나는 부산 금정구 남산동에있는 주택에 산다...를 영어로 할려면 전치사를 어떻게 해야할까요;;8 어두운 유자나무 2013.04.20
162482 내일 몇시에 가야 중도자리잡을수 있나용?5 근육질 백합 2013.04.20
정렬 검색
이전 1 ... 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290... 8406다음
검색
첨부 (0)