파이썬 웹크롤링 후 엑셀 저장(멀티프로세싱 구현)

글쓴이2020.05.15 21:19조회 수 470댓글 2

    • 글자 크기

파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데

 

데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데

 

엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서

 

데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ

    • 글자 크기

댓글 달기

  • 다양한 방법이 있을 수 있는데요
    1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
    2. multiprocessing의 lock기능 활용
    3. multiprocessing의 semaphore기능 활용
    4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
    이정도가 생각나네요
  • @훈훈한 수국
    글쓴이글쓴이
    2020.5.16 13:00
    1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
    고수님 상세한 답변 감사합니다.
번호 제목 글쓴이 날짜
공지 욕설/반말시 글쓰기 권한 영구 정지10 저렴한 개불알꽃 2019.01.26
공지 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 흔한 달뿌리풀 2013.03.04
167803 이제 우리는 야구 국대는 포기해야 하나봐요1 활달한 곰딸기 2023.03.11
167802 오늘 WBC 일본전 어떻게 될까요4 사랑스러운 오이 2023.03.10
167801 [레알피누] 졸업생인데 도서관 연회원 등록하고 모바일 이용증 사용할 때4 겸연쩍은 무릇 2023.03.08
167800 첫 차 사는 건 무리할 필요가 없겠죠?1 우아한 왜당귀 2023.03.08
167799 수학1 수업 관련 선배님들 조언 구해요2 한가한 개모시풀 2023.03.06
167798 건강 같은 건 진짜 되돌릴 수 없나봐요1 답답한 고욤나무 2023.03.06
167797 신의탑 나오는 날임3 화난 후박나무 2023.03.05
167796 부산대역앞 모임호객?1 슬픈 며느리밑씻개 2023.03.04
167795 이제는 점점 날씨가 좀 풀리는 것 같네요1 꼴찌 뜰보리수 2023.03.04
167794 몇 살까지 일하고 싶으신가요5 무례한 은백양 2023.02.28
167793 마이러버 요즘 많이 해?6 깨끗한 둥근잎유홍초 2023.02.25
167792 오늘 졸업하시는 분들 축하해요~2 진실한 개별꽃 2023.02.24
167791 부산대학교 내 식당 식대 올라가네요2 꾸준한 낭아초 2023.02.23
167790 요즘 해동학술정보관 열람실 운영시간 어떻게 되나요?1 쌀쌀한 풍선덩굴 2023.02.22
167789 넷플릭스에서 스마트폰이 떨어졌을 뿐인데 봤는데 재밌네용 푸짐한 터리풀 2023.02.19
167788 부산대 나와서 순경하면 쪽팔린가요?5 난폭한 보리 2023.02.18
167787 수강신청 서버가 개선된 게 없네용...2 배고픈 미국나팔꽃 2023.02.14
167786 교보문고 vs DBpia1 해박한 어저귀 2023.02.11
167785 요새 챗GPT가 핫한데6 보통의 측백나무 2023.02.10
167784 재학생분들 내일 수강신청 올킬하시길 바랄게요~1 유능한 금낭화 2023.02.07
이전 1 ... 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23... 8404다음
첨부 (0)