파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 138316 | 기계과 컴퓨터시뮬,프로그래밍 수강 | 어두운 종지나물 | 2016.02.18 |
| 138315 | biff 작품론 쪽지시험 | 살벌한 논냉이 | 2016.04.14 |
| 138314 | 인물로보는서양사 화목1시반 | 참혹한 터리풀 | 2016.05.13 |
| 138313 | 김정애 교수님 재무회계 종강했나요? | 적절한 멍석딸기 | 2016.06.07 |
| 138312 | 교직도 초과해서 들으면 일선으로 넘어가나요? | 친근한 백정화 | 2016.06.08 |
| 138311 | .5 | 기쁜 능소화 | 2016.06.11 |
| 138310 | .1 | 흐뭇한 인동 | 2016.06.28 |
| 138309 | [레알피누] 영어인증졸업에대해서 질문드립니다!!2 | 착실한 비수수 | 2016.07.19 |
| 138308 | 중도 방학에도 아침자리정리하나요? | 귀여운 뱀고사리 | 2016.07.25 |
| 138307 | 일선 수강할만한 과목 | 까다로운 회양목 | 2016.08.08 |
| 138306 | 오늘기초공학회계 들으신분 | 착실한 갈대 | 2016.09.05 |
| 138305 | 사이버강의 출석 | 부자 강아지풀 | 2016.09.05 |
| 138304 | [레알피누] 재료과 권세훈 교수님 수업 언제까지 휴강인가요?2 | 머리좋은 야콘 | 2016.09.06 |
| 138303 | .2 | 때리고싶은 맥문동 | 2016.09.20 |
| 138302 | 복소변수함수론(I)1 | 똥마려운 물달개비 | 2016.10.05 |
| 138301 | 이동훈 교수님 연구설계 및 심리통계 | 생생한 낙우송 | 2016.10.18 |
| 138300 | 내일 박노종 교수님 고토 | 꾸준한 거제수나무 | 2016.10.25 |
| 138299 | .3 | 생생한 갓끈동부 | 2016.11.14 |
| 138298 | 이행봉 현대정치사상2 | 추운 벼룩이자리 | 2016.12.06 |
| 138297 | [블라인드 처리되었습니다.]8 | 처절한 작두콩 | 2016.12.16 |
댓글 달기