파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 16148 | 질병휴학은 일반휴학하고 어떻게 다르죠?1 | 난폭한 왕솔나무 | 2017.11.17 |
| 16147 | 연체 도서 반납하고 또 바로 다른 책 빌릴 수 있나요?1 | 밝은 삼백초 | 2016.04.20 |
| 16146 | 세계문화의이해 성적오르신분 계신가용1 | 촉박한 호랑버들 | 2019.01.11 |
| 16145 | .1 | 짜릿한 지칭개 | 2014.07.03 |
| 16144 | 성적증명서 본관에서 아직 뽑나요???1 | 신선한 큰앵초 | 2013.10.07 |
| 16143 | .1 | 유쾌한 벌개미취 | 2018.04.16 |
| 16142 | 정규학기 실영2 경쟁률1 | 불쌍한 하와이무궁화 | 2017.11.17 |
| 16141 | 약대준비중인 공대생입니다1 | 난감한 라벤더 | 2017.03.03 |
| 16140 | 요즘 도서관 자리1 | 참혹한 양배추 | 2016.06.17 |
| 16139 | 공부는 의결끝나고 합시다1 | 푸짐한 자라풀 | 2018.12.14 |
| 16138 | 지금 효원재 쪽이요1 | 착실한 고들빼기 | 2013.05.31 |
| 16137 | 장학금 관련1 | 신선한 돌피 | 2018.01.03 |
| 16136 | 일문독해1 | 침착한 배나무 | 2019.05.13 |
| 16135 | 2차도있나요?1 | 미운 잣나무 | 2015.08.11 |
| 16134 | 장전역근처 피시방 가격질문1 | 깜찍한 관음죽 | 2019.06.15 |
| 16133 | 세법이랑 수업 교환1 | 친숙한 귀룽나무 | 2018.02.11 |
| 16132 | 몸에 잘 맞는 유산균1 | 침착한 가지 | 2019.06.04 |
| 16131 | .1 | 병걸린 참회나무 | 2018.08.21 |
| 16130 | 일반선택추천이요~1 | 늠름한 은백양 | 2017.02.01 |
| 16129 | 학원 전임 강사 알바 해보신분?1 | 해괴한 백정화 | 2017.09.04 |
댓글 달기