파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 138343 | 중도 머죠6 | 애매한 홍초 | 2014.04.28 |
| 138342 | 중도 매점에2 | 똥마려운 자목련 | 2015.05.28 |
| 138341 | 중도 매점 세븐일레븐 | 따듯한 봄구슬봉이 | 2017.04.11 |
| 138340 | 중도 매점 사건 경과 어떻게 되나요?4 | 현명한 댑싸리 | 2016.06.05 |
| 138339 | 중도 매점 몇시에 여나요?1 | 수줍은 고사리 | 2016.03.01 |
| 138338 | 중도 매점 몇시까지하죠?1 | 흐뭇한 꽃댕강나무 | 2013.04.05 |
| 138337 | 중도 매점 또 증정품 빼돌리기 하네요.72 | 의연한 갈참나무 | 2016.07.22 |
| 138336 | 중도 매점 너무하네요..다들 조심하세요!!!!!24 | 끌려다니는 낭아초 | 2015.11.12 |
| 138335 | 중도 매점4 | 유능한 터리풀 | 2014.10.16 |
| 138334 | 중도 말인데요1 | 다친 애기똥풀 | 2014.03.19 |
| 138333 | 중도 마늘빵녀13 | 서운한 감국 | 2014.11.26 |
| 138332 | 중도 리모델링해서 자리도많아졌나요??5 | 착실한 쇠비름 | 2014.04.05 |
| 138331 | 중도 리모델링해서 이제3 | 피로한 으름 | 2013.07.21 |
| 138330 | 중도 리모델링비가 진짜 40억들었나요?5 | 가벼운 신나무 | 2014.02.16 |
| 138329 | 중도 리모델링...4 | 사랑스러운 왕버들 | 2013.06.18 |
| 138328 | 중도 리모델링 현수막3 | 화려한 돌양지꽃 | 2013.05.25 |
| 138327 | 중도 리모델링 시작이 15일 아닌가요?1 | 방구쟁이 우산나물 | 2013.07.14 |
| 138326 | 중도 리모델링 관련 대략적 정보(?)입니다.30 | 발냄새나는 가는잎엄나무 | 2013.05.24 |
| 138325 | [블라인드 처리되었습니다.]12 | 깨끗한 꽃기린 | 2016.03.27 |
| 138324 | 중도 따뜻한가여2 | 날씬한 꼬리풀 | 2018.02.22 |
댓글 달기