파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 16148 | [레알피누] .4 | 일등 팥배나무 | 2013.11.02 |
| 16147 | 계절학기 복학신청3 | 즐거운 분단나무 | 2013.11.02 |
| 16146 | 어머니가 폰팔이한테 낚임12 | 겸연쩍은 새박 | 2013.11.02 |
| 16145 | 부대주변 헌옷수거함 있는곳?3 | 억울한 정영엉겅퀴 | 2013.11.02 |
| 16144 | 학식 말고 학교 앞에서 제일 밥 싼곳 어딜까요16 | 납작한 비수수 | 2013.11.02 |
| 16143 | 공대에서 금융계가려면6 | 배고픈 자라풀 | 2013.11.02 |
| 16142 | 심심한 사람들?5 | 다친 수선화 | 2013.11.02 |
| 16141 | 총학 말인데요(까는 거 아닙니다)3 | 엄격한 라벤더 | 2013.11.02 |
| 16140 | 문득 떠나고 싶은데10 | 유쾌한 털중나리 | 2013.11.02 |
| 16139 | 공대생(기계과)이 회사에서 일하면 어떤 프로그래밍 언어를 가장 많이 쓰나요?5 | 똑똑한 산괴불주머니 | 2013.11.02 |
| 16138 | 공부하는 방법을 모름..24 | 특이한 금송 | 2013.11.02 |
| 16137 | 휴학신청1 | 멋쟁이 상수리나무 | 2013.11.02 |
| 16136 | 총학 회장 사퇴12 | 바보 끈끈이주걱 | 2013.11.02 |
| 16135 | 진리관1시 지나서못나가요??9 | 촉촉한 지리오리방풀 | 2013.11.02 |
| 16134 | 건도에서 지갑 습득하신분!! | 찌질한 부들 | 2013.11.02 |
| 16133 | 심심해요 ㅜ14 | 포근한 파피루스 | 2013.11.02 |
| 16132 | 펑8 | 흔한 말똥비름 | 2013.11.02 |
| 16131 | 피트어떤가요??11 | 냉철한 백송 | 2013.11.02 |
| 16130 | 군대 질문좀요 ㅠㅠ4 | 우아한 주걱비비추 | 2013.11.02 |
| 16129 | 교환학생, 교비유학생 어떻게 다른거에요??1 | 치밀한 쥐똥나무 | 2013.11.02 |
댓글 달기