파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 166941 | 휴,복학 신청 지정기간 6/22~6/244 | 미운 감자란 | 2015.06.23 |
| 166940 | 휴,,여자의 마음은 갈대라더니15 | 머리나쁜 백정화 | 2012.05.02 |
| 166939 | 휴!학 하고싶!다1 | 유쾌한 자작나무 | 2018.04.15 |
| 166938 | 휴 최후의보루로 부산대왔더만..28 | 냉정한 노루오줌 | 2016.07.25 |
| 166937 | 휴 이번 피겨판정 헷갈린다는 분들 보시길.19 | 꼴찌 삽주 | 2014.02.22 |
| 166936 | 휴 올해 군휴학해서 다행이다22 | 냉철한 뜰보리수 | 2020.03.14 |
| 166935 | 휴 복학 관련 질문좀요!2 | 저렴한 야콘 | 2016.08.03 |
| 166934 | 휴 다행이다3 | 저렴한 잣나무 | 2014.07.24 |
| 166933 | 휴 다이어트 힘드네요. 하지만 꼭 약속을 지킬 겁니다!5 | 따듯한 박 | 2017.09.27 |
| 166932 | 휴 계절수업 교수계획표 저만안보이나요1 | 활동적인 채송화 | 2016.05.16 |
| 166931 | 휴9 | 해맑은 벌깨덩굴 | 2012.06.27 |
| 166930 | 휴2 | 멋진 봉의꼬리 | 2016.05.28 |
| 166929 | 휜다리 교정받아보신분있나요?4 | 불쌍한 당매자나무 | 2018.01.13 |
| 166928 | 휘트니스센터 가려고 하는데요5 | 어리석은 부처손 | 2013.04.26 |
| 166927 | 휘발유 세금이 얼마정도인건가요?1 | 개구쟁이 끈끈이주걱 | 2017.06.25 |
| 166926 | 휘발유 냄새 본드 냄새12 | 억울한 산수국 | 2019.03.29 |
| 166925 | 훠훠훠7 | 우아한 바랭이 | 2020.03.11 |
| 166924 | 훠훠훠2 | 머리좋은 찔레꽃 | 2020.04.15 |
| 166923 | 훗날 우리의 자식들이나 후배들이 묻겠죠2 | 꼴찌 닭의장풀 | 2017.07.28 |
| 166922 | 훗날 시간이 지나면1 | 꼴찌 닭의장풀 | 2017.07.28 |
댓글 달기