파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 128973 | 교환학생 자격2 | 답답한 떡쑥 | 2016.06.24 |
| 128972 | 정장메이커 추천좀해주세요!!2 | 한심한 나팔꽃 | 2016.10.02 |
| 128971 | 대한항공 사건 반성이나 할까요?2 | 깔끔한 복숭아나무 | 2014.12.31 |
| 128970 | 정기활 면제받은거 확인2 | 무례한 냉이 | 2016.02.12 |
| 128969 | 계절환불 언제되는지 아시는분!2 | 슬픈 곰취 | 2017.06.22 |
| 128968 | 부대앞에 링게이지 파는곳 있나요?ㅠ2 | 발랄한 수련 | 2016.11.21 |
| 128967 | 휴복학 신청 기간 질문2 | 날씬한 감자란 | 2016.01.16 |
| 128966 | 인문대생인데2 | 살벌한 방풍 | 2018.08.02 |
| 128965 | 군대 제대하고2 | 점잖은 쉬땅나무 | 2018.01.29 |
| 128964 | P/F인 일반선택 과목 뭐있나요?2 | 꼴찌 매듭풀 | 2015.01.28 |
| 128963 | 픗살상대 구해요!!!!!2 | 싸늘한 꽃댕강나무 | 2018.05.29 |
| 128962 | 수업중에 노트북 쓰는 사람 많이 있나요?2 | 신선한 사마귀풀 | 2020.03.22 |
| 128961 | 미니멀리스트 엄마2 | 적절한 벼룩이자리 | 2017.03.13 |
| 128960 | 세문이 인원이 10명인가요....?2 | 귀여운 중국패모 | 2017.02.07 |
| 128959 | 실영면제받아보신분~2 | 따듯한 회양목 | 2014.07.21 |
| 128958 | 34회 한국사 정답 어디서 찾아요?2 | 육중한 꾸지뽕나무 | 2017.01.21 |
| 128957 | 기계과 고체역학2 | 자상한 참다래 | 2015.08.15 |
| 128956 | [레알피누] 김성애 교수님 영어능력평가요!2 | 꾸준한 큰까치수영 | 2016.10.14 |
| 128955 | 개강첫날2 | 황홀한 댕댕이덩굴 | 2017.01.29 |
| 128954 | 김경천 교수님 랩실 어떤가요?2 | 발냄새나는 매화노루발 | 2016.10.18 |
댓글 달기