파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 30027 | .11 | 냉철한 큰방가지똥 | 2017.05.12 |
| 30026 | 컴퓨터 와이파이관련 컴알못이 질문합니다ㅜ1 | 어리석은 협죽도 | 2017.05.09 |
| 30025 | 가스공사 필기시험 보고 오신분 있으신가요? | 어설픈 풀협죽도 | 2017.03.19 |
| 30024 | 여자 저렴한 미용실 추천해주세요! | 추운 섬백리향 | 2017.03.11 |
| 30023 | 어문학과 일선+ 같은언어 교양 가능한가요?4 | 못생긴 당종려 | 2017.03.06 |
| 30022 | 스트레스랑 공복이 관련있나요?1 | 발랄한 박 | 2017.03.03 |
| 30021 | 조설애 교수님 성격심리학 듣는 분 | 우수한 달뿌리풀 | 2017.03.02 |
| 30020 | 수업결석1 | 부지런한 작약 | 2017.02.10 |
| 30019 | 교양선택 과목 이수관련 질문.4 | 살벌한 선밀나물 | 2017.02.07 |
| 30018 | .6 | 바쁜 램스이어 | 2017.02.06 |
| 30017 | 무역기초 배울수 있는 방법 있을까요?? | 눈부신 떡갈나무 | 2017.02.05 |
| 30016 | 기초영어 | 과감한 벼 | 2017.01.26 |
| 30015 | [레알피누] 글로벌 영어 면제받으면! | 꾸준한 졸방제비꽃 | 2017.01.21 |
| 30014 | 치과 잘하는데 알려주세요 | 처참한 바위떡풀 | 2017.01.18 |
| 30013 | 이중섭 특별전 가보신분11 | 꾸준한 개모시풀 | 2016.12.29 |
| 30012 | 계절 일어(1) 이진연 교수님 | 초라한 나도밤나무 | 2016.12.24 |
| 30011 | 기계설계시스템 솔루션 있으신분 ㅠㅠ | 일등 삼나무 | 2016.12.22 |
| 30010 | 행복심리학 화목 10시반수업 들으시는분들 좀 여쭤볼게요 | 살벌한 글라디올러스 | 2016.11.26 |
| 30009 | 봉사졸업? | 아픈 용담 | 2016.11.15 |
| 30008 | 화목9시 이창섭교수님 한국근현대사의 흐름 목요일 휴강인가요ㅜㅜ1 | 초조한 조 | 2016.10.19 |
댓글 달기