파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 168091 | 10 | 쌀쌀한 삼지구엽초 | 2019.02.21 |
| 168090 | 10 | 부자 가지복수초 | 2014.12.15 |
| 168089 | 4 | 답답한 개비자나무 | 2016.09.07 |
| 168088 | 8 | 더러운 리아트리스 | 2020.04.06 |
| 168087 | 16 | 특별한 갈풀 | 2015.12.19 |
| 168086 | 1 | 거대한 개불알꽃 | 2017.05.23 |
| 168085 | 6 | 개구쟁이 아프리카봉선화 | 2013.12.22 |
| 168084 | 1 | 촉박한 대극 | 2017.08.15 |
| 168083 | 수석졸업여부!!!!!!!!!!!!!!1 | 더러운 하늘나리 | 2016.01.10 |
| 168082 | 어떻게푸나요7 | 즐거운 범부채 | 2018.04.18 |
| 168081 | 외모가 사람 성격에 미치는 영향이 있다고 생각하는게8 | 빠른 불두화 | 2019.03.07 |
| 168080 | .8 | 세련된 봉의꼬리 | 2018.07.07 |
| 168079 | .4 | 화려한 살구나무 | 2015.07.03 |
| 168078 | .8 | 미운 부겐빌레아 | 2017.06.18 |
| 168077 | .18 | 서운한 해바라기 | 2017.03.22 |
| 168076 | 21살 문과생 9급준비 vs 교대재수 조언부탁드려요ㅠㅠ14 | 해맑은 벋은씀바귀 | 2020.09.18 |
| 168075 | 금융권과 기업, 적성의 문제4 | 해괴한 애기부들 | 2013.03.04 |
| 168074 | 미투운동과함께 떠오른 사람33 | 못생긴 은분취 | 2018.03.24 |
| 168073 | 수료불가?3 | 촉박한 수세미오이 | 2020.02.05 |
| 168072 | 열람실에서 신발 벗기6 | 착실한 겨우살이 | 2014.05.29 |
댓글 달기