파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 162457 | 반팔티 | 해맑은 털머위 | 2020.05.15 |
| 162456 | 아이패드 프로 살까 하는데요14 | 못생긴 모란 | 2020.05.15 |
| 162455 | 국민은행ATM 기기 부산대에서 제일 가까운 곳이 어디인가요??9 | 발랄한 동부 | 2020.05.15 |
| 162454 | 인생망한것같아요21 | 끔찍한 가시연꽃 | 2020.05.15 |
| 파이썬 웹크롤링 후 엑셀 저장(멀티프로세싱 구현)2 | 빠른 가막살나무 | 2020.05.15 | |
| 162452 | 오픽22 | 신선한 낙우송 | 2020.05.15 |
| 162451 | 부산대 레드존 언제 여나요?ㅎㅎ1 | 센스있는 물박달나무 | 2020.05.15 |
| 162450 | 우리나라 사람들 참 이상해1 | 답답한 쉽싸리 | 2020.05.15 |
| 162449 | 24살 모쏠아다 삼수 부산대 공익12 | 화려한 털쥐손이 | 2020.05.15 |
| 162448 | 과외학부모들 왜케 개념이 없냐8 | 방구쟁이 갈매나무 | 2020.05.15 |
| 162447 | 취준러들 어쩌고 계심13 | 허약한 채송화 | 2020.05.15 |
| 162446 | 마이피누도 고파스처럼 투표기능이 있나요?5 | 친근한 뚱딴지 | 2020.05.15 |
| 162445 | 오픽 콤보 문제6 | 신선한 낙우송 | 2020.05.15 |
| 162444 | ㅇㅈㄷ 교수님 국제금융경제론 혹시 싸강하고 있나요? | 수줍은 남산제비꽃 | 2020.05.15 |
| 162443 | 북문주위 저렴한 스터디카페있나요4 | 건방진 백당나무 | 2020.05.15 |
| 162442 | 의대생학우님들5 | 센스있는 물박달나무 | 2020.05.15 |
| 162441 | 와 어버이날 선물3 | 피곤한 노박덩굴 | 2020.05.15 |
| 162440 | 20년도는 | 끔찍한 조록싸리 | 2020.05.15 |
| 162439 | 심슨게임 스프링필드3 | 늠름한 황기 | 2020.05.15 |
| 162438 | 오픽6 | 신선한 낙우송 | 2020.05.15 |
댓글 달기