파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 166934 | 음악이 가진 힘은 정말 대단한것 같아요.6 | 착한 감자 | 2021.08.16 |
| 166933 | 마이피누에 글 많이들 써주세요..10 | 착한 감자 | 2021.08.16 |
| 166932 | 파파존스 맛있네요.. | 착한 감자 | 2021.08.16 |
| 166931 | 취직만 바라보는 공대생들아7 | 해맑은 국수나무 | 2021.08.15 |
| 166930 | 참 인생에 대한 고민이 많이 드는 시기네요.2 | 쌀쌀한 뚝새풀 | 2021.08.15 |
| 166929 | 잉여잉여 | 흔한 타래붓꽃 | 2021.08.15 |
| 166928 | [레알피누] .1 | 무좀걸린 왕원추리 | 2021.08.15 |
| 166927 | 인간도 동물이다.3 | 쌀쌀한 뚝새풀 | 2021.08.15 |
| 166926 | .2 | 무좀걸린 왕원추리 | 2021.08.15 |
| 166925 | 북문 오뚜기식당은 여전히 맛있네 | 야릇한 앵두나무 | 2021.08.15 |
| 166924 | 에타 가끔 눈팅하면 | 쌀쌀한 뚝새풀 | 2021.08.15 |
| 166923 | 앞으로 제 꿈은2 | 쌀쌀한 뚝새풀 | 2021.08.15 |
| 166922 | 그냥 잡생각이 많을때 asmr 틀어놓고 멍때리면 | 쌀쌀한 뚝새풀 | 2021.08.15 |
| 166921 | 가끔은 내가 그냥 열심히 살아갈 이유를 찾기 위해서 | 잘생긴 환삼덩굴 | 2021.08.14 |
| 166920 | cpa 생각하는 20살 새내기가 군대에 관련하여 질문드립니다8 | 해괴한 큰개불알풀 | 2021.08.14 |
| 166919 | 꿈은 크면서 노력은 안하는 삶..20 | 잘생긴 환삼덩굴 | 2021.08.14 |
| 166918 | 도로공사로 이직8 | 방구쟁이 산국 | 2021.08.13 |
| 166917 | 치킨을 조금 줄여볼까 하는데요..8 | 초라한 지리오리방풀 | 2021.08.13 |
| 166916 | 교환학생 질문이야 | 행복한 더덕 | 2021.08.13 |
| 166915 | 교환학생 질문있습니다.1 | 신선한 쉽싸리 | 2021.08.12 |
댓글 달기