파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 167820 | 희망과목 담기 못한사람은 과목 코드로???9 | 명랑한 느릅나무 | 2018.08.07 |
| 167819 | 희망과목 담기1 | 다부진 멍석딸기 | 2015.05.19 |
| 167818 | 희망과목 담기1 | 조용한 산철쭉 | 2016.08.07 |
| 167817 | 희망과목 담기1 | 뛰어난 야광나무 | 2016.08.05 |
| 167816 | 희망과목 담기5 | 찌질한 배나무 | 2017.02.07 |
| 167815 | 희망과목1 | 꼴찌 자귀풀 | 2017.08.04 |
| 167814 | 희망과목 | 코피나는 미국나팔꽃 | 2017.02.07 |
| 167813 | 희망과목2 | 꾸준한 뽀리뱅이 | 2015.08.10 |
| 167812 | 희망과목1 | 불쌍한 고구마 | 2015.08.07 |
| 167811 | 희망강좌담기 언제부터인지 아시나요?2 | 야릇한 쇠비름 | 2016.01.20 |
| 167810 | 희망 과목 담기 1안만 담아 놓으시나요..?4 | 나약한 자작나무 | 2018.02.05 |
| 167809 | 희대의 패륜아.12 | 이상한 개별꽃 | 2014.07.03 |
| 167808 | 흥신소에 정식으로 의뢰 할려면 얼마정도 들죠?1 | 어리석은 백목련 | 2015.03.25 |
| 167807 | 흥신소...영화에서 처럼 정말 잠적해도 사람 찾아냘까요?2 | 다부진 둥근잎유홍초 | 2021.03.07 |
| 167806 | 흥신소 급질문2 | 우아한 귀룽나무 | 2015.01.21 |
| 167805 | 흥분과 사랑의 관계???19 | 질긴 먹넌출 | 2018.03.27 |
| 167804 | 흥민아 군대가자!10 | 착한 일월비비추 | 2014.06.27 |
| 167803 | [블라인드 처리되었습니다.]1 | 즐거운 섬잣나무 | 2019.08.22 |
| 167802 | 흥미있는 과목 vs 학점따기 쉬운 과목11 | 발냄새나는 개옻나무 | 2019.09.22 |
| 167801 | 흥망성쇠 | 점잖은 수선화 | 2016.08.06 |
댓글 달기