파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 168339 | ｢연합대학 관련 총장과의 대화｣ 행사 | 특별한 개망초 | 2016.09.26 |
| 168338 | （질문) 2층 노트북 열람실에서 타자가능해요?7 | 활동적인 벌노랑이 | 2018.04.26 |
| 168337 | 갤럭시 휴대폰 앱 Bixby Global Action, Bixby Service 삭제해도 될까요? | 납작한 편백 | 2021.04.18 |
| 168336 | [블라인드 처리되었습니다.]6 | 겸손한 달뿌리풀 | 2020.04.16 |
| 168335 | 盧1 | 부지런한 솜나물 | 2020.02.03 |
| 168334 | 盧4 | 억울한 관중 | 2019.11.23 |
| 168333 | 힣힣ㅎ힣ㅎ 20년도에 봐요2 | 특별한 쑥방망이 | 2018.09.05 |
| 168332 | 힝 비추때리지마요 ㅠㅠ5 | 방구쟁이 민들레 | 2018.05.12 |
| 168331 | 힝 ㅠㅠㅠ기타 연습할수있는곳 ㅠㅠ5 | 바쁜 광대나물 | 2013.04.25 |
| 168330 | 힙업운동하면2 | 보통의 애기부들 | 2014.01.09 |
| 168329 | 힘줄 치료하려하는데6 | 억쎈 협죽도 | 2016.06.26 |
| 168328 | 힘조 라고 하는 거12 | 촉촉한 금낭화 | 2020.04.03 |
| 168327 | 힘이없어서 링거맞고싶은데요..5 | 멍한 쇠무릎 | 2018.08.07 |
| 168326 | 힘이듭니다.16 | 외로운 때죽나무 | 2016.04.05 |
| 168325 | 힘이 들땐 하늘을 봐 너는 항상 혼자가 아니야4 | 짜릿한 목화 | 2018.04.14 |
| 168324 | 힘빠지는 마이피누......ㅎ 관리자는 돈벌이에만 관심있는듯.18 | 어리석은 호두나무 | 2018.03.10 |
| 168323 | 힘듭니다...흑2 | 발랄한 여뀌 | 2017.10.01 |
| 168322 | 힘듭니다3 | 애매한 부용 | 2021.02.23 |
| 168321 | 힘듭니다7 | 싸늘한 접시꽃 | 2015.10.09 |
| 168320 | 힘듭니다4 | 힘쎈 동백나무 | 2015.03.31 |
댓글 달기