파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
-
다양한 방법이 있을 수 있는데요
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요 -
@훈훈한 수국1,2번이 그나마 제 레벨에서 시도해볼 수 있는 방법 같네요!
고수님 상세한 답변 감사합니다.
| 번호 | 제목 | 글쓴이 | 날짜 |
|---|---|---|---|
| 공지 | 욕설/반말시 글쓰기 권한 영구 정지10 | 저렴한 개불알꽃 | 2019.01.26 |
| 공지 | 식물원 이용규칙 (2018/09/30 최종 업데이트) - 학생회 관련 게시글, 댓글 가능17 | 흔한 달뿌리풀 | 2013.03.04 |
| 51029 | 북문근처 목욕탕어디에2 | 슬픈 낙우송 | 2014.10.25 |
| 51028 | 졸업 유예자도 도서관 이용(대출이나 열람실 이용) 가능한가요?2 | 착한 시클라멘 | 2014.11.15 |
| 51027 | 중도 냄새6 | 한가한 새머루 | 2015.02.03 |
| 51026 | 전과하려는데 고민좀 들어주세요!! 기계과로요!!10 | 착잡한 월계수 | 2015.02.04 |
| 51025 | 과목코드 NY로 시작하는과목 어디 과꺼에요?3 | 착한 등대풀 | 2015.02.15 |
| 51024 | 수업을 안나가면4 | 거대한 노랑코스모스 | 2015.05.06 |
| 51023 | 지금 중도2 | 착한 흰여로 | 2015.06.02 |
| 51022 | 매경테스트 공부하시는 중이거나, 하신분 계신가요??3 | 멍한 뱀딸기 | 2015.07.08 |
| 51021 | 인지심리학6 | 머리좋은 흰털제비꽃 | 2015.07.29 |
| 51020 | 국제경제학 시험일자 질문드려요!2 | 난감한 동자꽃 | 2015.10.10 |
| 51019 | 케이크 만드는곳 아시는분??4 | 멍청한 앵두나무 | 2015.12.01 |
| 51018 | 배달치킨 맛있는 곳 추천주세요!(학교근처)5 | 멋쟁이 얼레지 | 2015.12.18 |
| 51017 | 부산대 지하철역 근처 카페 | 깨끗한 향유 | 2015.12.19 |
| 51016 | 국장 왜 저는 안주죠5 | 청렴한 일본목련 | 2016.01.07 |
| 51015 | 물리학과 복수전공1 | 화난 멍석딸기 | 2016.01.07 |
| 51014 | 도자위7 | 과감한 계뇨 | 2016.03.20 |
| 51013 | 강아지나 고양이 무료 분양 받는 곳 있을까요? 새끼7 | 의젓한 노린재나무 | 2016.04.08 |
| 51012 | 죄송한데 위로의 말씀 부탁드립니다14 | 흐뭇한 둥근잎나팔꽃 | 2016.06.20 |
| 51011 | [레알피누] 3영역 꿀강의 추천좀 해주세여3 | 키큰 마 | 2016.08.03 |
| 51010 | 중국인6 | 재수없는 감국 | 2016.10.13 |
댓글 달기