파이썬 웹크롤링 후 엑셀 저장(멀티프로세싱 구현)
글쓴이
- 2020.05.15. 21:19
- 512
파이썬에서 웹크롤링 후 엑셀 저장하는 코드를 만들었는데
데이터가 수만건이라 속도가 너무 느려서 멀티프로세싱을 구현했는데
엑셀파일은 한개다 보니 각 프로세스가 침해해서 ? 저장을 하면서
데이터가 엉망인데 이런 건 어떻게 해결할 수 있을까요 ㅠ
권한이 없습니다.
이 게시물을 삭제하시겠습니까?
1. 파일을 프로세스별로 만들어서 저장후 크롤링이 끝나면 합치는 코드 작성
2. multiprocessing의 lock기능 활용
3. multiprocessing의 semaphore기능 활용
4. 수집 클래스, 저장 클래스를 따로 만들어서 수집 클래스들이 저장 클래스의 큐에 값을 집어넣으면 저장 클래스가 큐에서 값을 하나씩 꺼내어 저장하는 방법(이때 수집 클래스의 속도를 조절하지 않으면 버퍼가 터질 수 있습니다)
이정도가 생각나네요