apify / 오픈소스 한글 소개
crawlee
Crawlee는 웹사이트를 돌아다니며 링크와 자료를 모으는 수집기를 만드는 개발 도구예요. 일반 웹 요청과 실제 브라우저를 같은 방식으로 다루고, 주소 대기열·저장·프록시 변경도 지원해요.
26,353
- 주요 언어
- TypeScript
- 시작 난이도
- 중급
- 관리 상태
- 활발
- 라이선스
- Apache-2.0
어떤 도구인가요?
사이트마다 다른 수집 방식을 한곳에서 관리하고, 반복 실행에도 안정적인 수집기를 만들려는 불편을 줄여요.
웹페이지에서 링크를 따라가며 표 형태의 자료와 파일을 모아 컴퓨터나 클라우드에 저장할 때 쓸 수 있어요.
GitHub 원문 설명: Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
이런 분께 맞아요
웹페이지 자료를 수집하면서 일반 요청과 Playwright·Puppeteer 브라우저 방식을 함께 쓰려는 개발자에게 잘 맞아요.
- 웹 자료 수집
- 브라우저 자동화
- 링크 탐색
추천 근거
- TypeScript 경험이 있으면 활용하기 좋아요.
- 최근 30일 안에 코드가 업데이트됐어요.
- 공식 홈페이지나 데모 링크가 연결돼 있어요.
- GitHub 사용자 26,353명이 스타로 관심을 표시
- TypeScript 중심으로 개발
- 2026년 11월 6일에 최근 업데이트
최근 30일 안에 코드가 업데이트됐어요. 프로젝트는 2016년 8월 26일에 만들어졌고 열린 이슈는 129개입니다.
라이선스 안내: 일반적 허용형
- 상업적 사용
- 일반적으로 가능
- 수정
- 가능
- 재배포
- 가능
- 소스 공개
- 일반적으로 불필요
NOTICE 파일이 있다면 함께 확인하고 필요한 고지를 유지하세요. 이 요약은 법률 자문이 아니므로 사용 전에 라이선스 원문을 확인하세요.
한국어 설명, 시작 난이도, 관리 상태는 저장소의 공개 정보를 바탕으로 자동으로 만든 참고용 추정치입니다. 정보 기준일 2026년 11월 7일. 설치 전에 원문 README와 릴리스를 확인해 주세요.