대규모 웹 스크래핑과 AI RAG 구축을 위한 오픈소스 크롤러 도구 스택 10선
Node.js 및 Python 기반 Crawlee부터 Scrapy, Crawl4AI까지 대규모 데이터 수집과 봇 탐지 우회, LLM 파이프라인 연계를 위한 핵심 오픈소스 스크래핑 도구 10종의 특성과 아키텍처를 비교 분석합니다.
#WebScraping
TAU-HOME.COM에서 WebScraping 태그로 묶인 글입니다.
안티 디텍트 브라우저 내장 오픈소스 웹 에이전트 'dots' 공개
OpenAI 유료 구독 대안으로 주목받는 오픈소스 AI 에이전트 dots. C++ 패치 파이어폭스를 탑재해 봇 차단을 우회하며 로컬 환경에서 원하는 LLM 모델로 브라우징 자동화를 수행합니다.
웹과 40여 종 문서를 단일 API로 스크래핑·마크다운 변환: Context.dev 'Scrape Anything'
웹페이지와 PDF, DOCX, PPT, XLSX 등 40여 종 문서 포맷을 URL 하나로 마크다운, HTML, JSON으로 변환하는 Context.dev 통합 스크래핑 API 'Scrape Anything'이 공개되었습니다. 봇 차단 자동 우회와 업무용 이메일 기준 월 1,000회 무료