https://hdknr.github.io/blogs/tags/scrapy/Recent content in Scrapy on hdknr blogHugo -- 0.157.0jaSat, 02 May 2026 00:00:00 +0000https://hdknr.github.io/blogs/posts/2026/05/scrapling-adaptive-web-scraping/Sat, 02 May 2026 00:00:00 +0000https://hdknr.github.io/blogs/posts/2026/05/scrapling-adaptive-web-scraping/<p>Webスクレイピングの定番ライブラリといえば BeautifulSoup だが、それを最大784倍上回るパフォーマンスを持つ Python フレームワーク <strong>Scrapling</strong> が注目を集めている。GitHub スター数は約47,000（2026年5月時点）に達する。Cloudflare Turnstile 突破やサイト構造変化への自動適応など、現代のWebスクレイピング課題を一手に解決するのが特徴だ。</p> <h2 id="scrapling-とは">Scrapling とは</h2> <p><a href="https://github.com/D4Vinci/Scrapling">Scrapling</a> は Karim Shoair（D4Vinci）が開発した適応型Webスクレイピングフレームワークだ。単発リクエストからフルスケールクローリングまでをカバーし、以下の3つを柱とする。</p> <ol> <li><strong>Adaptive Scraping</strong>: サイトのデザインが変わっても対象要素を自動的に再探索</li> <li><strong>Anti-bot Bypass</strong>: Cloudflare Turnstile 等のアンチボットを標準でバイパス</li> <li><strong>Spider Framework</strong>: Scrapy ライクな Spider API で並列クロールをスケールアウト</li> </ol> <h2 id="パフォーマンスベンチマーク">パフォーマンスベンチマーク</h2> <p>5,000 個のネスト要素に対するテキスト抽出速度（100回平均）。出典: <a href="https://github.com/D4Vinci/Scrapling#performance-benchmarks">公式 README ベンチマーク</a>：</p> <table> <thead> <tr> <th>ライブラリ</th> <th style="text-align: center">処理時間（ms）</th> <th style="text-align: center">Scrapling比</th> </tr> </thead> <tbody> <tr> <td><strong>Scrapling</strong></td> <td style="text-align: center">2.02</td> <td style="text-align: center">1.0x</td> </tr> <tr> <td>Parsel/Scrapy</td> <td style="text-align: center">2.04</td> <td style="text-align: center">1.01x</td> </tr> <tr> <td>Raw Lxml</td> <td style="text-align: center">2.54</td> <td style="text-align: center">1.26x</td> </tr> <tr> <td>PyQuery</td> <td style="text-align: center">24.17</td> <td style="text-align: center">~12x</td> </tr> <tr> <td>Selectolax</td> <td style="text-align: center">82.63</td> <td style="text-align: center">~41x</td> </tr> <tr> <td>MechanicalSoup</td> <td style="text-align: center">1549.71</td> <td style="text-align: center">~767x</td> </tr> <tr> <td>BS4 with Lxml</td> <td style="text-align: center">1584.31</td> <td style="text-align: center"><strong>~784x</strong></td> </tr> <tr> <td>BS4 with html5lib</td> <td style="text-align: center">3391.91</td> <td style="text-align: center">~1679x</td> </tr> </tbody> </table> <p>公式ドキュメントで強調されている「BeautifulSoup 比 784 倍」はこのベンチマークに基づいている。</p>