स्क्रेपी
स्क्र्यापी ( /ˈskreɪpaɪ/ [१] SKRAY-peye ) पाइथनमा लेखिएको नि:शुल्क र खुला स्रोत वेब-क्रलिङ फ्रेमवर्क हो। मूल रूपमा वेब स्क्र्यापिंगको लागि डिजाइन गरिएको, यो API को प्रयोग गरेर वा सामान्य-उद्देश्य वेब क्रलरको रूपमा डाटा निकाल्न पनि प्रयोग गर्न सकिन्छ। [२] यो हाल Zyte पहिले Scrapinghub, एक वेब-स्क्र्यापिङ विकास र सेवा कम्पनी द्वारा राखिएको छ।
| Developer(s) | जाइ्ट (पूर्व स्क्रैपिंगहब) |
|---|---|
| आरंभिक रिलीज | 26 June 2008 |
| स्थिर निस्तार | 2.6.1
/ 1 March 2022 |
| कोष | |
| लिखित | पाइथन |
| अपरेटिङ सिस्टम | विंडोज, मैक ओएस, लिनक्स |
| प्रकार | वेब क्रॉलर |
| इजाजतपत्र | BSD License |
| वेब्साइट | scrapy.org
|
स्क्र्यापी प्रोजेक्ट आर्किटेक्चर "स्पाइडर" बनाइएको छ, जुन स्वयं-निहित क्रलरहरू हुन् जसलाई निर्देशनहरूको सेट दिइएको छ। अरूको भावनालाई पछ्याउँदै आफैलाई फ्रेमवर्कहरू नदोहोर्याउनुहोस्, जस्तै Django, [३] यसले विकासकर्ताहरूलाई उनीहरूको कोड पुन: प्रयोग गर्न अनुमति दिएर ठूला क्रलिङ परियोजनाहरू निर्माण गर्न र मापन गर्न सजिलो बनाउँछ।
स्क्र्यापी ढाँचाले तपाईंलाई अटो-थ्रोटल, घुमाउने प्रोक्सीहरू र प्रयोगकर्ता-एजेन्टहरू जस्ता शक्तिशाली सुविधाहरू प्रदान गर्दछ, जसले तपाईंलाई नेटमा वस्तुतः पत्ता नलागेको स्क्र्याप गर्न अनुमति दिन्छ। स्क्र्यापीले वेब-क्रलिङ शेल पनि प्रदान गर्दछ, जुन विकासकर्ताहरूले साइटको व्यवहारमा उनीहरूको धारणा परीक्षण गर्न प्रयोग गर्न सक्छन्। [४]
स्क्र्यापी प्रयोग गर्ने केही प्रसिद्ध कम्पनीहरू र उत्पादनहरू हुन्: Lyst, [५] [६] Parse.ly, [७] Sayone Technologies, [८] Sciences Po Medialab, [९] Data.gov.uk को विश्व सरकारको डाटा साइट । [१]
इतिहास
सम्पादन गर्नुहोस्स्क्र्यापीको जन्म लन्डनमा रहेको वेब-एकत्रीकरण र ई-वाणिज्य कम्पनी माइडेकोमा भएको थियो, जहाँ यो माइडेको र इन्सोफिया ( मोन्टेभिडियो, उरुग्वेमा रहेको वेब-परामर्श गर्ने कम्पनी) का कर्मचारीहरूद्वारा विकसित र मर्मत गरिएको थियो। पहिलो सार्वजनिक विमोचन अगस्ट २००८ मा बयसदी लाइसेन्स अन्तर्गत भएको थियो, जुन २०१५ मा माइलस्टोन १.० रिलिज भएको थियो। 2011 मा, जाइ्ट (पहिले Scrapinghub) नयाँ आधिकारिक रखरखावकर्ता भयो। [१०] [११]
सन्दर्भहरू
सम्पादन गर्नुहोस्- ↑ Commit 975f150
- ↑ Scrapy at a glance.
- ↑ "Frequently Asked Questions", अन्तिम पहुँच २८ जुलाई २०१५।
- ↑ "Scrapy shell", अन्तिम पहुँच २८ जुलाई २०१५।
- ↑ Bell, Eddie; Heusser, Jonathan, "Scalable Scraping Using Machine Learning", अन्तिम पहुँच २८ जुलाई २०१५। वेब्याक मेसिन अभिलेखिकरण ९ अक्टोबर २०१६ मिति
- ↑ Scrapy | Companies using Scrapy
- ↑ Montalenti, Andrew, "Web Crawling & Metadata Extraction in Python"।
- ↑ "Scrapy Companies", Scrapy website।
- ↑ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ↑ List of the primary authors & contributors।
- ↑ Interview Scraping Hub.
बाह्य लिङ्कहरू
सम्पादन गर्नुहोस्- [Official Website](https://scrapy.org/)
- Scrapy Tutorial Series