معرفی Selenium و کاربرد آن در وب اسکرپینگ

در ادامه مطلب های وب اسکرپینگ به زبان پایتون، در این مطلب می خواهیم در مورد Selenium و کاربرد آن در وب اسکرپینگ صحبت کنیم. Selenium به زبان ساده ابزاری متن باز (Open Source) برای آزمایش خودکار (Automate Test) برنامه های وب از طریق مرورگرهای استاندارد وب مانند Chrome, FireFox, Intrenet Explorer, Safari و Edge در ویندوز ۱۰ است. توجه کنید که Selenium تنها برای آزمایش برنامه های وب از طریق مرورگرهای وب است و به هیچ عنوان نمی توانیم آنرا برای برنامه های گرافیکی (GUI) و رومیزی (Desktop) و برنامه های ابزارهای همراه (Mobile Decices) مانند Android و iOS استفاده کنیم. به طور مثال شما وب سایتی به زبان پایتون یا پی اچ پی یا سی شارپ نوشته اید و حال می خواهید به صورت خودکار و بوسیله اسکریپتی به همان زبان، فرم ورود به سایت را آزمایش کنید. در این زمان Selenium به کار خواهد آمد.

بنابراین به وسیله Selenium و به وسیله اسکریپت های زبان های متفاوت مانند پایتون، سی شارپ، جاوا، پی اچ پی و غیره می توانیم برنامه های وب را به صورت خودکار و از طریق مرورگر وب آزمایش کنیم، به طوری که دیگر نیازی به آزمایش دستی نباشد. در آزمایش یک برنامه قابلیت های متفاوت آن، بوسیله داده های متفاوت مورد آزمایش قرار می گیرند. آزمایش دستی یک برنامه، زمان بر، خسته کننده و همراه با مشکل ها و خطاهای ممکن است. توجه کنید که آزمایش یک برنامه (وب، رومیزی یا ابزارهای همراه)، به منظور رفع مشکل ها و معایب آن برنامه لازم و ضروری است، زیرا اگر مشکل ها پیش از نهایی شدن و اجرا شدن برنامه رفع نشوند، ممکن است هزینه ای بالایی را منجر شوند.

در آزمایش خودکار، به جای تعامل یک نفر با برنامه، یک اسکریپت به صورت خودکار اجرا، نتیجه اجرای اسکریپت به صورت خودکار ایجاد و شاید گزارش ها نیز به صورت خودکار اجرا شوند. در مطلب های Selenium درون دوره وب اسکرپینگ با پایتون، به دنبال آموزش آزمایش خودکار برنامه وب نستیم، بلکه می خواهیم به شما نشان دهیم، چگونه Selenium می تواند همانند کتابخانه bs4 به استخراج داده های وب کمک کند. در مطلب های پیش رو با نمونه مثال های ساده ای نشان داده ایم که چگونه از Selenium یا به عبارت بهتر از کتابخانه Selenium در زبان پایتون می توانیم برای دسترسی به تگ های درون صفحه وب استفاده کنیم. کتابخانه Selemium دارای یک سری از متدهای کاربردی است که این اجازه را می دهند تا به طور مثال به یک فرم درون صفحه دسترسی و سپس داده ای را به آن بفرستیم. در مطلب فرستادن داده به فرم ها در پایتون با Mechanize در مورد دسترسی به فرم های درون صفحه صحبت شد ولی در ادامه، آموزش می دهیم چگونه با Selenium و با شیوه ای متفاوت، به فرم های صفحه وب داده بفرستیم.

سپس با مثال های کاربردی تر (نه صرفا پیچیده) نشان می دهیم چگونه Selenium می تواند در استخراج صفحه های وب بسیار کاربردی تر از کتابخانه bs4 باشد. به طور مثال نشان می دهیم چگونه می توانیم رویدهای ماهای متفاوت سال را بوسیله Selenium از درون صفحه های وب استخراج کنیم. شاید شما نتوانید یک سالنامه را خوانده و برگه به برگه رویدهای روزهای متفاوت را درون سیستم خود ذخیره کنید. در اینجا وب اسکرپینگ (Web Scraping) و به ویژه در ادامه، کتابخانه Selenium کاربرد خواهند داشت.

وب درایور چیست

وب درایور (WebDriver) ابزاری متن باز برای آزمایش خودکار برنامه های تحت وب، بوسیله مرورگرهای متفاوت است. WebDriver اجازه می دهد تا بتوانیم صفحه های وب را پیمایش کنیم، ورودی کاربران را بفرستیم، کدهای جاوا اسکریپت را اجرا کنیم و بسیاری دیگر از قابلیت های خود مرورگر را به صورت خودکار انجام دهیم. برای کار با Selenium و کتابخانه آن در پایتون، پیش از هر چیز باید درایور مخصوص مرورگر خود را دانلود و سپس در محلی از سیستم عامل خود ذخیره کنید. در این مطلب ما مرورگر Chrome را به کار برده ایم، پس باید پیش از هر چیز Chrome WebDriver را از این اینجا دانلود کنید.

در ویدیوهای زیر می توانید به ترتیب چگونگی نصب Chrome WebDriver در سیستم عامل های ویندوز، مکینتاش را نشان می دهند. در کلیه آنها این مهم است که ویدیو را در مسیری از سیستم عامل ذخیره کنید که آن مسیر درون متغیر محیطی PATH سیستم عامل تعریف شده است. یرای نصب در سیستم عامل لینوکس (ابونتو) می توانید این لینک را بخوانید.

بنابراین نخستین گام در کار با کتابخانه Selenium نصب درایور مرورگر مربوطه در مسیری از سیستم فایل سیستم عامل است که در متغیر PATH شناخته شده است. پس از آن باید کتابخانه Selenium را بوسیله دستور pip و به صورت زیر نصب کنید. پس از نصب در مطلب های پیش رو چگونگی به کارگیری آن را شروع می کنیم. برای خواندن ادامه مطلب ها می توانید سایت https://dataset-academy.com و این لینک را بخوانید.

1 دیدگاه در “معرفی Selenium و کاربرد آن در وب اسکرپینگ

  1. سلام ، این پیغام از طرف سایت کُشِن براتون ارسال شده و قصد داریم یک ابزار حرفه ای برای توصیف محصولاتتون در شبکه های اجتماعی و وبسایت ها معرفی کنیم.
    کُشِن یه انیمیشن 60 ثانیه ای که خدمت یا کالای شما رو برای مشتری توصیف میکنه ، ویژگی ها و مزیتش رو نام میبره ، نحوه ی استفاده رو توضیح میده و ازش دعوت میکنه تا مشتری برند شما بشه.
    قیمت هر کُشِن بین 100 الی 400 هزار تومانه که البته میتونی در چهارشنبه بازار کشن 50% تخفیف هم بگیری.
    تیم حرفه ای کُشِن از طراحی سناریو انیمیشن تا گویندگی و طراحی گرافیکی رو به عهده داره.
    برای دیدن ویدئو معرفی کُشِن و نمونه کارهامون به لینک زیر در اینستاگرام مراجعه کن :
    https://www.instagram.com/instamotion.ir
    و یا از روشهای زیر با ما در ارتباط باش.
    http://www.cotion.ir
    09100909938 (تلگرام و واتساپ)
    02188891145

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *