Scraping merupakan cara semi otomatis untuk pengambilan data dari suatu website tertentu, dikatakan semi otomatis karena ada beberapa hal yang harus diperhatikan sebelum kode untuk scraping kita dapat berfungsi, misalnya untuk mengambil data dari salah satu website, kita harus tau nama tag / class dari kode halaman website tersebut yang akan kita ambil datanya.
Pada website berbasis html (bukan berbasis web service/api) cara pengambilan datanya agak cukup sulit menurut saya, dibanding dengan pengambilan data dari website yang berbasis webservice/api, pada website yang berbasis api, kita bisa langsung mendapatkan data tersebut dengan membuka dev tools di browser chrome, untuk membuka dev tools umumnya mengklik tombol F12 pada keyboard, kemudian buka tab network, selanjutnya kita bisa melihat data tersebut.
contohnya dapat dilihat pada gambar dibawah
untuk mengambil datanya, kita hanya perlu klik kanan pada url yang dibutuhkan, kemudian pilih copy, selanjutnya klik copy response seperti pada gambar berikut
selanjutnya tinggal paste di notepad untuk diolah, atau bisa juga dengan menggunakan converter json to excel online
Ok, seperti yang sudah dijelaskan sebelumnya, website dengan teknologi api lebih mudah untuk diambil datanya. selanjutnya bagai mana cara pengambilan data dari website yang tidak menggunakan webservice ?
pada artikel ini saya menggunakan plugin php-html-parser yang bisa di download di https://github.com/paquettg/php-html-parser dan saya menggunakan framework laravel, target web dalam contoh ini adalah website lk21, kita akan mengambil
itu hanya contoh sederhana ya, untuk data yang lebih banyak, program nya mungkin cukup kompleks, kita harus menggunakan queue di laravel untuk mencegah error.
Comments
Post a Comment