Skill Web Scraping laku tak di Malaysia?

[nuar046]

Salam programmer,

Kepada semua pro web scraper, nak tanya 2 perkara iaitu:

1)Adakah skill ini ada market value di Malaysia? kalo ada, bleh tak bagi contoh 'task' yg perlu diselesaikan dan jumlah upah dibayar.

2)Korang pkai bahasa apa ek? atau 'framework'?

Tambahan pula, saya baru shj install framework Scrapy
utk blaja web scraping. Mohon tunjuk ajar dari korg,
yg lain2 pon bleh gak, bleh gak kita share2 sket ilmu yg dah ada.

Sekian, terima kasih

 

[syarif]

scraping amender tuh?
cuba explain..ahaks.

 

[Modz]

kurang demand sebab kos mahal..

 

[toklah]

termasuk dalam ketagori UTK (unit tindakan khas) bayaran mahal, tapi permintaan tak berapa nak ada

 

[AureLia]

Salam programmer,

Kepada semua pro web scraper, nak tanya 2 perkara iaitu:

1)Adakah skill ini ada market value di Malaysia? kalo ada, bleh tak bagi contoh 'task' yg perlu diselesaikan dan jumlah upah dibayar.

2)Korang pkai bahasa apa ek? atau 'framework'?

Tambahan pula, saya baru shj install framework Scrapy
utk blaja web scraping. Mohon tunjuk ajar dari korg,
yg lain2 pon bleh gak, bleh gak kita share2 sket ilmu yg dah ada.

Sekian, terima kasih

Tengok kepada jenis job terlibat. Permintaan kat Malaysia biasanya kurang. Tapi kalau kat luar, biasanya data scraping banyak berkaitan dengan site cloning. Saya cadangkan offer perkhidmatana ni kat tempat2 mcm freelancer.com, elance, odesk, getacoder, fiverr, etc. Boleh cas in USD.

 

[nuar046]

Tengok kepada jenis job terlibat. Permintaan kat Malaysia biasanya kurang. Tapi kalau kat luar, biasanya data scraping banyak berkaitan dengan site cloning. Saya cadangkan offer perkhidmatana ni kat tempat2 mcm freelancer.com, elance, odesk, getacoder, fiverr, etc. Boleh cas in USD.

oke, terima kasih.

 

[ohsem]

web scraping bukan banyak guna untuk data mining kan? jauh beza dengan development framework gui biasa..

 

[nuar046]

Terima kasih semua kerana sudi kongsikan info.hoho

kalau permintaannya tiada atau tak berapa nak ada, mgkin kita boleh adakan atau naikkan permintaan data scraping ni, mcm mana nak buat? saya pun tak ada agi ideanya,hahaha

tpi setahu saya, data scraping ni agak risiko sebab ia melibatkan kesulitan sesuatu data dan boleh dikenakan tindakan undang2 ,huhu

 

[nuar046]

scraping amender tuh?
cuba explain..ahaks.

Scraping tu macam mengambil data dari website. Contohnya, anda ingin mengambil data artikel dari website berita secara harian, tetapi ingin lakukannya secara automatik, disitulah web scraping digunakan, web scraping akan melancarkan programnya iaitu dipanggil 'spider' untuk 'memungut' atau mengambil mana-mana data artikel dari website tersebut secara automatik berdasarkan kehendak anda seperti anda ingin artikel mengenai sukan sahaja. Selepas program tersebut atau 'spider' telah memungut data, ia akan menyimpannya dalam file. jadi anda tak perlulah buka website tersebut hari-hari secara manual untuk mendapatkan data artikel tersebut.

 

[AureLia]

Terima kasih semua kerana sudi kongsikan info.hoho

kalau permintaannya tiada atau tak berapa nak ada, mgkin kita boleh adakan atau naikkan permintaan data scraping ni, mcm mana nak buat? saya pun tak ada agi ideanya,hahaha

tpi setahu saya, data scraping ni agak risiko sebab ia melibatkan kesulitan sesuatu data dan boleh dikenakan tindakan undang2 ,huhu

Kalau kat US, boleh dikenakan tindakan sebab kita tak dibenarkan scrap apa-apa data mana-mana web tanpa kebenaran pemilik web. Kat Malaysia, setahu saya belum ada undang-undang yg mengkhususkan peraturan ni. Tapi kalau nak selamat, kalau kat Malaysia, lebih baik offer service kpd mereka yg nak scrap data sendiri sahaja.