Solution/Method Required : Data Cleanup (any language accepted)

[rizalstudio]

consider ada 2 table, satu table main database & lagi satu table yg simpan data updated by user(memula kena migrate dulu existing data, yg ni dok wat ta!k skrg)~X(~X(~X(

4.5K??? fuhhh....untung gile kompeni aku camni, patut la bnyk dept asyik nak automate keja masing2 & dump kat aku untuk develop sub=internal system, kalu suruh vendor sah2 kena kapak dah...aku minta naik gaji pun susah nak dapat(((

adat la tu.. keja nk automate.. company dr uk tp opis kat msc jb..

sbb problem bila sebutan berlainan negara.. cam problem nama nabi la..
kita panggil Nabi Isa, diorang panggil Jesus.. dan nama lain2..
x faham aku kenapa diorang terima untuk translate..

sori berbalik kepada isu tadi tu..

secara logik kau la, camna la sistem nk crossmatchkan nama tu kalau dia xde reference?? even kalau kau taip grammer yg salah kat google tu pun diorang siap bg suggestion..

kalau nama kau ahmad, kat tempat lain panggil kau abu.. tak logik kan?
jadi dalam nk crossmatch tu kena depend data2 dan info2 lain gak.. macam ic, alamat dan lain2..

kena peka dan update perkara lain..

adat la bro.. dulu aku masa kerja programmer kat company retail tu.. nak cleanup duplicate customer dekat berminggu2.. utk 200k lebih customer.. itu pun belum even reach 70% accurate..

 

[mutanic]

adat la tu.. keja nk automate.. company dr uk tp opis kat msc jb..

sbb problem bila sebutan berlainan negara.. cam problem nama nabi la..
kita panggil Nabi Isa, diorang panggil Jesus.. dan nama lain2..
x faham aku kenapa diorang terima untuk translate..

sori berbalik kepada isu tadi tu..

secara logik kau la, camna la sistem nk crossmatchkan nama tu kalau dia xde reference?? even kalau kau taip grammer yg salah kat google tu pun diorang siap bg suggestion..

kalau nama kau ahmad, kat tempat lain panggil kau abu.. tak logik kan?
jadi dalam nk crossmatch tu kena depend data2 dan info2 lain gak.. macam ic, alamat dan lain2..

kena peka dan update perkara lain..

adat la bro.. dulu aku masa kerja programmer kat company retail tu.. nak cleanup duplicate customer dekat berminggu2.. utk 200k lebih customer.. itu pun belum even reach 70% accurate..

Problem ni hanya terjadi untuk existing data user yg nak kena migrate ke dlm system ja, masalah bila user x menten skali bisnes reg no/ic sume tu sebelum ni, tu yg terpaksa match by name dulu...aku kena test dulu apa yg aku dah plan semalam, maybe lepas dah buat sume tu nnt tinggal sket yg x dapat verify/validate so aku akan list ker setiap user yg menten record tu berkenaan data dia yg x leh verify/validate tadi untuk wat secara manual...

secara logik kau la, camna la sistem nk crossmatchkan nama tu kalau dia xde reference?? even kalau kau taip grammer yg salah kat google tu pun diorang siap bg suggestion..

aku penah buat konsep ni, alih2 kena buang sbb xmau user accidentally tersalah pilih nama dek auto kuar camtu, skrg konsep yg selamat kena search/browse pastu select dari result yg papar pre-load data baru customer name autofill skali ngan beberapa information lain dlm form & auto load any facility yg link ngan customer, kalu new & bila search/browse x jumpa so yg ni xleh masukkan maybe ada sesuatu yg x kena & data x update/exist dlm main database kena check kat system lain plak apsal jadi camtu...

 

[rizalstudio]

Problem ni hanya terjadi untuk existing data user yg nak kena migrate ke dlm system ja, masalah bila user x menten skali bisnes reg no/ic sume tu sebelum ni, tu yg terpaksa match by name dulu...aku kena test dulu apa yg aku dah plan semalam, maybe lepas dah buat sume tu nnt tinggal sket yg x dapat verify/validate so aku akan list ker setiap user yg menten record tu berkenaan data dia yg x leh verify/validate tadi untuk wat secara manual...



aku penah buat konsep ni, alih2 kena buang sbb xmau user accidentally tersalah pilih nama dek auto kuar camtu, skrg konsep yg selamat kena search/browse pastu select dari result yg papar pre-load data baru customer name autofill skali ngan beberapa information lain dlm form & auto load any facility yg link ngan customer, kalu new & bila search/browse x jumpa so yg ni xleh masukkan maybe ada sesuatu yg x kena & data x update/exist dlm main database kena check kat system lain plak apsal jadi camtu...

cuma apa aku leh ckp memang tak boleh cleanup 100% (depend kepada customer size)
kalo sampai 900k memang jenuh la wooo..

nak auto kan benda ni pun aku x jamin sampai 60% accurate.. dan confirm byk guna processing dan memori sebab nk kena read 1-1 dan cross-match huhuhuhu

 

[mutanic]

cuma apa aku leh ckp memang tak boleh cleanup 100% (depend kepada customer size)
kalo sampai 900k memang jenuh la wooo..

nak auto kan benda ni pun aku x jamin sampai 60% accurate.. dan confirm byk guna processing dan memori sebab nk kena read 1-1 dan cross-match huhuhuhu

bab processing & memory tu betul sgt2, kekadang risau gak sbb bila aku monitor kat server mmg memory usage tinggi siottt cuma bila nak run process camni kena amik time x peak jaa baru x effect user lain...

 

[ResellerMaxis]

kat tempat tuan mutanic ada kerja kosong x??saya nak kerja situ..ehehe best betul..abis meeting boleh cabut balik..tempat saya kerja ni..pagi sampai kena punch card..masuk sebelum 8.30..rehat kul 1 kena punch..xleh kuar awal dari kul 1..lambat xper..balik rehat lak mesti sebelum kul 2..kuar lambat rehat pun kena masuk sebelum kul 2 gak..bosan giler..dah ar tu..balik petang lepas 5.30..kalau banyak kerja sampai malam lagi..huhuhu saya pun kerja output management system gak..process raw data..ehe

 

[Erazer]

Yup, guna regex paling senang bagi aku rasanya.Sebab mostly set on rules je.

http://www.regular-expressions.info/

 

[Erazer]

bab processing & memory tu betul sgt2, kekadang risau gak sbb bila aku monitor kat server mmg memory usage tinggi siottt cuma bila nak run process camni kena amik time x peak jaa baru x effect user lain...

Case yang sama terjadi pada company aku, so apa aku and the gang buat , kitorang upgrade database kepada memSQL , spec server sume layan SSD je,RAM pun maximum, memang box tu semata-mata untuk handle database je.Query pun kena betul ...

 

[mutanic]

Case yang sama terjadi pada company aku, so apa aku and the gang buat , kitorang upgrade database kepada memSQL , spec server sume layan SSD je,RAM pun maximum, memang box tu semata-mata untuk handle database je.Query pun kena betul ...

memSQL??? mcm best jaa...nnt aku try

tempat aku pakai SQL Server bro...)

 

[mutanic]

kat tempat tuan mutanic ada kerja kosong x??saya nak kerja situ..ehehe best betul..abis meeting boleh cabut balik..tempat saya kerja ni..pagi sampai kena punch card..masuk sebelum 8.30..rehat kul 1 kena punch..xleh kuar awal dari kul 1..lambat xper..balik rehat lak mesti sebelum kul 2..kuar lambat rehat pun kena masuk sebelum kul 2 gak..bosan giler..dah ar tu..balik petang lepas 5.30..kalau banyak kerja sampai malam lagi..huhuhu saya pun kerja output management system gak..process raw data..ehe

meeting kat luar, kalu nak balik ofis pun dah hampir 5.45 tu pasal alang2 aku dah demam + sampai pun dah time nak balik better aku balik terus jaa...)

* aku maybe nak minta kuar dah dari unit aku, skrg ni solo beb tu aku letih...kalu nko masuk aku kuar nnt nko pun sama gak cuma sanggup atau x jaa...meh resume kat aku

 

[ResellerMaxis]

meeting kat luar, kalu nak balik ofis pun dah hampir 5.45 tu pasal alang2 aku dah demam + sampai pun dah time nak balik better aku balik terus jaa...)

* aku maybe nak minta kuar dah dari unit aku, skrg ni solo beb tu aku letih...kalu nko masuk aku kuar nnt nko pun sama gak cuma sanggup atau x jaa...meh resume kat aku

ahahaha..gaji best x??office area mana?