1

Do d tuong t ng nghia tim n d pht hin vic sao chp

ti liu

Trn Cao
Khoa Cng ngh Thng tin & Truyn thng, i hc Cn Th
tcde@cit.ctu.edu.vn

Vic xc dinh mt vn ban c sao chp tu cc vn ban khc hay khng l mt vn d kh
nhay cam. N gip kim tra, pht hin tu vic sao chp lai d n, lun vn dn vi pham
tc quyn, vi pham so huu tr tu.
D c mt s nghin cuu d xut cc phuong php khc nhau d xc dinh xem mt doan
vn ban cua mt ti liu c nm trong mt ti liu no khc hay khng. Cc phuong php
ny chu yu dua trn tm kim v so khop chui (string matching). Tuy nhin, cc
phuong php so khop chui chi c hiu qua nu vic sao chp l nguyn vn. N
khng th pht hin cc sao chp c sua di di cht nhu thay th mt s tu bng tu dng
nghia hay thay di mt t trong thu tu cc cu trong vn ban.
Bi vit ny d xut mt giai php xc dinh xem mt ti liu c duoc sao chp tu cc ti
liu khc hay khng bng vic do d tuong tu ngu nghia cua ti liu dang xt voi cc ti
liu khc. D tuong tu ngu nghia o dy l ngu nghia tim n (latent semantic). K thut
ngu nghia tim n (latent semantic indexing) s duoc dng d xc dinh muc d tuong tu
ngu nghia cua hai doan vn ban.
Cc thuc nghim cho thy rng, giai php dua ra c th giai quyt duoc han ch cua
phuong php so khop chui. Mt vn ban duoc sao chp tu mt vn ban khc ri sua di
di cht nhu thay tu dng nghia, xo trn mt t trong trt tu cc cu du c th bi pht
hin.
Tu kha: so snh chuoi, do tuong tu ng nghia, chi muc ng nghia tim an, tm kim theo
ng nghia, pht hin sao chp.

I. Gii thiu
Trong thoi dai cng ngh s nhu hin nay, cc ngun ti liu l v cng phong
ph. Vic sao chp ti liu theo nghia tiu cuc nhu dao vn, sao chp cc lun n, lun
vn, d n tro nn ph bin v dang l vn nan. O qui m rng hon, cc thu vin din tu
ngy cng nhiu, mt ti liu c th duoc pht hnh trn internet nhiu ln trong nhung
thu vin din tu khc nhau, trn cc trang web khc nhau.
Lm th no d pht hin su sao chp ti liu theo nghia tiu cuc? Lm th no ngn chn
vic sao chp tri php, dao vn, dao nhac, dao lun vn, d n?
Bi vit ny s tp trung vo chu d pht hin sao chp ti liu vn ban. Chu d ny d
duoc nghin cuu tu khoang 10 nm qua. Hin tai, d c mt s giai php cho vic pht
hin sao chp v mt vi cng cu phn mm cho php pht hin mt ti liu (goi l vn
ban kim tra) c sao chp tu mt tp hop cc ti liu nguon hay khng. Tp hop cc ti
liu ngun c th l dng- tuc l cc ti liu tp hop truoc trong mt thu vin din tu-
hoc l mo, chng han nhu tp cc ti liu vn ban trn internet.