Örümcekler ve Web tarayıcıları: Web Sitesi Verilerini Koruyabilmek üçün Nə Bilməlisiniz
Həm də "web tarayıcıları" olaraq adlandırılan Örümcekler, Web'yi arar ve herkesin niyyətinde dost deyildir.
Spammers Spider Websites məlumat toplamaq
Google, Yahoo!
və digər axtarış motorları saytların taranmasında maraqlı olanlar deyil - belə də dolandırıcılar və spamerlərdir.
Örümcekler ve diğer avtomatlaşdırılmış araçlar, web sitelerinde e-poçt ünvanlarını (internette bu praktikatın sıklıkla 'hasat' olaraq adlandırılmasını) tapmaq üçün spam göndericiler tarafından istifadə olunur və spam siyahıları yaratmaq üçün istifadə olunur.
Örümcekler, axtarış motorları tarafından web siteniz haqqında daha çox məlumat tapmaq üçün, lakin sitenizin taranmasıyla ilgili əsas informasiya təhlükəsizliyi risklərini təqdim edə biləcək təlimat (və ya 'icazələrin') olmadan veb səhifəsi haqqında daha ətraflı məlumat tapmaq üçün istifadə olunan bir vasitədir. Örümcekler aşağıdakı bağlantılarla səyahət edir və veritabanlarına, proqram fayllarına və onlara giriş əldə etmək istəməyəcəyiniz digər məlumatlara keçid tapmaqda çox üstündürlər.
Webmasters, örümceklerin ve diğer robotların sitelerine gittiğini görmek üçün günlükleri görebilir. Bu məlumat, webmasters onların saytını indeksləşdirənləri və nə qədər tez-tez olduğunu bilir.
Bu məlumat faydalıdır, çünki webmasters onların SEO-nu inandırmaq və robot.txt fayllarını yeniləmək üçün müəyyən robotların gələcəkdə saytlarını taramalarını qadağan etməyə imkan verir.
İstenmeyen Robot Crawlers'dan Veb Sayta Qoruma haqqında Məsləhətlər
İstenmeyen tarayıcıları veb saytınızdan çıxarmaq üçün kifayət qədər sadə bir yol var. Sitenizi tarayan zərərli örümcekler (endişelenen e-poçt ünvanınızın ən çox tarayıcılardan qorunmayacağından) narahat olmasa da, mühüm təlimatlara malik axtarış motorları təmin etməlisiniz.
Bütün saytlarda bir robots.txt faylı adlı kök dizinde olan bir fayl olmalıdır. Bu fayl, axtarış motoru olduqları halda (əgər müəyyən bir səhifənin meta məlumatında endekslenmemişse başqa bir şəkildə göstərilməmişdirsə) index səhifələrinə baxmaq istədikləri veb tarayıcılara təlimat verir.
İstədiyiniz axtarışçıları gözlədiyiniz yerə söyləyə bildiyiniz kimi, onlara getməyəcəyini və hətta bütün veb saytından xüsusi tarayıcıları engelleyebileceğinizi də söyləyə bilərsiniz.
Robots.txt faylını bir araya qoyaraq, axtarış motorları üçün böyük bir dəyərə sahib olacağını və web saytınızın performansını yaxşılaşdırmaqda əsas element ola biləcəyini nəzərə almamaq vacibdir, amma bəzi robot tarayıcıları talimatlarınızı hələ də görməyəcəklər. Buna görə bütün proqramlarınızı, pluginlerinizi və tətbiqlərinizi hər zaman gündəmə saxlamaq vacibdir.
Məqalələr və məlumatlar
Təhlükəli (spam) məqsədlərlə istifadə olunan məlumatların yığılmasının yayılmaması səbəbindən 2003-cü ildə qanunvericilik qanunları qüvvədə saxlamışdı. Bu istehlakçı qoruma qanunları 2003-cü ildə CAN-SPAM Aktı altında qalır.
İşiniz hər hansı kütləvi poçt və ya məlumat yığımı ilə məşğul olsa, CAN-SPAM Aktı haqqında oxumaq üçün vaxt ayırmaq vacibdir.
Anti-spam qanunları və spamerlarla necə məşğul olmağı və bir iş sahibi kimi nə edə biləcəyinizi aşağıdakı məqalələri oxuyaraq öyrənə bilərsiniz:
- CAN-SPAM Aktı 2003
- Qeyri-Kommersiya Tərəfdaşlığı üçün CAN-SPAM Akt Qaydası
- 5 CAN-SPAM Qaydaları Kiçik Biznes Sahibləri Anlamaq lazımdır