Robots.txt

Հիմնական որոնման համակարգերը, ինչպիսիք են Google-ը, Bing-ը և Yahoo-ն, ճանաչում և կատարում են Robots.txt ֆայլում նշված հրահանգները: 

 

Robots.txt ֆայլ ունենալը պարտադիր չէ, բայց դա լավ պրակտիկա է, որը կօգնի Ձեզ կառավարել, թե ինչպես որոնման համակարգերը աշխատեն Ձեր կայքի հետ: 

 

Այն բաղկացած է երկու հիմնական մասից՝ user-agents և directives։ 

 

User-agents -Այս տողում նշվում է, թե որ վեբ ռոբոտներին է վերաբերում ֆայլը: Օրինակ, Օգտագործող-գործակալ՝ user-agents 

 

Սա նշանակում է, որ ֆայլը վերաբերում է միայն Googlebot վեբ ռոբոտին: * նիշը կարող է օգտագործվել բոլոր վեբ ռոբոտներին ներկայացնելու համար: 

 

Directives -Այս տողում նշվում է, թե կայքի որ մասերը չպետք է հասանելի լինեն վեբ ռոբոտներին: Կարող եք ստուգել Google Search Central-ը՝ Robots.txt ֆայլ գրելու մասին ավելին իմանալու համար: 

 

 

Այն գրելուց հետո մուտք գործեք հետևյալ բաժինը՝  «Կարգավորումներ» հետո «Ընդհանուր կարգավորումներ» ենթաբաժին։

 

Տեղադրեք ներքևի վանդակում և սեղմեք Պահպանել փոփոխությունները կոճակը: