XenForo için örne Robots.txt Dosyası ve bilinmesi gerekenler
Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Nasıl Kullanılır?
Forum ana dizinine eklenecek olan robot.txt isimli bir dosya ile basitce forumunuza bir Robot dosyası açabilir,Eleyebilirsiniz.
Robot.txt Komut anlamları
User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirler
Visit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.
Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.
XenForo için Robot.txt Dosyası nasıl olmalıdır ?
Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Nasıl Kullanılır?
Forum ana dizinine eklenecek olan robot.txt isimli bir dosya ile basitce forumunuza bir Robot dosyası açabilir,Eleyebilirsiniz.
Robot.txt Komut anlamları
User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirler
Visit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.
Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.
XenForo için Robot.txt Dosyası nasıl olmalıdır ?
Kod:
robots.txt https://mertboss.com/
# mertboss Forum
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /forum/find-new/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/goto/
Disallow: /forum/register/
Disallow: /forum/posts/
Disallow: /forum/login/
Disallow: /forum/admin.php
Disallow: /forum/ajax/
Disallow: /forum/misc/contact/
Disallow: /forum/data/
Disallow: /forum/conversations/
Disallow: /forum/events/birthdays/
Disallow: /forum/events/monthly/
Disallow: /forum/events/weekly/
Disallow: /forum/find-new/
Disallow: /forum/help/
Disallow: /forum/internal_data/
Disallow: /forum/js/
Disallow: /forum/library/
Disallow: /forum/search/
Disallow: /forum/styles/
Disallow: /forum/login/
Disallow: /forum/lost-password/
Disallow: /forum/online/
Allow: /
Sitemap: https://mertboss.com/sitemap.php