• Çözümlerimiz
    • Self Servis Teknolojiler
    • Mobil Teknolojiler
    • Web Teknolojileri
  • Başarı Hikayeleri
  • Değerlerimiz
    • Değerlerimiz
    • Ekibimiz
  • Blog
  • İletişim
  • Akademi
logo logo
  • Çözümlerimiz
    • Self Servis Teknolojiler
    • Mobil Teknolojiler
    • Web Teknolojileri
  • Başarı Hikayeleri
  • Değerlerimiz
    • Değerlerimiz
    • Ekibimiz
  • Blog
  • İletişim
  • Akademi
  • Argenova
  • Yazılım Geliştirme
  • Girişimcilik
  • Proje Yönetimi
  • Müşteri Hizmetleri
  • Teknoloji
Robots.txt Nedir? Nasıl Kullanılır?

Robots.txt Nedir? Nasıl Kullanılır?

Buse SAVAŞ
Buse SAVAŞ • 28 Temmuz 2022
Discord

Bu yazımızda “Robots.txt Nedir? Nasıl Kullanılır?” konusuna değineceğiz. Öncelikle arama motoru botlarının asıl amacı bir web sitesinin sayfalarını taramak ve arşivlemektir. Örneğin web sitenizin bazı sayfalarında bulunan içerikleri arama motoru botlarının erişimine kapatmak isteyebilirsiniz. Bunun için robots.txt dosyası sizlere yardımcı olacaktır. Peki “Robots.txt” nedir? Gelin birlikte inceleyelim.

1- Robots.txt Nedir?

Robots.txt, tüm arama motorlarının baktığı, web sitelerinin hangi sayfalarının indekslenip, hangi sayfalarının indekslenmemesi gerektiğini söyleyen dosya olarak tanımlanır. Arama motorları yazılımları web sitenizi tararken öncelikle “txt” dosyasını tarar ve dosyada belirtilen komutlar doğrultusunda sitedeki izin verilen kısımları dizinine ekler.

Robots.txt dosyası

2- Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyasını oluşturmak için iki yöntem bulunmaktadır. İlk yöntem olarak, ücretsiz olan robots.txt araçlarından bu dosyayı oluşturabilirsiniz. İkinci yöntem olarak ise, Robots.txt dosya oluşturma işlemini kendiniz yaparak kök dizinine eklemeniz gerekir. Ayrıca hata yapma riskini minimuma düşürmek için arama motorları üzerinden “robots.txt generator” gibi aramalar sonucu hazır dizinler üzerinden düzenleme yapabilirsiniz.

Örneğin bir site sahibi robots.txt dosyasını kendi oluşturmak istiyor. Öncelikle yapılması gereken işlem yeni bir metin belgesi oluşturarak ismini “robots.txt” olarak değiştirmelidir.
Ayrıca bu dosyalarda “User-agent” ve “Disallow” gibi değişkenler bulunmaktadır.

User-agent: Arama motorunun adını göstermektedir.
Disallow: Arama botlarının izin durumunu gösteren komut alanıdır.

Robots.txt dosyasını oluşturmak için bazı kurallar bulunmaktadır; bu kuralların ilki, “txt” dosyasının mutlaka “site kök dizinine” eklenmesi gerekir. Diğeri ise, “dosya ile web sitesinin URL formatının aynı” olmasına dikkat edilmelidir. Bir de “Robots.txt” dosyası UTF-8 türündeki kodlamaya göre düzenlenmelidir. Robots.txt dosyası için belirlenen ismin uzantısı, web sitenize olan erişim alan adı ile aynı olmalıdır.

Robost.txt dosya kullanım örneği: 

Yanlış Kullanım Şekli: https://argenova.com.tr/main.robots.txt
Doğru Kullanım Şekli: https://argenova.com.tr/robots.txt

3- Robots.txt Nasıl Kullanılır?

Aşağıdaki bazı örnekler Robots.txt dosyasını nasıl kullanmanız gerektiği konusunda sizlere yardımcı olacaktır.

1- Aşağıdaki örneğimizde arama motoru robotu “yeni” dizinini taramadan sadece “yeni değil” sayfasını tarayabilir. Çünkü “yeni” dizini erişime kapalı olduğu için sadece “yeni- degil.html” sayfasına erişim sağlanmaktadır.

  • User-agent: *
  • Disallow: /yeni/
  • Allow: /yeni/yeni-degil.html

2- Aşağıdaki örnekte, sadece Googlebot’un “yeni” dizinine olan erişimi engellenmiştir. Bu sayede Googlebot dışındaki tüm arama motoru robotlarının siteye erişimi tamamen engellenmiş olur.

  • User-agent: googlebot
  • Disallow: /yeni/
  • User-agent: *
  • Disallow: /

3- Aşağıdaki örnekte, Googlebot’un “yeni” dizinine olan erişimi ve Google görsel bot’un “yeni” ve “grafik” dizinine olan erişimi de engellenmiştir.

  • User-agent: googlebot
  • Disallow: /yeni/
  • User-agent: googlebot-images
  • Disallow: /yeni/
  • Disallow: /grafik/

Kısacası arama motorları, siteler ile ilgili bilgi edinmek ve arşivleme gibi durumlarda sitede bulunan sayfalara bakmaktadır. Bir web sitesinin indeks sınırları robots.txt dosyası ile düzenlenebilir. Siz de sitenizde görülmemesini istediğiniz sayfaları “txt” dosyası ile sınırlandırabilirsiniz.

Keyifli okumalar dilerim.

SEO


Daha Fazla Kaynak

  • Breadcrumb Nedir, Ne İçin Kullanılır?
  • Wireframe (Şema Tasarımı) Nedir?
  • SVG Nedir?
  • Meta Keywords Nedir?

Görüşlerini Paylaş

Görüşlerin ve yorumların bizim için çok değerli. Yorumunu aşağıdaki formu doldurarak bize gönderebilirsin.

E-mail adresiniz gösterilmeyecektir.

Argenova

Yenilikçi ve girişimci ruhumuz ile hareket ediyor, her işimizi değerlerimiz ışığında en doğru şekilde yapıyoruz.

Web Teknolojileri
  • Kurumsal Web Tasarım
  • E-Ticaret
  • Web Uygulamarı
  • Seo
  • Dijital Pazarlama
  • Sunucu ve Barındırma
  • Teknik Destek ve Bakım
Mobil Teknolojiler
  • IOS Uygulama Geliştirme
  • Android Uygulama Geliştirme
  • Bakım ve Teknik Destek
Self-Servis Teknolojiler
  • Ziyaretçi Yönetim Sistemi
  • Anket ve Eğitim Sistemleri
  • Toplantı Odası Bilgilendirme Ekranı
  • Multitouch Uygulamalar
  • Digital Signage
  • İnteraktif Stand Çözümleri
  • Özel Kiosk Çözümleri
  • Temizlik Kontrol Sistemi
Argenova
  • Hakkımızda
  • Blog
  • İletişim
  • Argenova Yazılım Stajı 2022

Copyright © 2022. Argenova Teknoloji. All rights reserved.