Paano Muling Magsumite ng Na-update o Bagong Robots.txt File

mga robot txt

Humahawak ang aming ahensya pagkonsulta sa organikong paghahanap para sa maraming mga vendor ng SaaS sa industriya. Ang isang kliyente na nagsimula kaming magtrabaho kasama kamakailan ay gumawa ng isang karaniwang pamantayan, paglalagay ng kanilang aplikasyon sa isang subdomain at ilipat ang kanilang brochure site sa pangunahing domain. Ito ay isang pamantayang kasanayan dahil pinapayagan nito ang kapwa koponan ng iyong paggawa at ang iyong pangkat sa marketing na gumawa ng mga pag-update kung kinakailangan nang walang anumang pagsalig sa iba.

Bilang unang hakbang sa pagsusuri ng kanilang kalusugan sa organikong paghahanap, nairehistro namin ang parehong brochure at mga domain ng aplikasyon sa Webmasters. Doon namin natukoy ang isang agarang isyu. Ang lahat ng mga pahina ng application ay na-block mula sa pag-index ng mga search engine. Nag-navigate kami sa kanilang pagpasok ng robots.txt sa Webmasters at agad na nakilala ang isyu.

Habang naghahanda para sa paglipat, ayaw ng kanilang koponan sa pag-unlad na ma-index ang subdomain ng application sa pamamagitan ng paghahanap, kaya pinayagan nila ang pag-access sa mga search engine. Ang file na robots.txt ay isang file na matatagpuan sa ugat ng iyong site - yourdomain.com/robots.txt - Na nagpapahintulot sa search engine na malaman kung dapat o hindi nila dapat i-crawl ang site. Maaari kang magsulat ng mga panuntunan upang payagan o hindi payagan ang pag-index sa buong site o mga tukoy na landas. Maaari ka ring magdagdag ng isang linya upang tukuyin ang iyong file ng sitemap.

Ang robots.txt Ang file ay may sumusunod na entry na pumipigil sa site sa pag-crawl at pag-index sa mga ranggo ng resulta ng paghahanap:

User-Agent: * Huwag Payagan: /

Ito ay dapat na nakasulat tulad ng sumusunod:

Ahente ng gumagamit: * Payagan: /

Ang huli ay nagbibigay ng pahintulot sa anumang search engine na gumagapang sa site na ma-access nila ang anumang direktoryo o file sa loob ng site.

Mahusay ... kaya ngayon na ang robots.txt ang file ay perpekto ngunit paano malalaman ng Google at kailan nila susuriing muli ang site? Sa gayon, maaari mong ganap na hilingin sa Google na suriin ang iyong robots.txt, ngunit hindi ito masyadong madaling maunawaan.

Mag-navigate sa Google Search Console Search Console sa Crawl> robots.txt Tester. Makikita mo ang mga nilalaman ng pinakabagong naka-crawl na robots.txt file sa loob ng Tester. Kung nais mong muling isumite ang iyong file ng robots.txt, i-click ang Isumite at ang isang popup ay lalabas ng ilang mga pagpipilian.

muling isumite ang mga robot.txt

Ang pangwakas na pagpipilian ay Hilingin sa Google na i-update. I-click ang asul na isumite na pindutan sa tabi ng opsyong iyon at pagkatapos ay mag-navigate pabalik sa Crawl> robots.txt Tester pagpipilian sa menu upang mai-reload ang pahina. Dapat mo na ngayong makita ang na-update na file ng robots.txt kasama ang isang stamp ng petsa na nagpapakita na na-crawl muli ito.

Kung hindi ka nakakakita ng na-update na bersyon, maaari mong i-click ang isumite at piliin Tingnan ang nai-upload na bersyon upang mag-navigate sa iyong tunay na file ng robots.txt. Maraming mga system ang mag-cache sa file na ito. Sa katunayan, binubuo ng IIS ang file na ito nang pabago-bago batay sa mga panuntunang ipinasok sa pamamagitan ng kanilang interface ng gumagamit. Malamang na kailangan mong i-update ang mga panuntunan at i-refresh ang cache upang mag-publish ng isang bagong file ng robots.txt.

robots-txt-tester

Ano sa tingin ninyo?

Ang site na ito ay gumagamit ng Akismet upang mabawasan ang spam. Alamin kung paano naproseso ang data ng iyong komento.