مرجع مقالات رسمي سئو

ربات گوگل Google-botدوستان عزيز عزيزم ميشود. اينجانب ربات گوگل هستم كه بهم گوگل بات Google-bot هم گفته ميشه.
وظيفه اينجانب، كرال كردن و ايندكس كردن همگي محتواي اينترنت بر پايه ي الگوريتم هايي ميباشد كه توي گوگل برام تعريف و تمجيد گرديده.
ربات گوگل Google-botاز آموزش سئو در مشهد كجا منو بشناسي؟اينجانب هنگامي يه ورقه اي رو مي‌بينم، مشخصم. ميتوني اينجانب رو با اين User-agent بشناسي:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36Googlebot/2.1 (+http://www.google.com/bot.html)
و ورژن موبايلي اينجانب:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)اينجانب دسته هاي ديگه اي هم دارم:براي تصاوير:
Googlebot-Image/1.0
براي خبر ها:
Googlebot-News
و براي كليپ ها:
Googlebot-Video/1.0در مورخ 11 آپريل 2019 DeepCrawl متوجه شد كه گوگل در حالا به كارگيري تستي از موتور رندرينگ ورژن 69 از مرورگر Google Chrome ميباشد.
در مورخ 24 سپتامبر 2019، گفته شد كه گوگل بات، از آخري ورژن استيبل گوگل كروم براي رندر كردن صفحه هاي وبي كه كرال مينمايد، استعمال مي‌نمايد.
At @DeepCrawl we've been running tests to catch Google's updated WRS (using a vrs higher than Chrome 41) out in the wild since Google has talked about working on it.
Now, any bar is a SMALL sample - but @KiwiAlec found some cool things to share.https://t.co/fa63JhurgJ
— Ashley (@BermanHale) April 11, 2019Crawl كردن چيه؟كرال كردن به اقدامي گفته ميشه كه اينجانب صفحه هاي متفاوت رو در تمام وب، ميخونم.
ايندكس كردن چيه؟ايندكس گوگل، به فهرستي كه گوگل از تمام محتواي روي اينترنت داره گفته ميشه. اينجانب محتوايي از وبسايت ها رو كه تشخيص بدم خوبه، ايندكس مي‌كنم و توي فهرستي قرار ميدم كه زماني كسي جستجويي انجام ميده، محتواي خوب رو كه به نيازش برسه، دوستانم توي گوگل بهش نشون تن.
چطوري صفحه ها رو كرال ميكنم؟اينجانب يه روزي، از يه ورقه اي توي وب كارم رو استارت كردم و با به كارگيري از منش هاي دسترسي اي كه به صفحه ها متعدد داشتم، اونا رو توي صف گذاشتم و به نوبت سراغشون ميرم و كرالشون مي‌كنم.
بعداز اينكه كارم تموم شد، ميرم سراغ ورقه بعدي.
ممكنه يه كاغذ اي رو در زمان روي، يكسري صد توشه كرال كنم.
رويه هايي كه اينجانب با به كارگيري از اونا صفحه ها رو پيدا ميكنم، مورد ها متعددي هستن. مهم ترينشون ايناسنقشه وبسايت (Sitemap) اي كه براي وب سايت ها توي كنسول جستجوي گوگل تثبيت ميشه.پس مطمئن باشيد يه نقشه تارنما داريد و اون رو تثبيت نمائيد.
نقشه وب سايت يا اين كه تارنما مپ sitemapپيوند هايي كه از صفحه ها گوناگون به هم داده ميشه.به هر كاغذ از سايتتون دستكم يه پيوند وجود داشته باشه كه بتونم پيداش كنم.
پيوندآيا اينجانب وب سايت شما رو زياد كرال مي كنم؟ سرور شما نمايد گرديده و مبتلا اختلال گرديده؟اينجانب مدام تلاش مي‌كنم تا شايسته ترين نرخ كرال كردن (Crawl rate) رو براي وب سايت شما گزينش كنم. البته ممكن ميباشد گهگاه با سرعت زياد كرال كردن، سبب نمايد شدن سرور وبسايت شما نحس يا اين كه به هر دليلي نياز به معدود كردن نرخ كرال كردن اينجانب داشته باشيد.
دراين‌صورت، ميتونيد از كنسول جستجوي گوگل > بخش پيكربندي > Crawl rate سرعت و نرخ كرال كردن اينجانب رو نادر فرمائيد.
در شرايط كلي اين فعاليت رو سفارش نميكنم. پس تا هنگامي كه در گير نقص‌ نشديد و از ادله اون اختلال اطمينان نتيجه ها نكرديد، بزاريد كارم رو به شايسته ترين صورت انجام بدم.
سرعت كرال كردن گوگل باتچطور ميشه جلوي دسترسي اينجانب رو به قسمت هاي خاصي از سايتت بگيري؟به هر دليلي، از پاراگراف اينكه نيازي نداشته باشي اينجانب براي مثال به بخش هايي از سايتت مثل بخش كاربري، بخش مدير (ادمين ) و ... دسترسي نداشته باشم تا هم منابع سرورت مراقبت بشه و هم اينجانب بيخودي درانتظار نشم، ميتوني با به كار گيري از پوشه robots.txt جلوي دسترسي اينجانب رو به‌اين بخشها بگيري
User-agent: googlebotDisallow: /admin/Disallow: /profile/Allow: /profile/*.jpgتنها حواست باشه دسترسي اينجانب رو به پوشه هاي مهم مثل تصوير پروفايل كاربرا و پوشه هايي كه براي ديدن بي نقص و رندر كردن صفحه هاي به اون ها نياز دارم مثل فولدر هاي CSS و JS نگيري. زيرا بهت ترديد مي‌كنم :D