همه چیز در مورد موتور های...

everything-about-search-engines

همه چیز در مورد موتور های جستجو

همانطور که درفصل اول:سئو 101 اشاره کردیم، موتورهای جستجو ماشین ‌های پاسخ گو هستند. آن‌ ها برای کشف، درک و سازماندهی محتوای اینترنت به وجود آمده اند تا مرتبط ‌ترین نتایج را به پرسش ‌های جستجو کنندگان ارائه دهند. برای نشان دادن نتایج جستجو، محتوای شما باید ابتدا برای موتورهای جستجو قابل ‌مشاهده باشد. مسلماً مهم‌ترین قطعه پازل سئو همین است: اگر سایت شما توسط موتور های جستجو دیده نشود ، هیچ راهی وجود ندارد که در صفحه نتایج آن ها دیده شوید. اگر میخواهید بدانید موتور های جستجو چگونه عمل می کنند حتما این مقاله را از دست ندهید. در اتمام این فصل شما خواهید آموخت تا به جای مقابله با موتورهای جستجو باید با آن ها دوست باشید .

مهم ترین وظایف موتور های جستجو

موتورهای جستجو سه وظیفه اصلی دارند:

خزیدن (crawl): خزنده های موتور های جستجو ، در هر URL ای که می بینند به دنبال کد/ محتوا هستند.

فهرست کردن (Index): این فرآیند در واقع ذخیره و سازمان‌ دهی محتوای یافت‌ شده در طول فرآیند خزیدن است. هنگامی که یک صفحه فهرست می شود، توسط موتور های جستجو دیده شده و در نتایج قرار می گیرد.

رتبه بندی (Rank): در این مرحله موتور های جستجو بهترین محتوا ها را برای پاسخ به نیاز کاربران فراهم می کنند، در واقع به زبان ساده تر نتایج جستجو را از مرتبط‌ترین تا کم ارتباط ترین سایت، مرتب می کند.

خزیدن در موتور های جستجو به چه معناست؟

crawling یا خزیدن پروسه ای است که در آن موتورهای جستجو تیمی از ربات ها، که به عنوان خزنده ها  و اسپایدرها  شناخته می شوند را برای کشف و به روز رسانی محتوا می فرستد. گفتنیست که محتواها در اینترنت با یکدیگر تفاوت دارند. محتوا می تواند صفحه وب، عکس، ویدیو، PDF و غیره باشد. اما در کل محتوا صرف نظر از فرمت آن توسط اسپایدر ها پیدا می شود.

Search engine crawlers

ربات گوگل با بررسی چند صفحه وب کار خود را شروع می کند، و پس از آن لینک های موجود در صفحات را بررسی می کند تا URL های جدید را پیدا کند. با جست و جو مسیر لینک ها، خزنده می تواند محتوای جدید پیدا کرده و آن را به فهرست خود اضافه کند. حال پایگاه داده ای بسیار عظیم از URL ها کشف شده است، تا بعدها زمانی که یک کاربر به دنبال اطلاعات خاصی می گردد، موتور های جستجو بتوانند محتوای منطبق با خواسته او را، بازیابی کنند و به راحتی خواسته مخاطب را برطرف کنند.

فهرست موتورهای جستجو چیست؟

موتورهای جستجو تمام اطلاعاتی را که یافته اند، در یک فهرست پردازش و ذخیره می کنند. آن ها پایگاه عظیمی از محتواهای یافت شده را برای عرضه به کاربر آماده می کنند.

رتبه بندی در موتورهای جستجو

وقتی شخصی جستجویی انجام می دهد، موتور های جستجو برای پاسخ به پرسش کاربر به دنبال مرتبط ترین محتوا ها می گردند و سپس آن ها را به ترتیب مرتب می کند تا بتوانند به کاربر پاسخ مناسبی ارائه دهند. به مرتب سازی نتایج جستجو بر اساس مرتبط بودن، رتبه بندی می گویند.

به طور کلی، نتایجی که بالاتر قرار گرفته اند، از نظر موتور جستجو پاسخ مناسب تری برای سوال شما هستند.

در نظر داشته باشید که می توانید خزنده های موتور های جستجو را از ورود و فهرست کردن بخشی از وب سایت یا کل آن بلاک کنید و دسترسی آن را قطع کنید یا موتور های جستجو را به گونه ای تنظیم کنید که از ذخیره سازی صفحات خاصی پرهیز کنند. با اینکه دلایل زیادی برای انجام این کار وجود دارد، امّا اگر شما می‌خواهید که محتوای شما توسط جستجوگران پیدا شود، باید ابتدا اطمینان حاصل کنید که خزنده ها اجازه دسترسی به سایت شما را دارند. در غیر این صورت، محتوای شما نامرئی خواهد بود و توسط کاربران دیده نمی شود.

error

چرا گوگل؟!

گوگل یکی از بزرگترین و قوی ترین موتور های جستجو هست. اما تنها موتور جستجوی تمام دنیا نیست بسیاری از افراد مبتدی از اهمیت نسبی موتورهای جستجوی دیگر تعجب می کنند. بیشتر مردم از این موضوع اطلاع دارند که گوگل بزرگترین سهم بازار را دارد، امّا سوال اینجاست که بهینه سازی Bing ، Yahoo و دیگر موتورهای جستجو چه اهمیتی دارد؟! واقعیت این است که علی‌رغم وجود بیش از ۳۰ موتور جستجوی اصلی، جامعه سئو تنها به گوگل توجه دارد. چرا؟ زیرا گوگل جایی است که اکثریت قریب به اتفاق افراد از آن استفاده می کنند. اگرGoogle Images ، Google Maps و YouTube را هم در نظر بگیریم، بیش از 90 درصد جستجوها در گوگل صورت می گیرد؛ که تقریبا 20 برابر بیشتر از سهم Yahoo و Bing است.!

آیا موتور های جستجو وب سایت شما را می بینند؟

همانطور که هم اکنون آموختید، لازمه اطمینان از اینکه که خزنده ها وارد سایت شما شوند و سایتتان جز فهرست موتورهای جستجو قرار گیرد نمایش آن در نتایج موتورهای جستجوست. اگر یک وب سایت دارید، ایده خوب برای آغاز است که ببینید چه تعداد از صفحاتتان فهرست شده است.

یک راه برای بررسی صفحات فهرست شده مراجعه به موتور جستجو مورد نظر می باشد. برلی مثال وارد گوگل شوید و عبارت “site:yourdomain.com” را در نوار جستجو تایپ کنید. فقط مانند تصویر زیر yourdomain.com را با دامنه خود عوض کنید.

این کار به شما نشان می دهد که گوگل کدام صفحه از دامنه وارد شده را، فهرست کرده است.

google-search

تعداد نتایجی که گوگل نمایش می دهد (همانطور که در تصویر بالا مشاهده می کنید ("About 854 results ") دقیق نیست، و در حالت کلی یک عدد تخمینی درباره صفحات فهرست شده می دهد که عدد واقعی می تواند از این بیشتر یا کمتر باشد.!

کنسول جستجوی گوگل

برای دریافت گزارش دقیق تر و کنترل گزارش فهرست سایت از  Google Search Console استفاده کنید. در صورتیکه همچنان Google Search Console را بر روی وب سایتتان اعمال نکرده اید همین حالا اقدام کنید؛ مطمین باشید که این کار برای شما هزینه ای در بر نخواهد داشت. با استفاده از این ابزار، می توانید به اطلاعات دقیق تری از وضعیت سایتتان در گوگل دست یابید.

چرا گوگل سایت من را نمایش نمی دهد؟!

حتما تا به حال این سوال را از خودتان پرسیده اید"چرا گوگل سایت من را نمایش نمی دهد؟" و این در صورتی اتفاق می افتد که شما فعالیت منظمی بر روی سایت خود دارید!

اگر وب سایتتان در نتایج جستجو نشان داده نمی شود، چند دلیل برای آن وجود دارد:

  • سایت شما کاملاً جدید است و هنوز توسط خزند ها پیدا نشده است.
  • سایت شما از طریق وب سایت های خارجی لینک دهی نشده است.
  • نویگیشن سایت شما، پیدا کردن آن را برای ربات ها دشوار می کند.
  • سایت شما دارای کد های ساده ای است که ربات ها و خزنده های موتور های جستجو را مسدود می کند.
  • سایت شما به دلیل استفاده از تاکتیک های اسپم توسط گوگل جریمه شده است.!

lamp

نشانی سایت خود را به موتور های جستجو اطلاع دهید

اگر از طریق Google Search Console و یا "site : domain.com" مشاهده نمودید که برخی از صفحات مهم تان فهرست نشده اند و صفحات بی اهمیتتان به اشتباه فهرست شده اند، می توانید از روش های بهینه سازی استفاده کنید و به موتور جستجو بگوئید که چگونه سایت شما را بررسی کنند.

بسیاری از افراد بر روی نمایش دادن صفحات مهم سایت توسط گوگل و دیگر موتور های جستجو تمرکز می کنند و به راحتی نشانی سایت خود را برای ردیابی موتور های جستجو در دسترس قرار می دهند؛ امّا آن ها فراموش می کنند که صفحاتی هم وجود دارد که باید از دسترس ربات های گوگل دور بماند. این صفحات ممکن است حاوی URL های قدیمی باشد که محتوای کمی دارند، یا شامل URL های کپی شده، صفحات پرومو کد خاص، صفحات آزمایشی و غیره باشد.

برای دور کردن ربات های گوگل از صفحات و بخش‌های خاص سایت خود، از robots.txt استفاده کنید.

Robots.txt

فایل های robots.txt در روت یا ریشه وب سایت شما قرار داده می شوند (به عنوان مثال yourdomain.com/robots.txt) و توصیه می کنند کدام قسمت از سایت باید و کدام قسمت نباید ، توسط موتور های جستجو شناسایی شود.

ربات های گوگل چگونه با فایل های robots.txt برخورد می کنند؟

  • اگر ربات گوگل نتواند فایل robots.txt را برای یک سایت پیدا کند، به شناسایی سایت ادامه می‌دهد.
  • اگر ربات گوگل بتواند فایل robots.txt را برای یک سایت پیدا کند، اغلب از پیشنهادات پیروی می کند و به خزیدن ادامه می دهد.
  • اگر ربات جستجو در حین تلاش برای دسترسی به فایل robots.txt با خطایی مواجه شود و نتواند تشخیص دهد که آیا فایل robots.txt وجود دارد یا خیر، سایت را شناسایی نخواهد شد.

setting

خزنده باجت (Crawl budget)

خزنده باجت تعداد صفحاتی است که ربات از وب سایت شما، ردیابی می کند. بنابراین بهینه سازی خزنده باجت این اطمینان را به شما می دهد که ربات گوگل وقت خود را صرف شناسایی صفحات بی اهمیت نکرده است. خزنده باجت در سایت های بزرگ با ده ها هزار URL اهمیت بسیاری دارد، ایده بدی نیست که دسترسی خزنده را به محتواهایی که اهمیتی ندارد، مسدود کرد.

همه ربات‌های  وب از robots.txt پیروی نمی‌کنند. افرادی هستند که ربات هایی می سازند تا از این پروتکل پیروی نکنند و حتی از آن سو استفاده کنند. در واقع، برخی از تبهکاران از فایل‌های robots.txt برای پیدا کردن محتوای خصوصی شما استفاده می ‌کنند. منطقی به نظر می رسد که دسترسی خزنده ها را به صفحات خصوصی مانند log in  وadministration مسدود کنید تا در فهرست نشان داده نشوند.

تعریف پارامترهای URL در CGS

برخی سایت ها (بیشتر سایت های e – commerce) با اضافه کردن پارامترهای خاص به URL ها، محتوای مشابه را در صفحات مختلف در دسترس قرار می دهند. اگر تا کنون به صورت آنلاین خرید کرده باشید متوجه شده اید که با استفاده از فیلتر ها می توان جستجو را محدود کرد. برای مثال ممکن است در سایت دیجی کالا در جستجوی " کفش" باشید و سپس جستجوی خود را با انتخاب رنگ، سایز، و استایل محدود کنید. هر بار که فیلتری را اعمال می کنید تغییر کمی در URL شما ایجاد می شود؛

https://www.example.com/products/women/dresses/green.htm

 

https://www.example.com/products/women?category=dresses&color=green

 

https://example.com/shopindex.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43

 

حال سوال اینجاست که گوگل از کجا بداند که کدام URL را دراختیار کاربر جستجو کننده قرار بدهد؟ گوگل همیشه بسیار هوشمندانه  عمل می کند، و می تواند تغییرات پارامتر های جستجوی سایت شما را درک کند همچنین الگوریتم های گوگل همیشه در حال بروزرسانی هستند اما شما می توانید در Google Search Console  ، ویژگی های پارامتر جستجوی خود را برای گوگل توضیح دهید تا اینکه گوگل بفهمد دقیقاً چگونه با صفحه شما برخورد کند.

آیا خزنده ها می توانند همه محتوای مهم شما را بیابند؟

اکنون که راهی برای دور نگه داشتن خزنده ها از مطالب بی اهمیتتان آموخته اید، بیایید تا کمی درباره بهینه سازی هایی بیاموزید که می توانند به ربات های گوگل کمک کنند تا صفحات مهم شما را بیابند.

گاهی اوقات یک موتور جستجو می ‌تواند بخش‌ هایی از سایت شما را با خزیدن پیدا کند، اما صفحات یا بخش‌های دیگر ممکن است به یک دلیل یا دلایلی مبهم باقی بمانند. بسیار مهم است که مطمئن شوید که موتور های جستجوی قادر به کشف کل سایت شما و محتواهای مهم تان باشند و نه صرفا صفحه اصلی(homepage) شما  را بیابند.

از خودتان سوال کنید که ایا یک خزنده می تواند روی سایت شما بخزد یا وارد عمق سایت شما شود؟

door

محتوای پنهان

اگر برای دسترسی به محتوا کاربرانتان مجبور باشند که ابتدا ثبت نام کنند، یا فرم پر کنند و به سوالات جواب دهند، اطمینان داشته باشید که محتوای شما فهرست نمی شود؛ چون ربات موتور‌های جستجو وارد قسمت ثبت نام نخواهند شد.

همچنین ربات ها نمی توانند از فرم های جستجو استفاده کنند. برخی از افراد تصور می کنند چون در سایت آن ها نوار جستجو وجود دارد پس ربات ها می توانند هر چیزی را که بازدیدکنندگان به دنبال آن هستند، در سایت آن ها پیدا کنند.

محتوای غیر متنی مهم

اشکال مختلف رسانه های غیر متنی ( عکس، فیلم، گیف و غیره) نباید برای نمایش متنی استفاده شود؛ که می خواهید فهرست شود. در حالی که موتور های جستجو روز به روز در شناسایی تصاویر بهتر عمل می کنند اما هیچ تضمینی برای خواندن و درک آن وجود ندارد. پس بهتر است برای طراحی سایت از زبان HTML استفاده کنید.

نقشه راهنمای مطمین برای موتور های جستجو بسازید

همانطور که یک خزنده نیاز دارد تا سایت شما را از طریق لینک های سایت های خارجی پیدا کند، به همین صورت به یک مسیر از لینک ها در داخل سایت احتیاج دارد تا آن را از صفحه ای به صفحه دیگر راهنمایی کند. اگر می خواهید موتور های جستجو صفحه شما را بیابند ولی از طریق هیچ صفحه دیگری لینک دهی نشده است، این صفحه نامرئی خواهد بود. به عنوان مثال اگر در سایت شما صفحه ای وجود دارد که هیچ لینکی در آن نیست و هیچ جای دیگری به آن لینک نداده باشد این صفحه را کلا نامرئی فرض کنید. اشتباه بسیاری از سایت ها همین است که ساختار نویگیشن سایت و صفحات را به گونه ای سازمان دهی می کنند که برای موتور های جستجو غیر قابل دسترس هستند و مانع از فهرست شدن آن در نتایج جستجو می شود.

virtually-invisible

اشتباهات رایج نویگیشن که خزنده ها را از مشاهده کل وب سایت دور نگه می دارد:

  • داشتن نویگیشن های متفاوت در گوشی‌ های موبایل و دسکتاپ
  • هر نوع از نویگیشن که اجزا منو در آن به جای HTML با زبان های دیگر مانند جاوا اسکریپت نوشته شده باشند اشتباه است. ربات های گوگل با گذشت زمان سایت هایی را که با جاوا اسکریپت نوشته شده است را بهتر می فهمند، امّا هنوز این فرآیند کامل نیست. بهترین راه برای اطمینان از اینکه گوگل سایت شما را بهتر پیدا می کند، درک می کند و فهرست می کند؛ استفاده از HTML است.
  • شخصی سازی یا نمایش نویگیشن های منحصر به فرد به کاربران ممکن است باعث پنهان شدن بعضی از محتواها برای ربات ها شود.
  • لینک نکردن یک صفحه ی اصلی در وب سایت از طریق نویگیشن مشکل ساز می شود. به خاطر بسپارید لینک ها مسیری هستند که ربات ها می توانند قسمت های مختلف سایت شما را با استفاده از آن ها پیدا کنند.

به این دلایل ضروری است که سایت شما نویگیشن واضح و ساختار URL پوشه ای مفیدی داشته باشد.

کلام آخر

به پایان قسمت اول مقاله همه چیز در مورد موتور های جستجو رسیدیم. حال می توان گفت درک کاملی از موارد گفته شده وجود دارد که می توان آن را گسترش داد. همیشه به خاطر داشته باشید یادگیری هیچ وقت به پایان نمی رسد و آشنایی با مفاهیم صرفا شروع ماجراست. حتما منتظر قسمت دوم این مقاله کامل از سری مقالات معرفی سئو از شرکت فراموج بهترین شرکت طراحی سایت و سئو باشید…

 

مقالات مرتبط

راهنمای آموزش سئو برای افراد مبتدی
راهنمای آموزش سئو برای افراد مبتدی

7 بخش برای تبدیل شدن به یک کارشناس سئو حرفه ای! اگر برای بهبود ترافیک سایت جدی هستید و با مفهوم سئو نا آشنایید، پیشنهاد ما به شما این است که این مقاله را از اول تا آخر بخوانید. یادگیری اصول اولیه سئو قدمی مهم در جهت دستیابی به اهداف کسب و کار آنلاین شماست.

به مفاهیم اولیه و مقدماتی سئو، سئو 101 می گویند
سئو 101 چیست و چرا اهمیت دارد

در این مقاله مواردی هم چون قوانین موتورهای جستجو | مقایسه سئو کلاه سیاه با سئو کلاه سفید | دستورالعمل های وبمستر گوگل | کارهایی که باید از انجام آن ‌ها اجتناب کنید و ... بررسی کرده ایم.

SMO چیست|نگاهی بر آینده بهینه سازی رسانه های اجتماعی
SMO چیست|نگاهی بر آینده بهینه سازی رسانه های اجتماعی

امروز در تحریریه فراموج تصمیم گرفتیم مقاله ای براتون بنویسیم تا درک خوبی از SMO دریافت کنید و از اثرات آن بیشتر بهتون بگیم همینطور به تقابل جذاب بین SEO و SMO سری میزنیم تا بدانیم چه تاثیری بر یکدیگر دارند و کدام یک می تواند به برتری برسد. همینطور در انتهای این مقاله جذاب منتظر یک خبر جذاب تر باشید...

دوست دارید به اشتراک بذارید از طریق:

نظرات

  • مهدی
    28 مرداد 1398

    خزنده های گوگل تایم خاصی رو برای خزیدن انتخاب میکنن یا رندم هستند ؟

    پاسخ
    ادمین
    2 شهریور 1398

    سلام روز بخیر 
    خیر خزنده ها تایم خاصی ندارند و به صورت رندم سایت هارو مورد بررسی قرار می دهند. 

    پاسخ
  • saeed sameti
    2 شهریور 1398

    همه موتورهای جستجو کراول میکنند سایت هارو یا فقط گوگل به این صورت عمل میکنه ؟

    پاسخ
    ادمین
    3 شهریور 1398

    سلام روز بخیر 
    بله همه موتورهای جستجو کراول میکنند و کراول کردن فقط مختص گوگل نیست. 

    پاسخ
نظر خود را وارد نمایید