מה עושים כשהאתר שלנו לא מופיע בגוגל?

"האתר שלי לא מופיע בגוגל. אין בו תנועה ואפילו אני לא מוצא אותו. זה הגיוני?" שואל אותי א. ש. בווטסאפ.

הוא רפד ירושלמי, שהקים לעצמו אתר עם פרוץ הקורונה, ולא "ראה שקל" מאז.

ר. ב. היא יועצת עסקית ממודיעין, שהאתר שלה נבנה בהתאם לכללים של גוגל,

אבל ... כבר שנתיים ויותר הוא ברשת, ולמרות תיקונים ושיקומים – גוגל לא רואה אותו ממטר.

מה עושים כשהאתר שלנו לא מופיע בגוגל?

למה זה קורה? מה גורם לגוגל לא לחשוף את האתר שלנו?, ובעיקר – איך משנים ומתקנים את זה?

זה קורה מסיבות שונות ומגוונות, מיד ניגע בהן, אבל לפני זה ...

מה זו סריקה? מה זה דירוג? מה זה אינדוקס? ומה ההבדל ביניהם?

• סריקה

גוגל סורק כל עמוד ומסמך מקוון שעולה לרשת. בכלל זה כמובן – אתרים, מיילים, קבצי Word ו-PDF וכד'. דבר לא נעלם מעיניו [או זחלניו] של מנוע החיפוש הגדול ביותר בעולם.

אבל ... העובדה שהוא סורק אותם, לא אומרת שהוא גם מוסיף אותם לאינדקס שלו. ובוודאי שאין כאן הבטחה שהוא יחשוף ויציג אותם.

[אני יכולה להניח שבאינדקס שלו גוגל מחזיק מעין "רשימה שחורה" של תוכן שנסרק ומדורג נמוך, ואולי רשום עליו "לא להציג" - בדומה לרשימות אנשי הקשר, שחלקנו מחזיקים בטלפון תחת הציון: "לא לענות"].

• אינדוקס

בשפה פשוטה מתייחס להוספת האתר שלנו לאינדקס [תוכן העניינים] של גוגל.

נדמיין שגוגל הוא ספרנית סמוקת לחיים, שמנהלת סיפריה ענקית עם מדפים רחבים עמוסי ספרים. רק שבמקרה של גוגל מונחים עליהם כמובן אתרי כל העולם.

כדי שהספרנית תוכל לשלוט במאגר העצום הזה, בקלות וביעילות, ולשלוף ממנו את הספר המבוקש, היא רושמת את מיקומו של כל ספר באינדקס שלה, כלומר: במאגר כללי שבו נרשמים כל הספרים שהגיעו לספריה, בהתאם לכותרים או לשמות המחברים.

בדיוק כך פועל גוגל. הוא מאנדקס את כל האתרים הנמצאים ברשת.

כלומר: הוא רושם אותם ברשימה מסודרת ומאורגנת בתוכן העניינים שלו, כדי שידע לשלוף אתר, בכל פעם שמישהו שואל שאילתה.

גוגל אגב לא ממהר לאנדקס כל אתר או כל עמוד מקוון. כאשר התוכן בעמוד לא איכותי, לא שימושי לגולשים או בעל ערך ירוד ורדוד, או לחילופין – תוכן כפול [כלומר: תוכן זהה לזה שהוא כבר אינדקס] – הוא גורע אותם מרשימת המאגר שלו.

• דירוג

אחרי שגוגל סרק את התוכן בעמוד, הוא מחליט באם לאנדקס אותו, כלומר – להוסיף אותו לאינדקס שלו.

גוגל בודק את התוכן החדש, את הערך שהוא מעניק לגולשים – כלומר: האיכות שלו, המהירות בה הוא עולה, הרספונסיביות שלו ועוד מאות פרמטרים – כל אלה ישפיעו על הדירוג של האתר.

משמע: אם האתר מכיל תוכן משובח, שמרתק את הגולשים, ועולה מהר ומתאים לכל סוגי המסכים ועומד בפרמטרים שקבע גוגל – הוא ידורג במיקום גבוה בתוצאות החיפוש, וסיכוייו להיות מקודם [אורגנית] יעלו עוד ועוד בהתאם להתנהגות הגולשים.

וכאשר אתר אינו עומד ברב או בחלק מן הקריטריונים האלה - גוגל מן הסתם ידרג אותו נמוך, ולא ימהר לחשוף אותו.

חייבת להוסיף כאן הערת ביניים חשובה:

צריך לזכור שמנוע החיפוש מדרג את האתר על סמך מאות מאפיינים שאינם גלויים לנו, והם תוצר של ניסוי וטעייה.

האנליסט הבכיר של גוגל, ג'ון מולר, אמר לפני כחודש [יולי 2021] כי גוגל מחשיבה ביותר את האיכות של האתרים, וזה הפרמטר שישפיע על האינדוקס. ובאותה נשימה הוסיף משפט סופר מעניין [וחורץ גורלות] כי קיימת דרך להאיץ את תהליך האינדוקס במנוע החיפוש, ולהשפיע על דירוג התוכן בו.

לדבריו [תרגום חופשי שלי]: "גוגל נותנת עדיפות לאינדוקס אתרים ותכנים איכותיים. יש להמנע משימוש בכתובות מיותרות. להגביל את מספר הקישורים בעמוד. לספק קובץ מפת אתר. לבחון את האיכות. רצוי להטמיע קישור לדפים חדשים באתר, ולקשר עמודים אלה מתוך דף הבית של האתר".

במילים אחרות - יומיומיות וברורות: גוגל ממליצה לבעלי האתרים להקפיד על כללים הקשורים למבנה האתר, כדי שיקבלו עדיפות ואתריהם יאונדקסו.

איך יודעים אם גוגל אינדקס את האתר?

• מבצעים חיפוש מסוג Site. לעמוד אותו נרצה לבדוק. על פי רב הבדיקה נערכת לעמוד הבית של האתר, אבל אפשר גם לבצע בדיקה לעמוד ספציפי.

את בדיקת ה-Site מבצעים כך: site:domain.co.il

לומדים אלו עמודים גוגל אנדקס באתר. גוגל מציג לנו כמה חשיפות קיבל האתר כשגולשים חיפשו. ומה מהירות ההמרה שלו לשניה.

נוכל לסנן את הנתונים לפי: חיפוש עמודים בעברית / חיפוש בכל שפה | טווחי הזמן שאנו מעוניינים | כל התוצאות | מילה במילה.

• קונסולת החיפוש של גוגל, הידועה בשם: גוגל סרצ' קונסול – Google search console היא כלי שפיתחה גוגל המתריע בכל פעם שאירע שגיאה כלשהי באתר או בתכנונו.

הכלי מסייע לבעל האתר לאתר ולפתור בעיות. שנוצרו. ומאפשר להם לשגר את האתר לבדיקה מחודשת, לאחר שביצעו תיקון.

גוגל מאמת את התיקון ומעדכן את בעלי האתר.

למה גוגל טורח בכך?

גוגל מסביר פנים לגולשים. הם נמצאים במקום הראשון מבחינתו, כי גוגל יודע ומבין שהם אלה שיחרצו בסופו של דבר את גורלו. אם יציג לגולשים תוכן נחות ואתרים גרועים, סביר להניח שהם ינטשו אותו, וימצאו את מבוקשם באמצעות מנועי חיפוש אחרים.

זו הסיבה העיקרית למה גוגל רוצה לחשוף ולהציג אתרים טובים ואיכותיים לגולשים.

מה הן הבעיות שיכולות לגרום לכך שגוגל ידרג את האתר שלנו נמוך ולא יציג אותו לגולשים?

קיימות מספר בעיות, למשל:

ענישה וחסימה:

לעיתים [מאד מאד נדירות] מסיר גוגל וחוסם אתר מהאינדקס שלו. על פי רב מדובר באתר שעסק בתחומים לא ראויים ומפוקפקים, הנוגעים לפגיעה בזכויות האדם וחירותו, כמו: פדופיליה, סחר בסמים, סחר באנשים, זנות ומין, הפרת זכויות יוצרים וכיוצ"ב.

גוגל פשוט לא יציג ולא יחשוף אתרים אלה לגולשים.

בעיות שגוגל מגדיר כספאם:

• כאשר האתר שלנו לא מאובטח ומופיעים בו קישורים, המעבירים את הגולשים ממנו לתוכן שאינו זמין לסורקים [לעכבישים ולזחלנים] של מנוע החיפוש.

• כאשר האתר שלנו לא מאובטח ומופיעים בו הפניות לתוכן שאינו רלוונטי למה שהגולשים חיפשו.

• אתרים שקונים ומחליפים ביניהם קישורים.

גוגל מסביר כי: "החיפוש הוא כלי עם המון כוח. הוא עוזר לאנשים למצוא, לשתף ולקבל תוכן מגוון ועשיר, בעזרת כל חיבור אינטרנט ומכל מקום. אנו עושים מאמצים רבים כדי להבטיח שתקבלו תוצאות חיפוש איכותיות, ולא ספאם. אנחנו משפרים באופן קבוע את הטכנולוגיה שלנו למלחמה בספאם, ונמשיך לעבוד בשיתוף פעולה הדוק עם מנהלי אתרים ואנשים נוספים כדי לטפח יחד סביבת אינטרנט איכותית ולתמוך בה".

אך יש גם בעיות, הקשורות להגדרות שגויות או לא תקינות. למשל:

הגדרת תגית noindex בכתובת האתר, שיש להניח כי נעשתה בהסח הדעת

או הטמעת קובץ robots.txt, המנחה את גוגל שלא לסרוק את האתר.

קובץ ה- robots.txt מוטמע עפי"ר באתר, כדי לשלוט על תקציב הזחילה ולנהל אותו בחכמה ולא באופן בזבזני [– מבטיחה בקרוב מאמר גם על זה].

הגדרה שגויה של כתובת עמוד:

כאשר כתובת העמוד מכילה למשל קישור שעטנז – כתובת URL בעברית ואנגלית. או כתובת בעלת תווים מרובים.

טעויות בתכנות ובהגדרת תגיות דוגמת תג Canonical – כאשר הכתובת המופיעה בתג מפנה בטעות לכתובת לא קיימת, או מחזירה לאותו העמוד [לינק שבור], או לכל העמודים באתר, או לחילופין היא מפנה לעמוד http, והאתר הוא – https.

העמוד הוא עותק משוכפל של עמוד ישן, או עמוד קיים באתר.

פז"מ קצר

ולעיתים קורה שהכל תקין ושפיר, אבל ... האתר צעיר וגוגל טרם "התרשם" ממנו ומיכולותיו, ולכן לא חושף אותו בפני הגולשים.

האתר אמנם נסרק, אך גוגל לא הוסיף אותו לאינדקס.

כאן, אין לנו ברירה, נצטרך להתאזר בסבלנות.

כמה זמן לוקח לגוגל לאנדקס אתר?

תלוי.

לפעמים דקות ספורות. לפעמים ימים. לפעמים יותר. הרבה יותר [כמו שאירע במקרים של א'. ו-ר'.].

במי זה תלוי?

זה תלוי בעיקר בנו. אבל גם בגוגל.

בגוגל - בגלל עומס העבודה שלו. [מספרם העצום של האתרים המוקמים, דורשים ממנו קצב והספק אדירים] - בתחילת הדרך [ב-1998] כלל האינדקס הראשון של גוגל רק 26 מיליון אתרים. כיום [נכון לסוף 2020] מונה האינדקס של גוגל כ-3.4 מיליארד אתרים.

בנו - באופן התכנון של מבנה האתר. ככל שנתכנן את המבנה נכון, נקל על מלך מלכי מנועי החיפוש ברשת את המלאכה, והוא ישמח לסרוק ולאנדקס וכמובן שגם להציג ולחשוף את האתר שלנו.

איך וכל כמה זמן בודקים אם העמוד אונדקס?, איך מתקנים עמודים שגויים באתר?.

היועץ הבכיר לקשרי החיפוש בגוגל - דניאל וייסברג - משיב על כך בסרטון המצורף:

בהצלחה (:

ואם יש לך עניין או צורך בעזרה, אפשר לפנות אלי