גוגל מנסה להגיע ל"רשת העמוקה"

במהלך הקיץ של 2008, הכריזה גוגל שאינדקסה עד כה כטריליון דפי רשת, הישג ניכר; אך על פי הערכות שונות, הרשת "הפתוחה" – זו שניתנת לגישה על ידי הרובוטים (crawlers) של גוגל – מהווה רק חלק קטן מסך המסמכים הקיימים ברשת. אם הרשת "הפתוחה" מכילה כ-167 טרהבייטים של מידע, מדענים בברקלי מעריכים שהרשת "העמוקה", זו שאין אליה גישה ישירה, מכילה לא פחות מ-91,000 טרהבייטים.

כעת, מדווח הניו יורק טיימס, מנסה גוגל – וכן חברות אחרות – למפות בכל זאת את המידע הבלתי נגיש. הבעיה העומדת בפני המפתחים היא שחלק ניכר מהרשת "העמוקה" איננו בקבצי HTML ואיננו מקושר באופן ישיר לעמודי רשת; המדובר בעיקר במאגרי מידע.

שיטתה של גוגל היא לחפש אחר מאגרי מידע, ומשזוהה כזה לנסות לברר את זהותו; לאחר מכן, היא מטיחה בו מילות חיפוש שעשויות להתאים למאגר המידע. למשל, אם המאגר עוסק באמנות, תוכנת החיפוש תנסה למצוא בו מילים כגון "רמברנדט", "סזאן", וכו'; אם תתקבל תוצאה חיובית, היא תירשם.

התהליך ארוך מאד בהשוואה לחיפוש בעמודי רשת רגילים ודורש משאבים ניכרים יותר. עם זאת, יש עניין מסחרי רב בשילוב של מאגרי המידע הללו, רבים מהם של גופים מסחריים, עם שאר הרשת; הוא עשוי לאפשר למנועי חיפוש לענות על שאלות כגון "מה הטיסה הזולה ביותר מנקודה א' לנקודה ב'", או לאפשר לאתרי-בריאות לקשר, במהלך כתבה על תרופה מסוימת, לתוצאות הניסויים האחרונים בה.