שאלה | מנוע חיפוש אינטרנטי מסורתי כולל גם רכיב שנקרא Crawler (ונקרא גם ROBOT או SPIDER) אשר תפקידו:

מנוע חיפוש אינטרנטי מסורתי כולל גם רכיב שנקרא Crawler (ונקרא גם ROBOT או SPIDER) אשר תפקידו:

		לחפש את התשובה הנכונה לשאילתא של משתמש
		לאסוף דפים ברשת אשר יהוו את מאגר המסמכים של המנוע
		ליצור ייצוג של הדפים ברשת כדי לייעל את החיפוש בהם
		להודיע למשתמש על הופעת דפים חדשים שרלוונטיים לתחום התעניינותו