הכיוונים משפרים במובן שגורמים לירידה בערך פונקציית המטרה - הם מקיימים זווית חדה שלילית נגד כיוון הגרדיאנט. דהיינו כל צעד שאעשה בכיוון של הווקטורים הללו, אוריד מהערך של פונקציית המטרה.
מיין לפי
במקרה שקיימים אילוצים כובלים בבעיה. עשוי להיות כיוון שהוא גם משפר וגם אפשרי (החיתוך של קבוצת הכיוונים המשפרים ושל קבוצת הכיוונים האפשריים לא בהכרח 0- הקבוצה הזרה).
אם יש לי כיוון שהוא בו־זמנית גם משפר (מקטין את ערך פונק' המטרה) וגם אפשרי, אז זה אומר שאני לא בנקודת מינימום - יש לי אפשרות טובה יותר לרדת למטה. החיתוך בין הקבוצות שווה לקבוצה הריקה (דהיינו הקבוצות הן קבוצות זרות).