The cat sleeps all day. の文章の場合、主語が３人称単数で、動詞が現在形なので、その動詞に sleeps のように s が付きます。一方　I went to sleep all day. のto sleepは不定詞（この場合目的を示す）なので to の後の動詞は原形とない、s は不要となります。