(database) 뒷 페이지로 갈수록 페이지네이션이 느려지는데 이유가 뭘까요

게시글 목록 페이징을 LIMIT OFFSET으로 구현했는데요. 1페이지 2페이지는 순식간에 뜨는데 뒤로 갈수록 눈에 띄게 느려집니다. 한 5000페이지쯤 가면 로딩이 답답할 정도예요.

SELECT * FROM posts ORDER BY id DESC LIMIT 20 OFFSET 100000;

id에 인덱스도 있고 정렬도 인덱스 순서대로인데 왜 깊은 페이지가 느린 건지 이해가 안 됩니다. 어차피 20개만 가져오는 거잖아요. OFFSET 숫자만 커졌을 뿐인데 왜 시간이 더 걸리는 거죠?

데이터는 한 수백만 건 됩니다. 앞쪽 페이지랑 뒤쪽 페이지 속도가 똑같이 나오게 하려면 방식을 바꿔야 하나요? 무한스크롤 형태라 굳이 임의 페이지로 점프할 일은 없긴 합니다.