Skip to main content

Command Palette

Search for a command to run...

access token cache 구상

Updated
1 min read
access token cache 구상

1. token을 cache에 저장하는 방법과,

2.파이썬 안에 있는 내장함수 fucntools.lru_cache() - 함수의 결과 캐싱 를 사용하는 두가지 방법이 있다.

그 중에 사용해보지 않은 cache 기능을 사용해보기로 했다.


지금까지 spotify api에서 access token을 받아오면 1시간의 유효시간이 있고,

db에 저장하는 것이 아닌 실시간으로 token을 받아오는 형태여서

요청이 계속 들어올 때마다 불필요하게 많은 네트워크 리소스가 낭비된다.

그래서 cache 기능을 활용하여 spotify의 1시간 짜리 token과는 별개로 지금 우리가 띄우고 있는 서버에서 한번 발급받은 token에 유효시간을 줘서

30분짜리 token 캐시를 줘서 1번 access token을 발급 받은 사람이 다시 요청하여도

새로운 token 발급이 아닌 30분 동안은 1번 access token을 사용하게 하는 방법을 사용할거다.


access token이 있다면 해당 토큰을 지정해준 시간동안 사용하고,

if access_token is None: 캐시안에 token이 없다면 아래의 로직을 진행해서 새로운 토큰을 발급받아서 사용한다.

더 자세한 기록은 내일 redis까지 연결하고 작성

More from this blog

s3사용 및 s3:PutBucketPolicy 권한 오류

1. S3 생성 중 정책 생성 페이지에서 s3:PutBucketPolicy 권한이 없어 오류 발생 IAM 사용이 아닌 루트 사용자 버전으로 설명 AWS IAM 콘솔 → 정책 → AdministratorAccess⁠검색→ 정책이 나타나면 사용자에 연결→ 없다면 새로운 정책 추가 없으므로 AdministratorAccess 생성 정책 생성 버튼 클릭 → JSON 탭 선택 후 아래 코드 입력 → 생성 { "Version": "2012-10-1...

Mar 12, 20252 min read9
s3사용 및 s3:PutBucketPolicy 권한 오류

챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생

https://youtu.be/5soSQgVHGEA OpenAI API를 이용한 챗봇을 만들면서 대화가 길어질수록 LLM 호출 시 토큰 수 증가로 응답 시간이길어지는 문제가 발생 문제분석 여기서 생각하는 문제는 db 조회의 부하 처음 챗봇에게 부여하는 역할이 너무 긴데, 이걸 매 API 호출마다 전송함 대화 흐름을 기억하기 위해 챗봇-유저 간 대화 내용을 모두 DB에 저장한 다음 그대로 API 호출 마다 LLM에 전달함 → 모든 대화 ...

Jan 16, 20253 min read122
챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생

dayeon's blog

124 posts