Skip to main content

Command Palette

Search for a command to run...

Latest articles

Pinned챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생

챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생

https://youtu.be/5soSQgVHGEA OpenAI API를 이용한 챗봇을 만들면서 대화가 길어질수록 LLM 호출 시 토큰 수 증가로 응답 시간이길어지는 문제가 발생 문제분석 여기서 생각하는 문제는 db 조회의 부하 처음 챗봇에게 부여하는 역할이 너무 긴데, 이걸 매 API 호출마다 전송함 대화 흐름을 기억하기 위해 챗봇-유저 간 대화 내용을 모두 DB에 저장한 다음 그대로 API 호출 마다 LLM에 전달함 → 모든 대화 ...

Jan 16, 20253 min read122
s3사용 및 s3:PutBucketPolicy 권한 오류

s3사용 및 s3:PutBucketPolicy 권한 오류

1. S3 생성 중 정책 생성 페이지에서 s3:PutBucketPolicy 권한이 없어 오류 발생 IAM 사용이 아닌 루트 사용자 버전으로 설명 AWS IAM 콘솔 → 정책 → AdministratorAccess⁠검색→ 정책이 나타나면 사용자에 연결→ 없다면 새로운 정책 추가 없으므로 AdministratorAccess 생성 정책 생성 버튼 클릭 → JSON 탭 선택 후 아래 코드 입력 → 생성 { "Version": "2012-10-1...

Mar 12, 20252 min read9
[python, drf] 코드 스타일 포매팅 black, git과 black 연동

[python, drf] 코드 스타일 포매팅 black, git과 black 연동

Black? python 코드 포매터 코드 스타일을 일관되게 정리해줌 설치 pip install black 실행 1. 프로젝트 전체 포매팅 black . 2. 특정 파일만 포매팅 black file.py 3. 특정 디렉토리 포매팅 - 지정한 디렉토리 내의 모든 python 파일을 정리 black path/directory 4. 수정 내용을 확인만 하기 - 포매팅이 필요한 파일을 확인만 하고 실제 수정은 안함 black --chec...

Jan 10, 20251 min read12
1번 유저의 대화 기록이 2번 유저에게 영향을 미침

1번 유저의 대화 기록이 2번 유저에게 영향을 미침

1번 유저와 진행한 대화 내용이 2번 유저와의 대화에서도 기억되는 문제가 발생했다. 세션 자체는 유저별로 잘 생성되고, 데이터베이스에서도 세션별로 나뉘어 저장되고 있음 세션 자체는 유저별로 잘 생성되고 데이터베이스에서도 세션별로 나뉘어 저장되고 있다. 문제는 현재 대화 저장 로직에서 유저별 세션 관리가 제대로 작동하지 않아서 그러는것 같다. → 기존 방식은 유저와 날짜별로 세션을 가져오거나 생성하는데 ChatBot.objects.filte...

Jan 7, 20251 min read18
챗봇 대화 세션 관리와 기억 이슈 해결

챗봇 대화 세션 관리와 기억 이슈 해결

openai를 이용해 챗봇을 만들다 두가지 이슈가 생겼다. 1. 대화 기억 문제 챗봇이 이전 대화를 기억하지 못하고 매번 새로운 대화처럼 응답한다. openai 호출에서 message 리스트에 전체 대화가 전달되지 않고, openai 역할로 설정해둔 전역 변수 message 리스트에 사용자 메세지와 openai 응답만 단순히 추가해서 이전 대화를 기억하지 못하는 거였다. 해결은? 이전 대화 내용을 db에서 불러와 message 리스트에 포함시키...

Jan 6, 20252 min read142