결론부터 말하자면…
파이5에서 올라마로 각종 소형 모델을 돌려보니 확실히 성능이 아쉽고 양자화? 된 모델을 돌려보니 답변 한번 해주는데 2분넘게 소요되서 AI까지 로컬로 돌리는건 무리라 판단되어 오픈라우터 API로 GPT4-Mini 연결해둔 상태입니다.
헤르메스 설치, 세팅
헤르메스는 공식 설치 가이드 기준으로 진행하였습니다. 가이드 자체는 유튜브등 영상으로 보는게 도움이 될거라 간단하게만 작성했습니다.
curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash
여러 선택지가 나올텐데 제가 고른것들을 간단하게 나열하면
- 헤르메스 부가기능(ripgrep, ffmpeg) : Yes
- 공급자 : 오픈라우터 API
- 모델 : GPT4-Mini
- 터미널 : 도커
- 게이트웨이 서비스 실행 : System service
- 툴 : 입맛대로
- 브라우저 : 기본
- 이미지 생성 : 스킵
- 비디오 생성 : 스킵
- TTS음성 : 스킵
- 검색엔진 : 덕덕고
- 게이트웨이 : 디스코드
게이트웨이를 디스코드로 설정하면 봇 토큰, 계정ID, 채널ID값을 요구합니다.
봇 토큰은 디스코드 개발자 포털에서 봇하나 생성하고 채널에 초대한 다음 입력해주었습니다.
[ ] Discord (read/participate) (fetch messages, search members, create...)
설정 하다보면 헤르메스 권한 설정했던 화면에 디스코드 항목이 추가되었는데 read/participate는 켜둬야 메시지 읽고 응답이 가능하다 해서 추가된 항목중 이부분만 설정하고 넘어갔습니다.
설치가 끝나면 시스템 서비스로 등록할지 물어보는데 Y로 진행했습니다.(System service를 선택해서 뜬것인지는 모름)
# 헤르메스 게이트웨이 서비스 실행중인지 확인
systemctl --user status hermes-gateway
# SSH 세션 종료되도 돌아가게끔 설정
sudo loginctl enable-linger 유저네임
# 적용 확인(Linger=yes 떠야함)
loginctl show-user 유저네임 | grep Linger
이후 헤르메스 시간대를 서울로 변경했는데 방법이 기억안나서 스킵합니다.
간단 후기
내용 자체도 대충대충 넘어갔는데 실제로 써보니 제가 에이전트를 써야 할 만큼 바쁜 인생도 아니고, 딱히 생산적인 부분으로 사용할 만한 것들이 생각이 안 나서 챗봇 느낌으로 사용해보고 유기된 상태입니다.
디코봇으로 이거저거 물어보고 실행해보는건 재밌으나 오픈라우터 연결하면 전부 돈이기도 하고, 제 패턴에서는 딱히 클로드와 병행하면서 사용할 만큼의 필요성이 없어 파이5는 다른 서비스들 올려보는거에 집중할거 같습니다.