whatool 도구 안내 · 명령줄 도구
Promptfoo
같은 질문을 여러 AI에 보내 답변 품질·안전성을 비교합니다.
이 도구는 무엇을 하나요?
같은 질문을 여러 AI에 보내 답변 품질·안전성을 비교합니다.
어디에서 어떻게 쓰나요?
명령줄 도구는 터미널에 명령을 적어 실행하는 프로그램이에요. 자동화 도구는 정한 순서대로 작업을 반복합니다.
처음 시작하는 순서
- 준비할 것: Node 22.22 이상과 시험 질문·평가 기준·모델 설정
- 실제 자료 대신 작은 시험 파일·프로젝트로 설정합니다.
- 아래 예시를 한 번 실행하고 원본·결과·비용을 비교합니다.
무료로 어디까지 할 수 있나요?
도구의 공개 코드와 모델 호출료는 별개입니다. 질문 수×모델 수×반복 횟수만큼 호출이 늘 수 있습니다.
돈이 드는 부분은 따로 있어요
직접 설치한 프로그램과 선택한 모델·외부 서비스·서버 비용은 따로 계산합니다.
어떤 자료를 읽거나 바꿀 수 있나요?
직접 실행하는 프로그램도 파일을 읽고 결과를 저장합니다. 외부 모델·동기화를 선택하면 로컬 처리와 데이터 전송 범위가 달라집니다.
- 질문·답변·평가 기록이 저장되며 외부 모델을 쓰면 시험 자료가 전송됩니다.
설명의 근거
공식·제작자 문서 확인: 2026-09-19. 원본 문서의 기능·시작 조건·비용 경계·접근 범위를 대조했습니다. 내 기기 설치와 결과물 시험은 하지 않았습니다.
이럴 때 사용해요
- AI 답변을 같은 질문으로 비교하고 검사하기 일을 직접 통제하면서 처리하고 싶은 경우
무엇을 준비하나요?
- 시험할 질문 목록과 기대하는 답변 기준
직접 사용해 보는 순서
가짜 자료로 질문 두 개와 모델 하나만 시험하도록 비용을 먼저 계산합니다.
어떤 결과가 나오나요?
- 질문별 성공·실패와 모델 비교표
사용 장면을 설명하기 위해 작성한 예시이며, 실제 실행한 결과나 화면을 보장하는 설명은 아닙니다.
사용 전에 확인하세요
- 준비할 것: Node 22.22 이상과 시험 질문·평가 기준·모델 설정
- 실제 자료 대신 작은 시험 파일·프로젝트로 설정합니다.
- 아래 예시를 한 번 실행하고 원본·결과·비용을 비교합니다.
비용: 도구의 공개 코드와 모델 호출료는 별개입니다. 질문 수×모델 수×반복 횟수만큼 호출이 늘 수 있습니다.