GitHub AI 스타 트렌드
평가·관측(LLMOps)도구/라이브러리Python

ifixai-ai/iFixAi

Independent Auditing of AI Agents. Run by human or the agent itself, to answer the most crucial question in the AI Agent Economy. Is the agent doing what is su…

GitHub 에서 보기 ↗카드 기준일 2026-10-31 · 처음 작성 2026-11-02
+8,195지난 주
24.5%규모 대비 성장률
41,656누적 스타

AI 작성이 카드는 AI(Claude)가 공개 자료(README·릴리스·HN·웹 글)로 쓴 요약입니다. 사람이 검토하지 않았으며, 주장마다 출처 링크와 확인·추정 표시를 붙였습니다. 숫자는 GitHub API 값을 코드가 채웁니다.

013줄 요약

  • 무엇인지 — iFixAi는 업무 시뮬레이션 속에서 AI 에이전트에 실제 요청과 권한을 넘는 요청을 보내고, LLM judge가 각 응답을 채점해 A–F 등급을 매기는 Python 오픈소스 감사 도구다.
  • 왜 지금 떴나 — 9월 말 Product Hunt 공개 직후 첫 급등이 있었다. 10월 중순에는 v4.2.0 릴리스와 튜토리얼이 나오며 GitHub Trending에 올랐다. 10월 말 급등은 v4.3.0의 채팅 기반 감사와 Claude Code 플러그인 공개가 이어진 시점과 겹친다.
  • 어떤 의미인지 — 벤치마크나 observability가 아닌 '역할·권한 안에서 일을 하는가'를 재현 가능한 감사 리포트로 남기는 도구다. 에이전트를 배포하기 전에 점검하는 단계에 넣어 볼 만하다.

02숫자

누적 스타41,6562026-10-31
지난 주+8,195전주 5,491
규모 대비 성장률24.5%주 시작 33,461
생성04.272026년
주간 스타 · 최근 12주
12주 전10.25 주
이번 주 일별 스타 (UTC)
일 10.25토
항목값
누적 스타41,656 (2026-10-31 기준)
이번 주 증가+8,195
성장률+24% (주 시작 33,461)
AI 탭 순위지금 뜨는 10위
일별 증가10-25 +525 · 10-26 +695 · 10-27 +987 · 10-28 +1,167 · 10-29 +834 · 10-30 +1,981 · 10-31 +2,006
급등일2026-09-30 +988 (평소의 3배) · 2026-10-13 +2,021 (평소의 4배) · 2026-10-31 +2,006 (평소의 3배)
유형 · 카테고리도구/라이브러리 · 평가·관측(LLMOps)
확인 필요없음

03왜 지금 떴나

  • 2026-09-28 Product Hunt에 '에이전트 misalignment를 찾는 독립 감사 도구'로 소개됐고, 첫 급등일(2026-09-30) 직전이다. producthunt.com (확인)
  • 2026-10-01 AgentConn 리뷰가 A–F 등급과 5개 pillar 스코어카드 구조를 소개했다. 같은 무렵 Python Trending 상위권에 올랐다. agentconn.com · star-history.com (확인)
  • 2026-10-08 v4.1.0이 judge 판정 파싱 오류 등 점수가 후하게 나오던 버그를 고쳤다. 첫 실행 시 무료 hosted 감사를 권하는 프롬프트도 추가했다. GitHub 릴리스 (확인)
  • 2026-10-14 설치부터 실제 에이전트 연결까지 다루는 YouTube 튜토리얼이 나왔다. 같은 날 전체 언어 Trending에 올랐고, 10월 15일에는 Python Trending 최고 순위를 기록했다. youtube.com · star-history.com (확인)
  • 2026-10-15 v4.2.0이 기본 실행을 essential 10개 검사로 줄여 호출 수를 크게 낮췄다. 오프라인 도구 ifixai trajectory와 ifixai policy-lab도 추가됐다. GitHub 릴리스 (확인)
  • 2026-10-28 Claude Code용 ifixai-plugin 저장소가 공개됐다. 직전 v4.3.0(10-22)의 '채팅 엔드포인트만으로 감사' 기능과 함께 10월 31일 급등에 기여했을 수 있다. github.com · GitHub 릴리스 (추정)

04무엇인가

iFixAi가 다루는 문제는 eval·벤치마크·observability가 모두 녹색이어도 에이전트가 사기 플래그를 숨기거나, 승인되지 않은 환불을 집행하거나, 권한 밖 행동을 할 수 있다는 점이다. 기존 도구는 지연시간·토큰 효율·prompt injection 저항 같은 기술 역량을 재지만, '조직이 기대하는 권한과 절차 안에서 맡은 일을 하는가'에는 답하지 못한다는 것이 이 프로젝트의 주장이다.

접근 방식은 이렇다. 역할·도구·권한·사용자를 기술한 fixture로 비즈니스 시뮬레이션을 만든다. 그 안에서 에이전트에 일상 요청과 역할을 넘어서게 만드는 요청을 보낸다. 그러면 judge 모델이 각 응답을 채점하고, 결과를 pillar별 스코어카드와 A–F 등급으로 돌려준다. 각 finding에는 어떤 요청에 에이전트가 무엇을 했는지가 남는다. 여러 벤더의 judge를 쓰는 cross-vendor 채점, --judge-budget을 통한 judge 호출 상한, 적용되지 않는 검사를 not_applicable로 빼는 처리를 갖췄다.

구조는 검사(inspection) 카탈로그다. 채점되는 core 검사와 report-only인 extended·V 시리즈 검사로 나뉜다. 기본 ifixai run은 필수 최소 항목을 포함한 essential 10개를 돌리고, --full-run이나 --suite로 범위를 넓힌다. v4.3.0부터 일부 검사는 어댑터 없이 채팅 엔드포인트나 순수 모델 API만으로 실행된다. 기록된 행동 로그(JSONL/OTLP)를 정책에 대조하는 trajectory, 허용된 도구 조합에서 위험한 시퀀스를 찾는 policy-lab 같은 오프라인 도구도 있다. Claude Code·Codex 플러그인도 제공한다.

05비교

  • Zenity는 배포된 AI 앱을 기업 환경에서 지속적으로 모니터링한다. iFixAi는 사용자가 원할 때 특정 시점에 재현 가능한 진단 감사를 실행하고 원본 JSON 결과를 남긴다. opensourcealternatives.to (확인)
  • 일반 eval·red-teaming·observability 도구는 기술 역량을 측정한다. iFixAi는 업무·권한·절차 기준의 운영 정합성을 등급으로 낸다는 점을 차별점으로 내세운다. ai-tldr.dev · producthunt.com · ifixai.ai (확인)

06활용사례

  • mock provider로 로컬 감사를 돌려 스코어카드를 읽고, 텔레메트리 설정을 확인한 뒤 실제 엔드포인트로 바꾸는 과정을 따라가는 영상 가이드가 있다. youtube.com (확인)
  • 전체 튜토리얼은 설치, mock 실행, 실제 에이전트 연결을 다룬다. 저장소에 포함된 공개 사고 재구성 사례 fixture 네 개도 함께 살펴본다. youtube.com (확인)
  • EU AI Act나 ISO 42001 대응에서 특정 시점의 제3자 감사 증거를 재현 가능한 형태로 남기는 용도가 제시된다. opensourcealternatives.to (확인)
  • Claude Code 안에서 플러그인으로 hosted 서비스에 연결해 무료 빠른 감사를 요청하고 리포트를 받을 수 있다. github.com (확인)

07한계·리스크

항목값
라이선스Apache-2.0
기여자23
상위 1명 기여 비중60%
지난 30일 이슈열림 2 · 닫힘 2
릴리스 주기약 7.9일마다
열린 이슈+PR22
패키지PyPI ifixai — 지난 주 다운로드 511 · 패키지 의존 저장소 0 — 출처 ecosyste.ms (CC BY-SA 4.0)
  • 오픈코어 구조다. hosted 유료 패키지에만 있는 iFixAi 전용 검사, 월간 감사, 이력 보관이 있다. CLI 첫 실행 때 무료 hosted 감사를 권하는 프롬프트가 뜨며 --no-promo로 끌 수 있다. github.com · GitHub 릴리스 (확인)
  • v4.1.0에서 judge 판정 문자열 오인식 등 점수를 부풀리던 버그를 다수 고쳤다. 채점 로직이 아직 빠르게 다듬어지는 단계이므로, 버전이 다른 결과끼리 비교할 때 주의해야 한다. GitHub 릴리스 (추정)
  • 검사 수와 기본 실행 범위가 짧은 기간에 자주 바뀌었다. 외부 소개 글의 수치도 서로 달라, 어떤 버전·suite 기준인지 확인해야 한다. agentconn.com · GitHub 릴리스 · GitHub 릴리스 · producthunt.com (확인)
  • 등급은 LLM judge에 의존한다. 같은 계열 모델이 스스로를 채점하면 편향이 생길 수 있어 cross-vendor judge를 권장하며, 이 경우 judge 호출 비용과 키 관리가 따른다. youtube.com · youtube.com · GitHub 릴리스 (확인)

08변경 기록

  • 2026-11-02 처음 작성 — 기준일 2026-10-31 · 근거 20건

근거