DarkHarness (Tablekeeper): 3개 AI 좌석과 4단계 파이프라인, 독립 리뷰로 버그를 포착한 에이전트 하네스

개발자 슬롭맨(@UniverseB1020)이 WeAreDevelopers와 BAND가 주최한 'Dark Factory' 해커톤 출품작으로 자율 소프트웨어 개발 에이전트 하네스 프로젝트인 'DarkHarness: Tablekeeper'를 공개했습니다. 단 1개의 사용자 지시문으로 3개 AI 좌석과 4단계 파이프라인을 가동하며, 기본 제공된 배포 검사(shipped checks)를 모두 통과한 이후에도 별도의 독립 리뷰 단계에서 2개의 실질적인 버그를 추가로 포착해 모두 수정한 실행 결과를 입증했습니다.

이미지 출처: @UniverseB1020 (X) / Lablab.ai

소프트웨어 개발 환경에서 LLM 기반 코딩 에이전트 도입이 보편화되고 있지만, 단일 모델에 구현과 검증을 동시에 일임할 경우 자체 생성한 테스트를 스스로 통과하며 결함을 간과하는 '확증 편향' 문제가 빈번하게 지적되어 왔습니다. 이번에 공개된 DarkHarness는 이러한 단일 에이전트의 한계를 극복하기 위해 역할을 분리된 AI 좌석으로 나누고, 엄격한 다단계 파이프라인과 독립적인 사후 검증 게이트를 구축한 하네스 아키텍처를 제시합니다.

1개 지시로 구동되는 3개 AI 좌석과 4단계 자율 파이프라인

DarkHarness: Tablekeeper는 사용자가 최초에 전달하는 단 1개의 고수준 작업 지시(1 instruction)를 기반으로 전체 엔지니어링 과정을 자율 완주하도록 설계되었습니다.

전체 시스템은 3개의 독립된 AI 역할 좌석(3 AI seats)과 순차적 4단계(4 stages) 파이프라인으로 구성되어 있습니다.

• 단일 지시 자율 착수: 복잡한 중간 프롬프트 조정이나 사용자의 반복적 피드백 없이, 최초 요구사항 정의 하나만으로 하네스가 전체 워크플로우를 주도합니다.
• 3개 AI 좌석의 역할 분리: 단일 에이전트가 코딩, 테스트, 자체 평가를 한 호흡에 처리할 때 발생하는 컨텍스트 오염과 맹점을 방지하기 위해 각기 다른 역할을 맡은 AI 좌석들이 파이프라인에 배치됩니다.
• 4단계 실행 파이프라인: 4개의 구조화된 단계(4 stages)를 순차적으로 거치며 소프트웨어 산출물을 점진적으로 정제하도록 설계되었습니다.

기본 검사 통과 후 실질적 버그를 잡아내는 독립 리뷰 게이트

DarkHarness 프로젝트의 가장 핵심적인 설계 가치는 기본 자동화 검사와 독립 리뷰의 분리입니다.

일반적인 자율 에이전트 워크플로우에서는 코드 생성 후 기본 테스트 스위트나 정적 분석 등 배포 전 검사(shipped checks)가 정상 통과하면 곧바로 작업을 완료로 간주합니다. 그러나 DarkHarness의 실행 기록에 따르면, 기존 검사를 문제없이 통과한 코드베이스를 대상으로 독립 리뷰(independent review) 단계를 가동한 결과 미처 발견되지 않았던 실제 버그 2개를 추가로 포착해 냈습니다.

• 자체 검사의 맹점 보완: 코드를 작성한 주체나 기본 테스트 러너가 놓친 잠재적 결함을 별도의 독립 검증 좌석이 객관적인 시각에서 재검토합니다.
• 포착된 결함의 해결: 독립 리뷰를 통해 감지된 2개의 실제 버그는 모두 수정(fixed) 완료되었습니다.
• 품질 보증 신뢰도 제고: 단순히 빌드가 통과되거나 단위 테스트가 통과하는 수준을 넘어, 독립된 다중 에이전트 감사를 통과해야 최종 산출물로 확정하는 견고한 게이트 구조를 실증했습니다.

해커톤 프로토타입 공개와 도입 시 고려사항

DarkHarness: Tablekeeper는 현재 프로젝트 소개, 소스 코드 및 실제 실행 로그(run log)가 Lablab.ai 프로젝트 페이지를 통해 공식 공개되어 있습니다.

자율 에이전트 기반의 다크 팩토리(무인 소프트웨어 제조) 구축 가능성을 확인한 유의미한 사례이지만, 실무 환경 적용 시 염두에 두어야 할 점들도 존재합니다.

• 프로토타입 환경의 한계: 본 프로젝트는 해커톤 참가를 목표로 개발된 개념 증명(PoC) 프로토타입으로, 표준 패키지 관리자(npm, pip 등)를 통한 패키지 배포 여부나 상용 대규모 엔터프라이즈 환경에서의 장기 안정성은 추가적인 실측과 검증이 필요합니다.
• 세부 환경 명세 확인: 구체적인 실행 옵션, 런타임 종속성 및 세부 환경 설정은 번들 요약 외에 Lablab.ai 프로젝트 페이지에 게시된 소스 코드와 실행 로그 원문을 직접 확인해야 합니다.
• 토큰 연산 비용 트레이드오프: 3개의 AI 좌석과 4단계 파이프라인, 그리고 추가적인 독립 리뷰 단계를 순차 가동하는 만큼, 단일 에이전트 호출 대비 추론 비용과 응답 지연 시간이 증가하므로 결함 비용이 높은 핵심 모듈 위주로 적용을 검토하는 것이 바람직합니다.

출처

• Lablab.ai 프로젝트 페이지: DarkHarness: Tablekeeper (WeAreDevelopers × BAND Dark Factory)
• 슬롭맨 (@UniverseB1020) 공식 X: 2026-10-17 DarkHarness Release Announcement