01이곳에서 무엇을 얻는가
기술 주장을 믿기 전에 확인해야 할 실험 카드의 조건(주장·task·기준선·조건·모델·표본·평가 방식·변동성·비용·한계·출처·검토자)을 배우고, 내가 가진 CSV/JSON 데이터를 브라우저에서만 읽어 스키마 검증 후 표로 확인합니다. 현재 프로젝트의 정직한 상태는 "검증된 결과 없음"이며, 빈 차트를 임의 수치로 채우지 않습니다.
결과 유형 구분
검토된 실측 / 재현 대기 / 교육용 합성 예시 / 철회 / 반례 — 유형을 라벨로 표시합니다.
업로드는 서버 전송 아님
파일은 브라우저의 FileReader로만 읽히며 어디에도 업로드되지 않습니다.
실패 데이터도 보인다
성공 사례만 필터로 숨기지 않습니다. 실패도 동일 검색 조건에서 발견되어야 합니다.
02현재 공개 카드
프로젝트 상태 — 검증된 결과 없음 Unknown
Protofelix는 아직 MEASURED 라벨 조건(평가 환경·데이터셋·표본·날짜·재현 자료)을 갖춘 측정을 공개하지 않았습니다. 이것이 정상 상태이며, 조건이 갖춰지면 이 페이지에 먼저 공개합니다.
교육용 합성 데이터 예시 교육용 합성
실험 카드 형식을 보여주기 위한 가상의 예시입니다. 수치·결과 모두 실제 측정이 아니며, 카드·차트·내보내기에 "교육용 합성 데이터"를 표시합니다.
철회 기록 Established
2026년 개편에서 근거 미공개 수치(추론 정확도 99.2%, 2M 토큰/초, 다운타임 0% 등)를 철회했습니다. 전체 목록은 Lulu의 What Failed에 있습니다. 철회는 사건으로 기록되고 삭제되지 않습니다.
반례 — 단일 최고 사례 일반화 Research
"최고 성능 1건"으로 능력을 일반화하는 오류의 교육용 반례: 같은 모델이 가장 좋은 예시 1개와 평균 성능 사이에서 큰 차이를 보일 수 있습니다. 분포·변동성을 함께 보지 않으면 최고 사례만 남습니다.
실험 카드 템플릿 — 12개 필드
| 필드 | 내용 |
|---|---|
| 주장 | 이 실험이 보여준다고 주장하는 것 (정확히) |
| task | 어떤 과제에서 측정했는가 |
| 기준선 | 무엇과 비교했는가 — 단독 수치 금지 |
| 조건 | 환경·프롬프트·데이터 버전 |
| 모델·버전 | 어떤 모델의 어떤 버전인가 |
| 표본 | 표본 수와 선정 방식 |
| 평가 방식 | 지표 정의와 계산 방법 |
| 변동성 | 여러 번 돌렸을 때의 편차 |
| 비용 | 계산·시간·금전 비용 |
| 한계 | 일반화할 수 없는 범위 |
| 출처 | 논문·리포트·재현 링크 |
| 검토자 | 누가 확인했는가 (없으면 "미검토") |
교육용 합성 데이터 예시 카드 (가상): 주장 "요약 품질 향상" · task "뉴스 요약" · 기준선 "단순 추출 요약" · 조건 "합성 뉴스 100건" · 표본 100 · 평가 "자동 지표 1종" · 변동성 "미기재" · 한계 "합성 데이터이므로 실사용 일반화 불가". — 이 카드는 교육용 합성 데이터입니다.
03내 데이터 분석 (브라우저에서만 읽음)
CSV 또는 JSON을 선택하면 스키마를 검증하고 표로 보여줍니다. 서버로 전송되지 않습니다.
필요 열: model, task, metric, value, condition, date (선택: status, notes).
파일을 선택하면 이곳에 검증 결과가 표시됩니다.
04가장 강한 반론 — "없음"을 채우는 유혹
관련 페이지: Lulu 개발 로그(What Failed) · 원전 도서관 · 인지경계 실험실 · 전망대(휴식 — 검증 역할 아님)