실제 세계 평가 에 대한 우리 의 생각

[← 연구]

왜 실제 작동 조건에서 살아남을 필요가 있는 로봇을 평가할 때 작업 성공만으로는 충분하지 않은가?

배포 위험과 일치하는 평가

모양 배포 측정 실패 반복

로봇 평가는 종종 제품 분석이 실패하는 것과 마찬가지로 실패합니다. 팀들은 가장 쉽게 볼 수 있는 메트릭을 최적화하고 전체 시스템을 나타냅니다. 로봇 분야에서, 이것은 일반적으로 통제된 조건에서 측정되는 좁은 성공률을 의미합니다. 실제 세계 평가에는 더 넓은 프레임이 필요합니다.

성공 은 필요 가 아니라 충분 하다

정책은 작업을 완료하고 여전히 취약할 수 있습니다. 그것은 좁은 초기 조건에 따라 달라질 수 있습니다. 접촉을 완전히 피하거나 시간, 조명 및 객체 배치가 비정상적으로 깨끗할 때만 성공할 수 있습니다. 작업이 실제 환경에 더 많이 이동하면 더 많은 숨겨진 가정이 나타납니다.

우리 는 무엇 을 바라보고 있는가

• ** 반복성** 시스템은 하이라이트 예제뿐만 아니라 실행 중에도 수행 할 수 있습니까?
• ** 회복** 첫 번째 시도가 불완전하면 어떻게 될까요?
• ** 접촉 품질** 힘과 마찰이 중요할 때 로봇은 예측 가능한 행동을 취합니까?
• 운영성 기밀 변동, 재설정 비용 및 환경 잡음에 대한 설정은 얼마나 민감합니까?

평가 는 배치 형태 와 일치 해야 한다

올바른 기준은 로봇이 살고 있는 곳에 달려 있습니다. 데모 로봇, 연구 플랫폼 및 생산 세포는 동일한 위험 프로필을 공유하지 않습니다. 좋은 평가 설정은 하나의 메트릭이 세 가지 모두를 포함할 수 있다고 Pretend하는 대신 그것을 고려합니다.

실제 세계적 증거 는 왜 중요 합니까?

이것이 우리가 실제 로봇 환경과 라이브 시스템을 너무 소중하게 여기는 이유 중 하나입니다. 시뮬레이션은 유용하지만 평가가 의미있는 것을 만드는 많은 장애를 숨깁니다. 불완전한 감지, 실제 착용, 인간의 리셋 행동, 그리고 시나리오보다 더 어려운 작업 맥락.

** 실용 규칙** 만약 당신의 기준이 첫 번째 작은 실패 후에 일어나는 일을 밝히지 않는다면, 그것은 아마도 시스템 품질을 과대평가하는 것일 것이다.

왜 실제 데이터가 중요합니까 감각 예시를 참조하십시오 ← 연구에 복귀

현실 에 비해 체계 를 평가 해 보십시오

실제 배포를 반영하는 평가 흐름을 설계하는 데 도움이 필요하다면 하드웨어, 데이터 및 테스트 전략을 연결하는 데 도움이 될 수 있습니다.

[신청 데이터] [T4] [우리와 연락] [T5] [쇼케이스를 탐구] [T6]