1.2 프로젝트 지표

2 프로젝트 구현 시나리오

2.1 전체 시나리오

이 프로젝트는 디스플레이 성능의 자동 테스트 문제에 대해 기계 시각을 바탕으로 하는 디스플레이 자동화 테스트 시스템을 개발하는데 시스템의 전체적인 방안은 그림 1과 같다.로봇 암 개발 및 제어 모듈, 기계 시각 모듈, 시스템 통합 개발 세 가지 측면에서 각각 전개되며 연구의 주요 내용은 다음과 같은 몇 가지 측면을 포함합니다.
(1) 하드웨어 플랫폼과 소프트웨어 시스템의 설계를 결합하여 직각 좌표 운동 기계 손의 총체적인 방안 설계를 완성한다;다자유도 운동 제어 기술을 통해 서보 제어 시스템을 구축하고 소프트웨어 디버깅과 휴먼 컴퓨터 조작 인터페이스 설계를 완성하여 직각 좌표 운동 기계 손의 창조 설계와 디버깅을 실현한다.
(2) 이미지 수집 및 처리 기술을 사용하여 카메라 표정, 이미지 향상, 노이즈 제거, 및 에지 추출 등의 처리를 통해 OpenCV 및 QT 응용 프로그램 개발 프레임워크를 기반으로 디스플레이 작동 상태 정보를 획득하고 전송하며 기계 시각에 기반한 디스플레이 작동 상태 모니터링 모듈을 개발한다.
(3) 기능모듈설계 및 집성기술을 채용하여 직각좌표기계손운동제어시스템과 영상처리설비의 통신과 기능일치설계를 완성하고 기계시각에 기초한 모니터운행상태의 자동화테스트를 실현한다.

그림 1 기계 시각 기반 디스플레이 자동화 테스트 시스템

2.2 구체적인 실시 방안

본 프로젝트는 기계 시각에 기반한 디스플레이 자동화 테스트 핵심 기술에 대한 연구를 전개한다. 디스플레이를 항온함에 설치한 후 전용 클램프를 통해 고정한다. 기계 손이 사람을 대신하여 디스플레이를 조작한 후 기계 시각을 이용하여 디스플레이 운행 상황의 모니터링과 정보의 폐쇄 피드백을 하고 디스플레이의 고장 정보 데이터베이스를 구축해야 한다.구체적인 실시 방안은 로봇 팔 개발과 제어 모듈, 기계 시각 모듈, 시스템 통합 개발 세 가지 방면에서 전개될 것이다.

2.2.1 기계 시각 검측 모듈 개발

기계 시각사람의 눈을 기계로 대체하여 측정하고 판단하는 것이다.기계 시각 시스템기계 시각 제품 (즉, 이미지 섭취 장치, CMOS와 CCD 두 가지) 을 통해 섭취 대상을 이미지 신호로 변환하여 전용으로 전달하는 것이다이미지 처리 시스템피촬영 목표의 형태 정보를 얻어 화소 분포와 밝기, 색상 등 정보에 따라 디지털화 신호로 전환한다;이미지 시스템은 이러한 신호에 대해 각종 연산을 해서 목표의 특징을 추출하고 판별된 결과에 따라 현장의 설비 동작을 제어한다.
(1) 모니터 상태 이미지 신호 수집
디스플레이의 작동 상황을 기계 시각 검측하고, CCD 검측을 사용하며, 측정 원리 상자도는 그림 3과 같다.렌즈를 사용하여 디스플레이 이미지의 끝을 CCD에 이미징합니다 (그림 2 참조).CCD와 그 구동회로는 수집한 신호를 순서대로 출력하고, 다시 모수 변환을 거쳐 데이터를 컴퓨터로 처리하고, 이미지 처리와 식별을 통해 이미지 단면을 영상화한 후 컴퓨터 제어 시스템에 피드백하여 디스플레이의 상태 분석에 근거를 제공한다.




그림 3 기계 시각 검측 원리도


그림 4 시각 감지 측정 시스템 설명도


(2) 모니터 상태 이미지 처리
CCD로 얻은 이미지는 정확하고 선명한 디스플레이 상태 이미지를 얻기 위해 이미지 처리와 식별이 필요하다.먼저 CCD와 그 구동회로를 통해 각 점의 이미지 모델을 전기신호로 변환한 후 프로그램 처리를 거쳐 이미지를 강화, 그레이스케일 처리, 소음 제거, 임계값 분할, 이미지 테두리 추출 등 처리하여 검측 정확성과 정밀도를 높인다. 마지막으로 수집한 이미지를 분류하여 통계하고 디스플레이의 고장 검측 데이터베이스를 구축한다.카메라 캘리브레이션과 이미지 이치화 처리는 그림 5와 그림 6과 같다.



그림 5 카메라 캘리브레이션
그림 6 이미지 이치화 처리

2.2.2 직각 좌표 운동 기계 손 제어 모듈 개발

사람의 손을 대신하여 기계손을 사용하여 디스플레이의 자동화 테스트를 진행하려면 직각 좌표 운동을 동시에 진행하는 기계손 운동 제어와 시각 서보 시스템 제어가 필요하다. 조작자는 인간과 컴퓨터의 인터렉션 인터페이스를 통해 조작 지령을 제어 시스템에 보낸다. 운동 제어 카드는 모멘트 모드를 사용하고 디지털 양 정보를 펄스 출력으로 전환시켜 직각 좌표 운동을 제어하는 기계손이 운동을 완성하고 해당하는 조작을 한다.인코더와 센서 검측 시스템은 위치 및 모멘트 검측을 완료하고, 제어 시스템과 검측 시스템의 신호 전송 및 데이터 교환을 진행하며, 제어 시스템 모듈과 로봇 손 시스템의 설계 개발을 완료하고, 운동 정밀도와 디스플레이 테스트 효율을 보장한다.

그림 7 직각 좌표 운동의 기계 손 운동 제어 방안
설계된 직각 좌표 운동의 로봇 손과 전통적인 다축 연동 로봇 손을 운동 제어 방안의 비교 분석을 한다. 제어 방안은 그림 7과 같다.직각 좌표 운동의 로봇 손 제어 모듈은 주로 로봇 손이 사람을 대신하여 디스플레이를 테스트하는 것을 제어하는 데 사용되며, 검측 시스템은 위치와 모멘트 검측 및 서로 다른 시스템 간의 데이터 교환을 완료한다.
(1) 모션 시스템 제어
로봇 손을 제어하여 3자유도 운동을 하고 사람의 손을 대신하여 디스플레이를 테스트한다.감지 시스템이 감지한 위치와 모멘트 정보에 따라 제어 시스템은 로봇 손이 공간 3자유도 방향에서 움직이는 것을 제어하고 사람의 손을 대신해 디스플레이의 터치, 클릭 등의 동작을 완성한다.

그림 8 드라이버 통합 다이어그램
(2) 검측 시스템 제어
검사 시스템은 메커니즘의 손 동작 위치, 모멘트를 검사하는 데 사용됩니다.감지 시스템에 대한 제어에는 3자유도 직각 좌표 로봇 손의 동작 위치 감지, 실행기 끝이 디스플레이에 닿는 모멘트 크기 감지, 동작의 속도, 거리 등의 동작 매개변수가 포함됩니다.
(3) 데이터 교환
검측시스템은 집행기구 말단의 센서와 인코더 등 부품으로 구성되며 센서가 측정한 아날로그량신호를 제어모듈에 전달하고 제어모듈은 피드백신호를 일정한 전환관계를 통해 기계손의 운동제어를 진행한다.
(4) 인간과 컴퓨터의 상호작용
휴먼 컴퓨터 인터렉션 인터페이스를 통해 로봇 손의 운동 제어를 진행하고, 자동화 운동 시스템 소프트웨어를 작성하며, 조작자는 대응하는 메뉴를 선택하여 원하는 데이터를 얻거나 원하는 기능을 실현하여 휴먼 컴퓨터 인터렉션을 실현한다.이 소프트웨어 시스템은 로봇 손의 다자유도를 표시하는 운동 제어, 위치와 모멘트 모드 전환, 위치, 모멘트 신호 폐쇄 루프 피드백, 디스플레이 고장 정보의 저장 등의 기능을 실현할 수 있다.소프트웨어 데이터 개발은 Windows7 운영 체제 기반이며 개발 로켈은 C++, 데이터베이스는 Oracle 데이터베이스를 선택합니다.모터가 제어하는 휴먼 컴퓨터 인터렉션 인터페이스는 그림 8과 같다.

그림 8 모터 제어 휴먼 컴퓨터 인터렉션 인터페이스

2.2.3 자동화 테스트 시스템 통합 개발

기계 시각에 기반한 디스플레이 자동화 테스트 시스템이 역할을 발휘하려면 각 기능 단위가 조화롭게 협력하여 디스플레이 테스트의 자동화 테스트 작업을 공동으로 완성해야 한다.연구는 자동화 테스트 시스템의 각 단위 기능의 통합 담체를 효과적으로 운행하는 운동 집행 본체를 설계하고 디스플레이 운행 상황 검측, 기계 손이 사람을 대신하여 디스플레이를 조작하는 등 제어의 일체화 통합을 실현하여 자동화 테스트 공정의 조화롭고 효율적인 운행을 보장한다.전체 자동화 테스트 시스템은 3대 모듈: 기계 시각 모듈, 로봇 팔 자동화 제어 모듈, 검측 모듈의 통합으로 구성되며, 전체 통합 방안과 모듈 간 통신 방안은 그림 9와 그림 10과 같다.

그림 9 기계 시각을 기반으로 한 디스플레이 자동화 테스트 시스템 통합 방안
전체 자동화 테스트 시스템은 현장 버스를 이용하여 통신한다.PC 플랫폼과 Windows 운영 체제 기반 제어 소프트웨어를 통해 엔지니어링 기내 부품에 NC 기능을 갖춘 실시간 시스템, PLC의 논리 연산, 그리고 PC 표준으로 구성된 하드웨어를 이용하여 논리 연산(TwinCAT PLC) 기능, 운동 제어(TwinCAT NC) 기능, 부동 소수점 연산, 그리고 대량의 데이터를 저장하고 처리하는 기능을 실현한다.PLC 프로그램은 먼저 신호를 NC 축에 보낸다. NC는 궤적 계획을 거쳐 PID 연산과 IO 인터페이스 처리 출력을 드라이브에 보내 모터에 대한 제어를 실현한다. 동시에 모터의 상태는 NC를 통해 PLC 프로그램에 적시에 피드백된다.CNC 시스템 전체에서 PLC 프로그램, NC, Windows 응용 프로그램 등과 같은 각 소프트웨어 모듈의 작동 모드는 하드웨어 장치와 유사하며 독립적으로 작동합니다.각 소프트웨어 모듈 간의 정보 교환은 모션 컨트롤러 ADS를 통해 이루어지며 전체 제어 시스템 모듈 통신의 통합 구조는 그림 10과 같다.

그림 10 자동화 테스트 시스템 모듈 통신 방안