자동화된 머신러닝과 AI

Jan 31, 2019

당신의 회사에 자동화된 AI가 있다면 더이상 Data scientists에 고용에 대해 생각 할 필요가 없을 것이다. AI 공급 업체가 다른 기업에 머신러닝 플랫폼 및 도구를 구입하도록 유도하는 방법 중 하나는 AI가 자동화 될수 있다고 주장하는 것이다.  

 

Data Scientist 작업의 자동화

Data Scientists는 데이터를 검색하고 정리하며 데이터에 대한 정확한 예측을  내릴수 있다고 생각되는 알고리즘을 잘 작동할 때까지 알고리즘을 조정하는 일을 하고 있다. Data Scientists가 이러한 작업을 효율적으로 수행할 수 있는 도구가 제공되며, 숙련된 기계 학습 모델을 배치하여 데이터에 대한 예측을 수행할 것이다. Google에서 Datarobot 및 H20.ai와 같은 신생 업체에 이르기까지 많은 머신러닝 학습 업체가 머신러닝을 자동화 할수 있다고 주장하고 있습니다. 당신은 더이상 데이터 과학분야에 인재를 쫓을 필요 없이 당신의 모든 기술(AI,머신러닝)들을 자동화 할것입니다.  Data Scientists가 가지고 있는 기술은 자동화하기 어렵고, 자동화 된 인공 지능을 사려고 하는 사람들은 현재의 기술로 정확하게 자동화 할수 있는 것과 불가능 할수 있는 것을 알고 있어야 한다. Data Scientists들은 많은 작업을 수행하고 있다. 이러한 작업 중 일부를 자동화하면 작업 부화를 줄일 수 있지만 모든 작업을 자동화 할수 있는 경우가 아니라면 Data Scientists은 여전히 기업에서 필요로 합니다. 부족한 인재는 많은 기업에서 머신러닝을 학습을 구현하는데 문제가 되고 있다.

머신러닝 안에서 무엇을 자동화를 할 수 있을 것인가? 

앞서 Data Scientists가 알고리즘을 조정한다고 언급하였다. Data Scientists들은 여러가지 변수들을 적절한 비율로 조합을 하고 조정하게 됩니다. 이후에는 최적의 변수들과 적절한 비율을 찾을 때까지 이러한 일들을 반복하게 됩니다.

 

하이퍼 파라미터 최적화

데이터 과학에서는 알고리즘의 손잡이를 하이퍼 파라미터라 부릅니다. 따라서 Data Scientists는 하이퍼 파라미터들을 다양하게 조합하면서 테스트를 진행하여 적절한 하이퍼 파라미터를 찾게 되는 과정을 거치게 됩니다. 이러한 하이퍼 파라미터를 찾게되는 과정을 자동화를 시킬수가 있습니다. Eclipse Arbiter는 딥러닝 훈련을 위해 하이퍼 파라미터를 튜닝을 자동화하도록 설계된 하이퍼 파라미터 최적화 라이브러리입니다. Google Tensorflow의 Vizier 또는 오픈 소스인 파이썬 라이브러리 Spearmint도 동일한 기능을 합니다. 그리드 검색, 무작위 검색 및 베이지안(Bayesian)방법과 같은 다양한 종류의 검색 알고리즘을 사용하여 하이퍼 파라미터의 최상의 조합을 찾을수 있게 도와줍니다.

 

알고리즘 선택

AI 공급 업체가 수행하는 한가지는 하이퍼 파라미터가 기본적으로 설정된 여러 알고리즘을 통해 동일 데이터를 실행하여 가장 성능이 좋은 알고리즘을 결정하는 것입니다. 이후에 알고리즘을 시각화 하는것으로 모든 작업이 완료되었음을 보여주게 됩니다. 대부분의 데이터 셋은 머신러닝 알고리즘을 훈련시키는데 효율적으로 사용될 수 있도록 데이터 탐색 및 사전 처리를 필요로 합니다. 이러한 일에는 전문가를 필요로 합니다.

 

전문적인 서비스

이들 회사는 두가지 선택을 할 수 있습니다. 즉, Data Scientists를 고용하거나 컨설팅 회사의 서비스에 의존할 수 있습니다. 주요 클라우드 공급 업체는 잠재적인 클라우드 사용자가 머신러닝 학습을 쉽게 이용할 수 있도록 하기 위해 머신러닝 솔루션 팀을 도입하였습니다. 자동화 된 머신러닝을 판매하는 AI 공급언체들은 실제로 많은 시간을 자동화를 하기 위하여 사용하고 있습니다. AI솔루션 구축에 관련된 작업들은 의사결정이 다양하고 복잡하며 기술이 아직까지 자동화되어 있지 않기 때문에 어려움이 있습니다. 하지만 더 큰 AI 워크 플로우에서의 작업을 위해서는 자동화와 결합은 꼭 진행되야 한다는 것을 인식해야 합니다.

 

학습된 모델

머신러닝 모델은 바보같이 시작하여 데이터를 통하여 훈련할수록 더 나은 선택을 하게 됩니다. 훈련은 데이터에 대한 추축을 만들고 추축의 오류를 측정하여 정확한 추측을 할 때까지 스스로 수정하는 작업을 반복하게 됩니다. 머신러닝 알고리즘은 정확한 모델 데이터를 생성하기 위해 데이터를 학습합니다. 훈련되고 정확해진 데이터 모델은 훈련된 것과 유사한 새로운 데이터를 받으면 높은 예측을 내릴 수 있는 모델입니다. 

 

 

Share:

블로그

데이터셋과 머신러닝

머신러닝에서 사용되는 데이터셋에 대해 알아보자

Supervised Learning

A Beginner’s Guide to Supervised Learning

AI vs ML vs DL

AI vs ML vs DL

Random Forest

Random Forest

자동화된 머신러닝과 AI

자동화된 머신러닝과 AI 블로그

Machine Learning Software

Machine Learning Software

Unsupervised Learning

Unsupervised Learning

머신러닝

머신러닝에 관한 블로그

딥러닝 업무를 위한 아파치 스파크

아파치 스파크에 대한 블로그

텍스트 분석

텍스트 분석이란?

 

 

 

© 2017 IMGURU, Inc. All rights reserved.

 
서울 금천구 가산디지털1로 181 가산 W 센터 710호
우편번호 : 08503  |  전화번호 : 070-4099-2021  |  이메일 : imguru@imgr.co.kr