신경망 비용: 딥 러닝 모델로 훈련하는 데 왜 그렇게 비용이 많이 듭니까?

O 깊은 학습 (무료 번역의 "딥 러닝")은 다음과 관련된 많은 문제를 해결했습니다. 인텔리 전시 아 인공 (IA). 이 기술을 통해 신경망이 훈련됩니다. 그리고 신경망 비용, 차례로 점점 더 높아지고 있습니다.

이러한 비용 증가로 인해 발생하는 새로운 과제 중 하나는 기업의 탄소 발자국(대기 중으로 배출되는 탄소 배출량을 계산하는 척도)의 증가와 AI 관련 연구의 상용화입니다.

이러한 맥락에서 다음의 기능에 대한 요구도 있습니다. 인텔리 전시 아 인공 서버와 클라우드에 반드시 의존하지 않고 고급 장치에 존재합니다. 이는 다시 신경망 비용이 더 수익성이 높다는 것을 의미합니다. 실제로 이것은 일어나고 있는 일이 아닙니다.

신경망 비용

좋은 소식은 AI 연구원들이 딥 러닝 모델 실행 비용을 줄이는 방법을 찾는 데 진전을 이루고 있다는 것입니다. 나쁜 소식은 신경망 비용 절감 - 그리고 그들의 훈련은 - 남아 있습니다 알 수 없는.

최근 MIT와 토론토 대학의 연구원들은 종이 신경망을 "가지치기"하는 문제에 대해. 이 연구에서 그룹은 가장 진보된 방법이 기술 성능에 상당한 영향을 미치지 않으면서 신경망 훈련 비용을 줄일 수 없는 이유를 지적합니다.

당신이 할 수 있는 것은 딥 러닝의 대규모 고급 모델을 구축한 후 신경망을 "가지치기"하는 것입니다. 이것은 ... 불리운다 "훈련 후 가지치기". 이것은 다음과 같이 작동합니다: 딥 러닝 모델의 신경망이 전체 교육 프로세스를 거친 후 구성된 대부분의 매개변수가 잘립니다(모델 크기를 원래 크기의 최대 10%까지 줄일 수 있음). 이는 각 매개변수가 신경망의 최종 값에 대해 갖는 "가중치"를 결정한 후에 가능합니다.

많은 기술 회사는 AI 모델을 압축하는 이 방법을 사용하여 스마트폰, 랩톱 및 스마트 홈 장치에 적합하고 잘 작동하도록 합니다. 태양 에너지로 구동되는 장치에서 소형 신경망을 통해 딥 러닝을 구현할 수 있는 영역도 있습니다.

신경망 '가지치기'

AI 신경망의 비용과 이를 훈련하는 데 드는 비용에 대해 이야기하면서 친애하는 독자 여러분은 이미 훈련 과정 후에 이러한 네트워크를 "가지치기"하는 논리의 구멍을 알아차렸을 것입니다. 

이러한 '가지치기'가 가능하려면 신경망은 훈련이 필요하다. 그리고 이것은 똑같이 큰 딥 러닝 모델에 존재하는 거대한 일련의 매개변수를 통해서만 가능합니다. 이것은 우리가 이 문제에 대해 탐구하고 있는 높은 비용이 있는 곳입니다.

문제는 더 크고 더 비싼 버전 없이 소형 신경망을 구축할 수 있는 방법이 있는가 하는 것입니다. MIT 연구원 조나단 프랭클과 마이클 카빈은 2018년에 이에 대한 가능한 경로를 보여주는 연구를 발표했습니다. 그들은 연구를 "복권 가설".

연구에서 연구원들은 많은 딥 러닝 모델에서 신경망의 하위 집합 훈련할 수 있는 것입니다. 실제로 이것은 신경망을 생성하고 일련의 광범위한 매개변수로 교육한 다음 "가지치기"하는 과정에서 일종의 지름길 역할을 합니다. 연구자들이 부르는 이러한 "하위 네트워크"를 찾으면 딥 러닝 모델에서 신경망을 교육하는 시간과 비용을 크게 줄일 수 있습니다.

그러나 MIT 연구원들의 연구는 이 논문이 100% 효과적이라는 것을 보여주면서 일련의 장애물에 부딪혔습니다. 테스트 결과 이 ​​경우의 과제는 딥 러닝 모델 내에서 상당히 최적화될 가능성이 있는 하위 집합을 식별하는 것입니다.

이러한 연구의 잠재력

신경망과 그 훈련의 비용을 줄이는 것은 아직 알려지지 않았지만 연구자들이 탐색할 수 있는 경로가 있습니다. 이는 이 분야에서 과학적 진보의 여지가 여전히 남아 있음을 의미하며, 이는 AI 연구와 그 응용의 미래에 큰 영향을 미칠 수 있습니다.

한편으로는 신경망 훈련 비용 딥 러닝 모델에서 계속 증가하고 있습니다. 반면에 수십억 달러 규모의 기술 회사의 연구 분야는 점점 더 중요해지고 가치가 높아지고 있습니다. 또한 이러한 회사는 이 틈새 시장에서 연구를 수행하기 위해 외부 기관의 실험실을 지원했습니다.

신경망을 훈련시키기 전에 "가지치기"하는 효과적인 방법을 찾는 것은 고급 컴퓨팅 리소스에 액세스할 수 없는 훨씬 더 큰 AI 연구원 및 연구실 그룹을 위한 새로운 기회를 창출할 수 있습니다. 그때까지 우리는 기대하고 있습니다. 그리고 이러한 연구의 발전을 면밀히 따랐습니다.

출처 : 넥스트 웹; Cornell University

다음과 관련된 이 "매듭"에 대한 귀하의 의견은 무엇입니까? AI 신경망 비용? 여기 댓글로 알려주세요!