이 AI 백서에서는 파이프라인 포워드 포워드 알고리즘(PFF)을 소개합니다: 순방향 알고리즘을 사용하여 분산 신경망을 훈련하는 새로운 머신 러닝 접근 방식

기존의 역전파 방식을 통한 심층 신경망 훈련은 레이어 수가 방대하기 때문에 오랜 시간 동안 많은 수작업을 필요로 하는 경우가 많습니다. 역전파는 단독 처리 장치에서 실행할 때 효과적으로 작동하지만, 알고리즘의 고유한 순차적 특성으로 인해 병렬화가 어려워집니다. 또한 여러 노드에서 동기식 계산을 수행하려면 기울기 및 가중치 데이터를 자주 교환해야 하므로 통신 오버헤드가 증가하고 계산 간 대기 시간이 길어집니다.

방대한 양의 정보를 전송해야 하는 문제는 방대한 신경망으로 작업할 때 더욱 복잡해져 상당한 양의 데이터를 전송해야 합니다. 이와 관련하여 신경망의 지속적인 성장과 복잡성으로 인해 최근에는 혁신적인 분산형 딥 러닝 방법이 등장했습니다. 주목할 만한 발전은 GPipe, PipeDream, Flower와 같은 분산형 트레이닝 플랫폼으로 구성됩니다. 이러한 플랫폼은 속도, 사용자 편의성, 경제성, 소형화를 우선시하여 대규모 신경망의 학습을 용이하게 합니다. 이러한 시스템에 통합된 고급 기술은 데이터, 파이프라인, 모델 병렬화를 포괄하여 여러 처리 장치에 걸쳐 광범위한 신경망 훈련 작업을 효율적으로 관리하고 실행할 수 있도록 지원합니다.

Hinton이 고안한 포워드 포워드(FF) 접근 방식은 이전에 논의된 분산 역전파 구현 중심의 연구와는 다른 신경망 훈련의 혁신적인 전략을 제시합니다. 기존의 딥러닝 방법과 달리 FF 알고리즘은 각 개별 레이어에서만 계산을 수행합니다. 분산 환경에서는 이러한 계층별 훈련 특성으로 인해 시스템 아키텍처의 의존도가 낮아져 유휴 시간, 통신 요구 사항, 동기화 노력이 줄어듭니다. 반대로 역전파는 주로 중앙 집중식 프레임워크 내에서 문제를 해결하는 데 사용됩니다.

최근 사반치 대학교에서 수행된 연구에서는 파이프라인 순방향 알고리즘(PFF)이라는 새로운 알고리즘을 활용하여 분산 신경망을 훈련하는 혁신적인 접근 방식을 소개합니다. 역전파 및 파이프라인 병렬화에 의존하는 기존 방법과 달리 PFF는 이러한 제약을 제거하여 계산 리소스를 보다 효율적으로 사용하고 유휴 상태를 줄이며 버블 크기를 줄입니다. PFF와 관련된 실험을 통해 얻은 결과, 기존의 정방향 알고리즘과 비슷한 수준의 정확도를 달성하면서도 최대 4배 빠른 속도로 훨씬 더 빠르게 처리하는 것으로 나타나 그 효과를 입증했습니다.

개인 정보 보호 연합 학습 프레임워크(PFF)는 이전 버전인 분산 포워드-백워드(DFF)에 비해 우수한 성능을 입증했습니다. PFF는 훈련에 더 적은 시간을 필요로 하고 더 적은 리소스를 활용함으로써 기존 방식에 비해 주목할 만한 이점을 보여줍니다. 또한 계층 간 데이터 공유가 적기 때문에 PFF는 전반적인 통신 오버헤드를 줄이고 효율성을 향상시킵니다. 연구진은 이러한 연구 결과가 분산 신경망 훈련 분야에서 더 많은 혁신을 불러일으킬 수 있기를 기대합니다.

연구팀은 사전 훈련된 소수의 샷 학습(PFF)의 성능을 향상시키기 위한 다양한 기법을 탐구합니다.

현재 PFF의 설계는 학습 과정 전반에 걸쳐 일정한 간격으로 레이어 간 파라미터를 조정할 수 있습니다. 매 배치마다 이러한 변경 사항을 구현하면 보다 정밀한 가중치 튜닝과 더 나은 전반적인 결과를 얻을 수 있다는 지적이 있었습니다. 그러나 이렇게 하면 필요한 커뮤니케이션의 양이 늘어날 수도 있습니다. 연합 학습 설정 내에서 PFF를 활용하는 것은 참여 노드 간에 데이터를 공유하지 않기 때문에 가능합니다. 본 연구에서 수행된 연구에서는 소켓을 통해 통신을 설정했습니다. 네트워크를 통해 정보를 전송하면 추가적인 통신 오버헤드가 발생합니다. 연구진은 훈련 과정을 가속화하기 위해 PFF의 처리 구성 요소를 서로 가깝게 배치하고 리소스를 공유하는 다중 GPU 배열을 사용할 것을 제안합니다. 이 구성은 신경망 훈련에 필요한 시간을 단축할 수 있습니다. 포워드 포워드 알고리즘은 주로

에 대한 부정적인 샘플을 생성하는 데 의존하므로 논문 을 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 최신 노력에 대한 풍부한 정보와 업데이트를 제공하는 훌륭한 플랫폼인 뉴스레터를 구독해 주시면 감사하겠습니다.

4만 명이 넘는 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

콘텐츠 파트너십을 원하시면 여기에서 양식을 작성하세요…

Google, NVIDIA, Meta, 스탠포드 대학교, 매사추세츠 공과대학(MIT), Microsoft 및 기타 수많은 업계 선도 기관의 최고 전문가들이 구독하는 빠르게 확장 중인 AI 연구 뉴스레터를 구독해 보세요.