KAUST와 소니 AI 연구원, 데이터와 모델 이질성을 모두 해결하면서 프라이버시를 우선시하도록 설계된 머신러닝 기반 솔루션인 FedP3 제안

연합 학습(FL)에서 모델 이질성으로 인해 발생하는 문제를 해결하기 위해 소니 AI와 KAUST의 연구원들은 FedP3를 개발했습니다. 이 접근 방식은 장치 간 메모리 저장 용량, 처리 능력, 네트워크 연결에 차이가 있을 때 발생하는 어려움을 해결하고 FL에 로컬 데이터를 활용합니다. 이를 통해 개별 참가자의 데이터 프라이버시를 보호하면서 통합된 글로벌 모델을 훈련하도록 설계된 FL 구현의 효율성을 높이고자 합니다.

기존의 연합 학습 방법론은 일반적으로 모든 참여 기기에서 공통적으로 적용되는 보편적인 모델을 훈련하고 기기 간의 개별적인 차이를 무시합니다. 이 백서에서는 이러한 모델의 전체 크기를 최소화하기 위해 가지치기 기술을 활용하면서 모든 디바이스에 대해 개별 모델을 커스터마이징하는 대안적인 접근 방식을 제시합니다. 다양한 모델로 구성된 연합을 위해 특별히 설계된 포괄적인 시스템인 FedP3를 소개합니다. 중앙 집중식 및 분산식 가지치기 전술을 모두 통합하여 최적의 결과를 달성합니다. 서버 수준에서 실행되는 중앙 집중식 가지치기는 전체 모델의 크기를 줄입니다. 한편, 각 클라이언트가 개별적으로 수행하는 로컬 가지치기는 관련된 각 당사자의 특정 제약 조건에 따라 모델을 미세 조정합니다. 또한 FedP3는 다양한 안전장치를 통해 개인 정보 보호 문제를 유지하며,

FedP3 방법론에는 몇 가지 주요 구성 요소가 포함되어 있습니다:

FedP3의 개인화에는 컴퓨팅 리소스 및 네트워크 대역폭 제한을 포함하여 개별 고객의 고유한 요구 사항을 충족하는 맞춤형 모델 개발이 포함됩니다. FedP3에서 사용하는 이중 가지치기 전략은 글로벌 접근 방식과 로컬 접근 방식을 결합하여 모델 크기와 성능을 최적화합니다. 글로벌 가지치기는 모델의 전반적인 축소를 촉진하는 반면, 로컬 가지치기는 각 사용자의 사용 가능한 데이터와 처리 용량에 따라 모델을 미세 조정합니다. 개인 정보 보호 측면에서 FedP3는 클라이언트와 중앙 서버 간에 교환되는 민감한 정보의 양을 제한하는 메커니즘을 사용하여 일반적으로 원본 데이터 대신 모델 업데이트 알림으로 공유를 제한합니다. 또한, 이 연구에서는 DP-FedP3라는 차등 개인정보 보호 변형을 조사하여 신중하게 보정된 노이즈가 도입되어

FedP3의 효능은 CIFAR10/100, EMNIST-L, FashionMNIST와 같은 저명한 데이터 세트 표준을 활용한 포괄적인 실험 조사를 통해 검증되었습니다. 그 결과, 기존 연합 학습 기법과 동등한 성능 수준을 유지하면서 통신 오버헤드가 크게 감소한 것으로 나타났습니다.또한, 보다 광범위한 아키텍처, 즉 ResNet18에서 수행된 실험은 다양한 연합 학습 환경 내에서 FedP3의 효능을 더욱 확증합니다.

제안된 논문은 연합 학습의 모델 다양성으로 인해 발생하는 복잡성을 해결하기 위한 포괄적인 접근 방식으로 FedP3를 제시합니다. 맞춤형 모델 개발, 협업적 가지치기 기법, 개인정보 보호 방법론으로 구성된 FedP3는 효율적이고 기밀이 유지되는 분산 훈련 시나리오를 위한 유연한 플랫폼을 제공합니다. 다양한 데이터 세트와 신경망 구성을 아우르면서 통신 오버헤드를 최소화하고 성능을 보존하는 FedP3의 효과는 경험적 증거를 통해 입증되었습니다.

논문 를 확인하세요. 이 연구에 대한 모든 저작권은 이 프로젝트의 연구진에게 있습니다. 또한 트위터를 팔로우하는 것도 잊지 마세요. 텔레그램 채널, 디스코드 채널, 링크드인 그룹에 가입하세요.

저희의 노력에 감사하는 분들을 위해 뉴스레터를 구독해 주시기 바랍니다. 뉴스레터는 저희의 최신 노력과 업데이트에 대한 정보를 얻을 수 있는 훌륭한 플랫폼으로, 소중한 고객들을 더욱 기쁘게 해드릴 것으로 믿습니다.

4만 명이 넘는 회원을 자랑하는 Reddit의 광범위한 머신러닝 커뮤니티의 일원이 될 수 있는 기회를 놓치지 마세요.

콘텐츠 파트너십을 원하시면 이 양식을 작성해 주세요….

구글, 엔비디아, 메타, 스탠포드, MIT, 마이크로소프트 등 저명한 기관의 저명한 학자들이 열렬히 구독하는 활발한 AI 연구 뉴스레터에 빠져보세요.