AI가 데이터 기반 역할을 재정의하는 방법

현재 최첨단 인공지능 시스템은 효과적으로 작동하기 위해 방대한 양의 정보에 크게 의존하고 있습니다. 이에 따라 데이터 관리를 전문으로 하는 전문가들이 조직 내 기능을 개편하고 있습니다.

2023년 11월 Salesforce 설문조사에 따르면 오늘날 우리가 직면한 AI 혁명은 매우 빠른 속도로 진행되어 비즈니스 리더의 77%가 이미 그 혜택을 놓치고 있다고 우려하고 있습니다 .

인공지능의 방대한 적용 가능성을 고려할 때, 조직은 가장 소중한 자산인 데이터를 활용하기 위한 노력의 우선순위를 정해야 합니다. 이러한 고급 머신러닝 기술의 성공적인 결과를 보장하기 위해서는 이러한 정보를 관리, 처리 및 활용하는 역할이 무엇보다 중요합니다. 실제로 최신 제너레이티브 AI 모델이 생성하는 결과물의 품질은 학습된 데이터의 양과 품질과 직접적으로 연관되어 있습니다. 따라서 기업의 데이터 자산을 효과적으로 관리하는 것이 매우 중요합니다.

인공지능의 발전에 비추어 볼 때, 인공지능 기술은 기존의 데이터 중심 직무를 완전히 대체하기보다는 해당 분야 인력의 역량을 강화하여 이를 보강할 것으로 예상됩니다. 따라서 전문가로 성장하고 싶은 열망이 있는 개인은 회사 내에서 AI 중심 역량을 요구하는 경우가 점점 더 많아질 것이므로 전문성을 연마하는 것을 고려해야 합니다. 다음은 AI가 조직 내 다양한 데이터 역할에 어떤 영향을 미칠 것으로 예상되는지 개괄적으로 설명합니다:

최고 데이터 책임자(CDO)

하버드 비즈니스 리뷰 에 따르면 CDO는 평균 2년 반 동안만 그 자리를 유지하는 등, CDO 역할은 IT에서 가장 힘든 최고위직 중 하나입니다. AI는 기업에 가치를 제공할 수 있는 새로운 기회를 제공하므로 잠재적인 CDO의 게임 체인저입니다.

최고 데이터 책임자(CDO)의 역할에 대한 일반적인 인식은 주로 데이터 거버넌스, 무결성 및 보안을 감독하는 비용 센터라는 것이었습니다. 하지만 인공지능(AI)은 데이터 품질을 향상시키고 데이터베이스 성능을 강화하며 데이터 분석을 개선하는 자동화를 도입하여 전반적인 성과를 향상시킴으로써 CDO의 영향력을 크게 강화했습니다. 또한 챗봇, 가격 최적화 도구, 예측 분석과 같은 AI 기반 애플리케이션은 방대한 양의 고품질 데이터에 크게 의존하고 있으며, 이는 상당한 매출 성장을 견인하는 것으로 입증되었습니다.

AI는 최고 데이터 책임자(CDO)에게 편향되지 않은 AI 학습 데이터를 보장해야 한다는 새로운 의무를 제시합니다. 이러한 우려의 대표적인 예로 대출 신청자나 구직자와 같은 소수 집단 구성원에게 무의식적으로 위험을 부여하는 경우를 들 수 있습니다. 마찬가지로 편견이 발생하지 않도록 하는 것은 AI 애플리케이션 제작자의 책임이며, 테스터 간의 지속적인 협력이 필요합니다.

데이터 아키텍트

데이터 아키텍트는 최고 데이터 책임자(CDO)가 설정한 전략적 비전과 목표를 실행 가능한 계획과 설계로 전환하는 데 중요한 역할을 합니다. 이 프로세스는 데이터 전제 조건을 꼼꼼하게 수집하고 검토한 다음 이러한 사양에 부합하는 논리적, 물리적 프레임워크를 공식화하는 데이터 모델링 기술에서 시작됩니다. 인공지능(AI) 기반 데이터 모델링 기술은 아직 진화 중이지만, 기술이 발전함에 따라 결과 모델의 정밀도와 복잡성을 향상시킬 수 있는 큰 가능성을 지니고 있습니다.

데이터 설계자는 데이터 활용 패턴을 파악하기 위해 인공지능 기반 도구를 사용하여 궁극적으로 기업 전반의 애플리케이션에 이상적인 데이터 배치, 스토리지 효율성 및 보안을 확인하는 것을 목표로 삼을 수 있습니다. 이 평가는 예측 용량 계획을 포함하도록 더욱 확장되어 설계자가 현재와 미래에 온프레미스 또는 클라우드 환경 내 특정 플랫폼에 어떤 정보를 저장해야 하는지 정확히 파악할 수 있게 해줍니다.

데이터 엔지니어 및 통합 전문가

데이터 엔지니어링과 데이터 통합은 모두 대량의 데이터 작업을 포함하지만, 집중하는 영역이 다릅니다. 데이터 엔지니어는 높은 수준의 데이터 시스템을 관리하는 데 집중하는 반면, 데이터 통합 전문가는 다양한 비즈니스 애플리케이션을 지원하기 위해 다양한 소스의 데이터를 통합하고 조정하는 일을 주로 담당합니다. 두 직업 모두 업무에 인공지능 기술을 활용할 수 있습니다.

이 영역의 주요 관심사 중 하나는 메타데이터의 구성 및 관리로, 소스나 플랫폼에 관계없이 기업 내에서 중요한 의미를 갖는 데이터와 관련된 모든 세부 사항을 포괄합니다. 기존의 인공지능 기술은 메타데이터 스키마를 식별하고 표준화하여 효과적인 데이터 매핑과 원활한 통합을 촉진할 수 있습니다. 또한 일부 고급 AI 솔루션은 데이터 파이프라인을 자동으로 생성하는 기능을 갖추고 있어 서로 다른 데이터 세트를 통합하기 위한 기반이 됩니다.또한, 혁신적인 AI 플랫폼은 이제 이러한 파이프라인 전반에 걸쳐 데이터 품질을 능동적으로 모니터링하여 불일치가 발생하면 실시간으로 정확히 찾아낼 수 있습니다.

데이터베이스 관리자(DBA)

엔터프라이즈급 데이터베이스 관리에는 성능 최적화, 복잡한 SQL 쿼리 실행, 가용성과 보안 유지, 진화하는 데이터 저장 용량과 데이터베이스 관리 시스템 업데이트에 따른 다양한 사용자 그룹의 요구 사항 균형 조정 등 수많은 과제가 존재합니다. 이러한 측면에서 인공지능(AI)은 일상적인 작업을 간소화하여 데이터베이스 관리자(DBA)를 일상적인 업무에서 해방시키고 주요 이해관계자의 특정 요구 사항을 해결하는 데 집중할 수 있게 해줄 수 있는 잠재력을 가지고 있습니다.

데이터베이스 관리에서 인공지능을 활용하면 성능을 최적화할 수 있다는 점이 가장 큰 장점입니다. 데이터베이스 관리자(DBA)는 운영 매개변수 분석을 위해 인공지능 기반 도구를 사용함으로써 최소한의 수동 개입으로 잠재적인 제약을 정확히 찾아내고 임박한 인프라 장애를 예측할 수 있습니다. 또한 이러한 지능형 시스템은 인덱스 조정을 제안하고 쿼리 실행 계획의 수정을 제안하여 처리 시간을 단축하면서 결과를 개선할 수 있는 기능을 갖추고 있습니다.

데이터 과학자

프로그래밍, 머신러닝(ML), 수학 및 데이터 분석 도구에 대한 고급 기술을 필요로 하는 데이터 과학자에게 AI는 가장 큰 이점을 제공합니다. 예를 들어, 자동화된 ML( AutoML )은 작업에 적합한 머신 러닝 알고리즘을 선택하는 등 모델 개발 작업을 크게 간소화해 줍니다. 또한 다른 프로그래밍과 마찬가지로 Python 또는 R 코드를 작성하는 데이터 과학자는 AI 코딩 어시스턴트가 제공하는 향상된 생산성의 이점을 누릴 수 있습니다.

정확성, 포괄성, 통일성, 동시대성, 진정성, 신뢰성. 데이터 기반 의사 결정의 전반적인 효과에 기여

데이터 분석가

데이터 분석가는 최신 분석 도구에 통합된 고급 인공지능 기능을 활용하는 반면, 데이터 과학자가 포괄적인 이해를 도출하기 위해 AI의 잠재력을 심층적으로 탐구하는 것과 달리 광범위한 인사이트가 아닌 도메인별 의사 결정 지원에 중점을 두는 경향이 강합니다. 최근에는 AI를 통해 예측 분석이 용이해졌지만, 점진적인 기계 학습 능력의 출현으로 패턴과 불규칙성을 더 잘 식별할 수 있게 되어 예후를 크게 개선할 수 있게 되었습니다.또한, AI는 주어진 상황에 가장 적합한 시각적 표현을 선택할 수 있으며 사람의 개입 없이도 자율적으로 대시보드를 만들 수 있습니다.

데이터 분석에 자동화가 도입되면서 데이터 분석에 대한 접근성이 크게 높아졌습니다. 자연어 인터페이스를 활용하면 쿼리 언어에 능숙하지 않은 사람도 스스로 분석을 수행할 수 있고, 인공지능은 초보자의 실수를 방지하는 지원을 제공합니다. 인공지능은 놀라운 속도로 그 기능을 크게 향상시키고 더 많은 비즈니스 분석가 그룹에게 매우 효율적인 셀프 서비스 도구를 제공함으로써 분석에 혁명을 일으키고 있습니다.

소프트웨어 개발자

실제로 소프트웨어 개발자는 그 자체로 데이터 전문가라고 볼 수는 없지만, 방대한 프로그래밍 코드의 형태로 방대한 양의 정보를 자주 접하는 것은 틀림없는 사실입니다. 또한 다양한 비즈니스 데이터를 처리하는 시스템 내에 머신 러닝 기능을 통합하는 개발자가 점점 더 많아지고 있습니다. 두 시나리오 모두에서 인공지능 기반 코딩 지원은 개발자의 효율성에 상당한 긍정적인 영향을 미치는 것으로 나타났으며, 그 효과는 두 자릿수 범위로 추정됩니다.

코딩 어시스턴트는 암기식 프로그래밍 코드 실행의 영역을 훨씬 뛰어넘는 상당한 이점을 제공합니다. 광범위한 오픈 소스 코드 아카이브와 조직의 독점 코드베이스 내의 고급 쿼리 기능을 활용함으로써 개발자는 난해한 구문 요소를 부지런히 검색하는 고된 작업에서 벗어날 수 있습니다. 이러한 혁신적인 도구는 각 개별 개발자 또는 팀이 설정한 사전 정의된 가이드라인에 따라 일관성 있고 규정을 준수하는 코드를 생성합니다. 또한 특정 소프트웨어 애플리케이션에 맞는 적합한 머신 러닝 모델을 제안할 수도 있습니다.

AI의 기업 정복

의심할 여지 없이 인공지능(AI)은 전례 없는 속도로 비즈니스의 다양한 측면에 놀라운 영향을 미치고 있습니다. 데이터 전문가와 소프트웨어 엔지니어에게 즉각적인 영향을 미치지만, 그 범위는 이들을 넘어 마케팅, 제품 개발, 서비스 운영, 위험 평가 등 다양한 분야의 전문가들까지 이 혁신적인 기술을 두 팔 벌려 받아들이고 있습니다. 데이터 정확도와 분석 역량의 향상은 조직 전체에서 감지할 수 있으며, 진정으로 놀라운 것은 AI를 통한 여정이 이제 막 시작되었다는 것입니다.

Jozef de Vries는 EnterpriseDB 의 최고 제품 엔지니어링 책임자 입니다.