때가 많이 늦은 관람기 그리고 인프라만 보는 인간의 매우 주관적인 주요 내용 정리

the Keynote

Google Cloud Next 23의 오프닝 키노트 시간은 참으로 지루했습니다. (그렇다고 다른 회사의 이런 성격의 행사에서 볼 수 있는 오프닝 키노트가 멋지다 재밌다 - 라는 것은 아닙니다. 그것들도 지루하긴 마찬가지입니다)

Sundar 이외의 발표자들은 활력없이 긴장한 모습만 가득했습니다. 이 회사에도 스티브 발머 같은 사람이 있어야 하지는 않을까? 하는 생각을 했을 무렵, 한 분이 끝내주는 라이브 데모를 보여주셨는데 이 분이 나오는 시간이 제일 흥미로웠고, 멋이 넘쳤으며, 무엇보다 재미있었습니다. 정장보다는 집업 후드가 더 어울릴 것 같은, 그의 이름은 Nenshad Bardoliwalla 입니다.

nenshad bardoliwalla

‘Ground control to major Thomas, back to you!’
라고 외칠 땐 저도 같이 박수를 쳤습니다. 하지만, ‘메이저 토마스’께서는 무슨 의미인지 알지는 못 하는 분위기였습니다. 만약 저 멘트가 궁금하시면 David Bowie의 Space Oddity를 들어 보시길 권해 드립니다.

인프라를 위한 으뜸 영상

여러 영상들 중에 꼭 하나의 영상을 봐야 한다면 - 당연히 인프라 중심적 생각입니다 - ‘What’s next for architects and IT professionals’ 이 영상을 엄지 두 개가 모자랄 정도로 추천합니다.

Mark Lohmeyer

(주제 발표자 중에 확신과 믿음을 전달한 유일한 리더, Mark Lohmeyer)

이 번 Next 23에서 이런 저런 방식으로 우리 고객께 전하는 거의 모든 이야기는 이 영상 하나에 압축되어 있습니다. 여기에서 시작하여 소개되는 키워드들을 바탕으로 필요한 정보를 하나씩 찾아 보는 건 어떨까요? 훨씬 시간을 절약하고 효과적인 학습이 될 것입니다.

새로운 인프라 제품과 서비스

타사들도 그렇지만, 이런 행사에 맞춰 발표하려고 이미 다 만들어 제품의 출시를 미루고, 설익은 걸 미리 발표하기도 합니다. 혹은 이미 발표도 했고, 낯설지도 않은데 달리 내세울 것이 없을 땐 뭔가 새로운 기능을 부가하여 광을 내기도 합니다. 이 번에도 이 모든 것이 다 있었습니다. 다만, 예년과는 다른 건 제법 많은 걸 발표했다는 것 뿐입니다. 그 중 핵심 주제만 주관적으로 추려 아래와 같이 소개합니다.

Compute

여기서 핵심은 OFFLOADS입니다. Google Cloud의 대부분의 인프라를 오프로드 환경으로 바꾸어 갈 것으로 예상할 수 있습니다. 왜? 하드웨어의 한계를 뛰어 넘어 최적의 그리고 최대의 효율을 만들어 낼 수 있다는 이유가 아닐까요?

Titanium

오프로드의 핵심 플랫폼으로 Next 23 중에 여기 저기 언급되던 그 ‘타이타늄’ 혹은 ‘티타늄’입니다. (티타늄은 숄라자르분지, 얼음왕관, 폭풍우봉우리, 겨울손아귀 호수에서 채광이 가능하고 대장기술을 보유하고 있다면 주괴로 제련할 수 있습니다.)

티타늄 플랫폼은 Google의 고유 기술로 완성했습니다. Titanium: A robust foundation for workload-optimized cloud computing을 통해 여러가지 방향을 가늠해 볼 수 있습니다.

H3 VM (preview)

HPC 워크로드를 제대로 지원하기 위한 목적으로 태어났다고 합니다. C3와 같은 제 3세대 플랫폼에서 제작한 H3는 HPC Toolkit 등이 미리 탑재되어 있습니다.

발표자의 설명을 간단 요약하면 다음과 같습니다.
“Purpose built for HPC workloads, and built using the Intel Sapphire Rapids, with full core performance and 200Gbps networking, H3 outperforms the previous generation C2 VMs by up to 3x on a wide range of HPC workloads”

이 녀석은 C2 후계자의 모습니다. 어디서 그걸 알 수 있느냐? ‘full core performance’가 그 힌트입니다. C2 VM은 높은 코어당 성능으로 아직 사랑받는 VM 유형입니다. 물론 그에 따른 가성비도 갖추고 있습니다. 그 후계자가 C3가 아닌 H3가 될 모양새입니다. 하지만 H3 VM이 C2 VM과 같이 높은 가성비의 VM이 될지는 현재로서는 알 수 없습니다.

C3D VM (preview)

C3의 AMD 버전입니다. 별 다른 건 없습니다. 발표 내용의 요약을 보겠습니다.
“We are announcing the C3D VM, based on AMD’s 4th generation EPYC processor, now in Preview. C3D VMs offer up to 35% performance improvement over the previous generation AMD VMs for workloads such as Postgres, MySQL, and Redis.”

C3A VM (preview)

“Our newest Arm-based VM is based on the AmpereOne processor. C3A instances offer up to 17% better price/performance than comparable x86 instances (N2, N2D). Initially available in six regions around the world. Supported by a broad range of ISVs and have broad language and framework support.”

C3의 ARM (AArch64가 정식 명칭이지만, 업계의 관습을 존중하고 우리의 편의를 위해 ARM으로 지칭합니다) 버전입니다. ARM 플랫폼은 업계에서 가장 진지한 플랫폼 전환 혹은 다양성에 대한 접근이라고 할 수 있습니다. 이미 소비자 시장에서는 대세가 되었고, 개발자의 다수쪽이 ARM 플랫폼에서 제품과 서비스를 만들고 있습니다.

C3A까지 Ampere社의 CPU를 가져다 쓰겠지만, 차세대부터는 Google이 설계하고 TSMC에서 생산한 새로운 CPU를 사용하게 됩니다. ARM 플랫폼에 대한 미래는 적극적인 투자로 설명할 수 있겠습니다.

Future Reservation

지금의 클라우드 컴퓨팅에서 연산 자원을 할당받아 서비스를 운영하는 것은 택시나 렌트카(장/단기)나 차량 리스운영과 비슷하다고 할 수 있습니다. Future Reservations는 숙박시설을 예약하는 것과 같습니다.

설명은 간단하지만, 이걸 업계에서 운영하지 않았던 이유는 매우 간단합니다. 굳이 이런 것이 없어도 장사는 되고, 부도율 등을 생각하면 굳이 도입할 이유가 없다고 판단할 수 있고, 이 기능을 전체 운영시스템에 집어 넣는 것도 부담스러운 일이기 때문입니다. 우리는 이걸 하겠다고 합니다. Black Friday 같은 것을 대비할 수 있고, BTS나 Taylor Swift 공연 티켓을 예매하는 곳에서는 매우 쓸만한 기능이라고 평가할 수 있습니다. Google Cloud 같은 순위의 사업자는 이런 것이 필요합니다. 시장의 빈틈을 ‘말’이 아닌 ‘기술’로 호소하는 것 말이죠.

machine-type, start-time, end-time, zone, project-name, total-vm-count 만 정의하면 시작할 수 있습니다. 본 기능에 대한 설명은 공식 홈페이지 상세 문서에 있습니다.

Storage

아래의 두 새로운 서비스에 대한 공식 블로그 기사

Parallelstore

3rd party로 구성해야 했던 (그렇다고 나쁘다는 이야기는 아닙니다) 병렬 파일시스템을 네이티브로 가진다는 의미가 있습니다. 알려진 것과 같이 Intel DAOS (Distributed Asynchronous Object Storage)를 기반을 하고 업계 표준이나 마찬가지인 Lustre와 호환성을 갖추고 있습니다.

클라우드 사업자가 HPC 시장에 진입하면서 HPC를 원활히 지원하는 혹은 HPC를 위해 제작된 파일시스템 서비스를 fully managed 방식으로 가지고 있다는 징성 하나만으로 HPC 제품의 포트폴리오를 단단하게 만들어 줄 것입니다.

공식 웹사이트

Cloud Storage FUSE

‘One of the most important features of FUSE is allowing secure, non-privileged mounts. This opens up new possibilities for the use of filesystems.’ FUSE — The Linux Kernel documentation

FUSE는 non-privileged mount를 지원하는 userspace filesystem service입니다. 어렵죠? 간단하게 말하면 시스템(kernel)에서 적극 개입하여 안정성과 성능을 위한 최선의 조치를 하지 않는 것입니다. 사용자 영역에서 (userspace) 사용자의 명령에 따라서 사용자의 자원 및 환경 내에서 동작하는 것이 FUSE입니다.

기계학습 등에 필요한 대용량 데이터를 원활히 (오프젝트 스토리지인) GCS로부터 읽어들일 수 있게 조치하기 위한 장치입니다. 워크로드를 동작시키는 VM에 오프젝트 스토리지를 직접 마운트해서 데이터에 접근할 수 있게 해준다는 것인데, 비전문가에게 편의를 제공한다는 의미를 여부할 수 있겠습니다.

공식 웹사이트

AI-Optimized infrastructure

AI 코인에 올라타려는 의도로 그것에 인프라에 접목시키는 것 자체가 이뻐 보이지는 않지만, 시장 반응은 괜찮은 걸 보니 저 같은 기계쟁이들이 입에 올려 방아질을 할 건 아닌가 봅니다.

Nvidia

TPU v5e와 A3 + H100에 대한 발표였습니다. 세상을 손아귀에 쥔, 젠슨 황이 ‘re:invent’라는 말을 실수로 내뱉고 수 초동안 토끼 눈이 되는 것은 웃음 포인트였습니다. ‘아! 여기 AWS 행사 아니지!’라고 무언의 외침이 시공을 초월해서 들렸습니다.