๐ฌESMFold2: ๋จ๋ฐฑ์ง์ ๋ํ ่ฆ lesson์ด ๋ค๊ฐ์ค๊ณ ์๋ค - ์๋ ์ค ๋ผ์ด๋ธ์ค, BioHub
๐ฌESMFold2: The Bitter Lesson is Coming for Proteins - Alex Rives, BioHub
ํต์ฌ ์์ฝ
- โธESMFold2๋ ๋จ๋ฐฑ์ง ๊ตฌ์กฐ ์์ธก ๋ถ์ผ์์ ์๋ก์ด ์ง๋ณด๋ฅผ ์ด๋ฃจ๊ณ ์๋ค.
- โธ๋ฐ์ดํฐ์ ๊ณผ ์ ๋ ํธํฅ, ์ธ๊ณ ๋ชจ๋ธ, ํ๋ก๊ทธ๋๋ฐ ๊ฐ๋ฅํ ์๋ฌผํ ๋ฑ ๋ค์ํ ๊ธฐ์ ์ด ๊ฒฐํฉ๋์๋ค.
- โธ์ด ๊ธฐ์ ์ ์๋ฌผํ์ ๋ฌธ์ ํด๊ฒฐ์ ์๋ก์ด ๊ฐ๋ฅ์ฑ์ ์ด์ด์ค๋ค.
- โธ์ด ๊ธฐ์ ์ ๋จ๋ฐฑ์ง ๊ตฌ์กฐ ์์ธก ๋ถ์ผ์์ ๊ฐ๋ฐ์๋ค์ด ์๋ก์ด ์ ๊ทผ ๋ฐฉ์์ ํ๊ตฌํ ์ ์๋ ๊ธฐํ๋ฅผ ์ ๊ณตํ๋ค.
์ฌ์ธต ๋ถ์
ESMFold์ Meta(ํ์ฌ EvolutionaryScale)์ ESM(Evolutionary Scale Modeling) ๊ณ์ด์์ ๋์จ ๋จ๋ฐฑ์ง ๊ตฌ์กฐ ์์ธก ๋ชจ๋ธ๋ก, ํต์ฌ ์์ด๋์ด๋ "๋จ๋ฐฑ์ง ์์ด์ ์ธ์ด์ฒ๋ผ ๋ค๋ฃฌ๋ค"๋ ๊ฒ์ด๋ค. LLM์ด ํ ์คํธ ์ฝํผ์ค์์ ๋ง์คํน ํ์ต์ผ๋ก ์ธ์ด์ ํต๊ณ์ ๊ตฌ์กฐ๋ฅผ ์ตํ๋ฏ, ESM์ ์์ต ๊ฐ์ ๋จ๋ฐฑ์ง ์๋ฏธ๋ ธ์ฐ ์์ด์ ํธ๋์คํฌ๋จธ๋ก ์ฌ์ ํ์ตํด ์งํ์ ยท๋ฌผ๋ฆฌ์ ํจํด์ ๋ด๋ถ ํํ์ผ๋ก ํก์ํ๋ค. ์ด ๊ธ์ ์ ๋ชฉ์ธ "Bitter Lesson(์ฐ๋ผ๋ฆฐ ๊ตํ)"์ ๋ฆฌ์น ์ํผ์ ์ ๋ช ํ ๋ช ์ ๋ก, ์ธ๊ฐ์ด ์ค๊ณํ ๋๋ฉ์ธ ์ง์(inductive bias)์ ์์กดํ๋ ๋ฐฉ๋ฒ์ ๊ฒฐ๊ตญ ๋ฐ์ดํฐ์ ์ฐ์ฐ์ ํ์ฅํ๋ ๋ฒ์ฉ์ ๋ฐฉ๋ฒ์ ํจ๋ฐฐํ๋ค๋ ๊ฒ์ด๋ค. Alex Rives์ ์ฃผ์ฅ์ ๋จ๋ฐฑ์ง ๋ถ์ผ์๋ ์ด ๋ฒ์น์ด ๋๋ํ๋ค๋ ๊ฒ์ด๋ค. AlphaFold2๊ฐ MSA(๋ค์ค์์ด์ ๋ ฌ), ์งํ์ ๊ณต๋ถ์ฐ, ๊ธฐํํ์ ์ ์ฝ ๊ฐ์ ์๋ฌผํ์ ์ฌ์ ์ง์์ ์ ๊ตํ๊ฒ ์ฃผ์ ํ ๋ฐ๋ฉด, ESMFold๋ ๊ทธ๋ฐ inductive bias๋ฅผ ๊ฑท์ด๋ด๊ณ ๋จ์ผ ์์ด๋ง์ผ๋ก ๊ตฌ์กฐ๋ฅผ ์์ธกํ๋ค. ๋ฐ์ดํฐ์ ์ค์ผ์ผ์ด ์ถฉ๋ถํ๋ฉด ๋ชจ๋ธ์ด ์งํ์ ์ ๋ณด๋ฅผ ์ค์ค๋ก ํ์ตํ๋ค๋ ๋ฒ ํ ์ด๋ฉฐ, ์ด๊ฒ์ด "datasets vs. inductive bias" ๋ ผ์์ ํต์ฌ์ด๋ค.
๊ธฐ์ ์ ์ผ๋ก ESMFold2์ ๊ทธ ํ์์ธ ESM3๋ ๋จ์ํ ๊ตฌ์กฐ ์์ธก๊ธฐ๋ฅผ ๋์ด ์๋ฌผํ์ "์ธ๊ณ ๋ชจ๋ธ(world model)"์ ์งํฅํ๋ค. ์ฆ ์์ดยท๊ตฌ์กฐยท๊ธฐ๋ฅ์ ํ๋์ ๋ฉํฐ๋ชจ๋ฌ ์์ฑ ๋ชจ๋ธ ์์์ ํตํฉํด, ์๋ฌผํ์ ์์ฑ ๊ณผ์ ์์ฒด๋ฅผ ๋ชจ์ฌํ๋ ค๋ ์๋๋ค. ์ด๋ ๊ฒ ๋๋ฉด ๋จ๋ฐฑ์ง์ ๋ ์ด์ "๋ถ์ ๋์"์๋ง ๋จธ๋ฌผ์ง ์๊ณ "ํ๋ก๊ทธ๋๋ฐ ๊ฐ๋ฅํ(programmable) ๋์"์ด ๋๋ค. ๊ฐ๋ฐ์๊ฐ ํ๋กฌํํธ๋ก ํ ์คํธ๋ฅผ ์์ฑํ๋ฏ, ์ํ๋ ๊ธฐ๋ฅยท๊ตฌ์กฐ ์ ์ฝ์ ์กฐ๊ฑด์ผ๋ก ๊ฑธ์ด ์๋ก์ด ๋จ๋ฐฑ์ง์ ์ค๊ณยท์์ฑํ ์ ์๋ค๋ ์๋ฏธ๋ค. ์ด๋ ์ ์ฝ ๊ฐ๋ฐ, ํจ์ ์ค๊ณ, ๋ฐ์ด์ค ์์ฌ ๊ฐ์ ์์ญ์ ์ฝ๋ ์์ฑ์ ๊ฐ๊น์ด ์ํฌํ๋ก๋ก ๋ฐ๊พผ๋ค.
์์ง๋์ด ๊ด์ ์์ ๊ฐ์ฅ ์ง์ ์ ์ธ ์ํฉํธ๋ ์ ๊ทผ์ฑ๊ณผ ์๋๋ค. AlphaFold2๋ ์์ธก๋ง๋ค ๋ฌด๊ฑฐ์ด MSA ๊ฒ์์ด ํ์ํด ๋๋ฆฌ๊ณ ์ธํ๋ผ ๋ถ๋ด์ด ์ปธ์ง๋ง, ESMFold๋ ๋จ์ผ ์์ด์ ๋ฐ๋ก ์ ๋ ฅ๋ฐ์ ์์ญ ๋ฐฐ ๋น ๋ฅธ ์ถ๋ก ์ด ๊ฐ๋ฅํ๋ค. ESM ๋ชจ๋ธ ๊ฐ์ค์น๋ Hugging Face์ ๊ณต๊ฐ๋์ด ์๊ณ , EvolutionaryScale์ Forge API๋ ESM Atlas ๊ฐ์ ํํ๋ก ์ ๊ณต๋์ด ์๋ฌผํ ์ ๋ฌธ ์ง์์ด ์๋ ๊ฐ๋ฐ์๋ ๋จ๋ฐฑ์ง ์์ธกยท์ค๊ณ๋ฅผ ์ผ๋ฐ์ ์ธ ML ํ์ดํ๋ผ์ธ์ด๋ API ํธ์ถ๋ก ํตํฉํ ์ ์๋ค. ๋จ๋ฐฑ์ง ๊ตฌ์กฐ ์์ธก์ด ํน์ ๋๋ฉ์ธ์์ "๊ทธ๋ฅ ๋ ํ๋์ ๋ชจ๋ธ API"๋ก ๋ด๋ ค์ค๋ ํ๋ฆ์ด๋ฉฐ, ์ด๋ ํด๋ผ์ฐ๋ยทGPU ์ธํ๋ผ, ๋ฒกํฐํ๋ ์๋ฒ ๋ฉ, ๋ฐฐ์น ์ถ๋ก ๊ฐ์ ์ต์ํ ์์ง๋์ด๋ง ๋ฌธ์ ๋ก ํ์๋๋ค๋ ๋ป์ด๋ค.
๊ฐ๋ฐ์๊ฐ ์ค์ง์ ์ผ๋ก ์๊ฒจ์ผ ํ ๊ตํ์ ๋ ๊ฐ์ง๋ค. ์ฒซ์งธ, "Bitter Lesson"์ ๋จ๋ฐฑ์ง์ ๋์ด ๋ชจ๋ ML ๋๋ฉ์ธ์ ์ ์ฉ๋๋ ๋ฉํ ์์น์ด๋ค. ์ ๊ตํ๊ฒ ์์ผ๋ก ๊น์ ๋๋ฉ์ธ ๊ท์นยทํด๋ฆฌ์คํฑยทfeature engineering์ ์ฅ๊ธฐ ํฌ์ํ๊ธฐ๋ณด๋ค, ํ์ฅ ๊ฐ๋ฅํ ๋ฒ์ฉ ์ํคํ ์ฒ์ ๋ฐ์ดํฐยท์ฐ์ฐ ์ค์ผ์ผ๋ง์ ๋ฒ ํ ํ๋ ์ชฝ์ด ๊ฒฐ๊ตญ ์ด๊ธด๋ค๋ ๊ฒ์ด๋ค. ์์ ์ ๋ถ์ผ์์ "์ฐ๋ฆฌ๋ง์ ํน์ํ inductive bias"๋ผ๊ณ ๋ฏฟ๋ ๊ฒ๋ค์ด ์ค์ ๋ก๋ ์ค์ผ์ผ์ด ๋์ฒดํ ๋ถ์ฑ๋ ์๋์ง ์ ๊ฒํด ๋ณผ ๊ฐ์น๊ฐ ์๋ค. ๋์งธ, ๋ฐ์ด์ค/ํฌ์ค ์ธ์ ์ ํ์ ๋ค๋ฃจ๋ ์์ง๋์ด๋ผ๋ฉด ESM ๊ณ์ด ๋ชจ๋ธ๊ณผ Forge API, ESM Atlas๋ฅผ ์ง์ ๋ง์ ธ๋ณด๋ฉฐ ์๋ฒ ๋ฉ ์ถ์ถยท๊ตฌ์กฐ ์์ธกยท์กฐ๊ฑด๋ถ ์์ฑ์ PoC๋ก ๊ฒ์ฆํด ๋๋ ๊ฒ์ด ์ข๋ค. ๋จ, ๋จ์ผ ์์ด ์์ธก์ ๋น ๋ฅธ ๋์ ์ ๋ฐ๋๊ฐ ๋จ์ด์ง๋ ์์ญ(ํนํ ๋ค์ค์ฒด ๋ณตํฉ์ฒด๋ ๋น์ ํ ๊ตฌ์กฐ)์ด ์์ผ๋ฏ๋ก, AlphaFold๋ฅ์์ ์ ํ๋ยท์๋ ํธ๋ ์ด๋์คํ๋ฅผ ์ฉ๋์ ๋ง๊ฒ ํ๊ฐํ๊ณ , ์์ฑ๋ ๋จ๋ฐฑ์ง์ ์คํ์ ๊ฒ์ฆ(wet-lab validation)์ด๋ผ๋ ํ์ค์ ๋ณ๋ชฉ์ ํ์ดํ๋ผ์ธ ์ค๊ณ์ ๋ฐ๋์ ๋ฐ์ํด์ผ ํ๋ค.
๊ด๋ จ ๊ธฐ์ฌ
์ฌ์นด๋ AI, ์ค์ค๋ก ๊ฐ์ ํ๋ AI๋ก ํ๋ ์ธํฐ ๋ฉ์ค์ ๊ณ์ฐ ๊ฒฝ์์ ๋๋ด๊ฒ ๋ค
The Decoder ยท 2026๋ 6์ 6์ผ PM 10:57
์ ํ์ง RL ํ๊ฒฝ ๋ฐฐํฌ ์ค๋จ ๋ฐฉ๋ฒ (์์ ํฌํจ)
Latent Space ยท 2026๋ 6์ 6์ผ AM 03:49
ํ๋ง์ ์์์ ๋ฆฌ์ฒ๋ ์คUTTON, ์์ ์์ฑํ AI๊ฐ ์ง์ ํ ๊ณผํ์ ํ ์ ์๋ค๊ณ ๋งํ๋ค
The Decoder ยท 2026๋ 6์ 2์ผ AM 02:10
AI ์ฑ๋ด์ ์ ์ฉํ๊ฒ ๋ง๋๋ ๊ฒ์ด ์ธ๊ฐ ํ๋์ ์๋ฎฌ๋ ์ด์ ํ๋ ๋ฅ๋ ฅ์ ์ฝํ์ํจ๋ค๋ ๋๊ท๋ชจ ์ฐ๊ตฌ ๊ฒฐ๊ณผ
The Decoder ยท 2026๋ 5์ 30์ผ PM 09:44
ํด๋ผ์ฐ๋ ๋ง์ด์คํ ์ค, ์คํAI์ ์ ๋ช ํ ์๋ฅด๋์ ๋ฌธ์ ๋ฅผ '๊ท์ฌ์ด ๊ฐ๋จํ ์ฆ๋ช '์ผ๋ก ํด๊ฒฐํ๋ค๋ ๋ณด๋
The Decoder ยท 2026๋ 5์ 27์ผ AM 03:31