가야금은『삼국사기』악지에 의하면 1400여년 전 가야국의 가실왕이 중국의 ‘쟁’을 보고 만들었다는 기록이 있다. 그러나 1700여 년 전의 신라 미추왕(味鄒王:A.D. 262∼284) 시대로 고증되는 고분에서 출토된 ‘목이긴 항아리’에 새겨진 가야금을 보면 가야국의 가실왕이 중국의 쟁을 보고 만들기 이전에 이미 한반도에 가야금과 같은 악기가 있었다는 물증을 보여주고 있다.
또한 최근에 발굴된 광주 신창동 ‘고’ (현악기의 일종)라든가 경산 임당택지에서 발견된 ‘고’ 등은 A.D 1세기경에 존재한 고대 현악기로 추정하고 있다. 따라서 가실왕이 중국의 ‘쟁’을 보고 만들었다는 설(說)은 믿기 어렵다.

다만 가실왕은 중국의 쟁을 참조하여 고대의 현악기를 현재와 유사한 모양의 12현 가야금으로 개량하였을 것이다.
한편, 삼국의 전신인 변한이나 진한에도 중국의 슬(瑟) . 축(築)과 유사한 현악기가 있었다는 기록이 A.D. 297년에 쓰여진 중국의 정사(正史)인 『삼국지』위지 동이전에 나온다. 
또한 신라 자비왕(慈悲王: A.D. 458∼478)때 백결 선생이 가야금으로 방아 타령을 지었다는 기록이 『삼국사기』에 기록이 있다. 이러한 점으로 미루어 보면 가야금은 약1800여 년 전부터 꾸준히 연주되어오면서 한민족에게 사랑 받아온 악기임을 알 수 있다.