최근 실리콘밸리의 유명 벤처캐피털 앤드리슨 호로위츠(a16z)에서 흥미로운 글을 봤습니다. 글 제목은 '검색의 미래는 부티크다(The Future of Search is Boutique)'이고, 구글 검색이 실망스러운 상황이라고 비판하면서 새로운 검색서비스를 위한 대안적 노력들을 소개합니다. 글쓴이는 Startupy라는 커뮤니티 기반의 검색서비스를 창업해 운영중인 사리 아주트(Sari Azout)네요. 본인이 대안적 검색서비스를 만든 장본인이라 구글 검색에 대한 비판적 입장이나 본인 서비스의 홍보도 가미된 측면이 있겠지만 검색서비스의 흐름과 전망에 대해 인사이트가 담긴 문제제기성 글로 보입니다. 전문 번역하면서 일부는 요약하고, 개인 의견도 살짝 첨가했습니다.
The Future of Search Is Boutique
The way to improve search is not to mimic Google, but instead to build boutique search engines that index, curate, and organize things in new ways.

1. 요즘 Google 검색은 매우 실망스럽다. '아이슬란드 인구는 얼마인가?'와 같은 문답은 능숙한데 "NFT 수집가들은 NFT에 대해 어떻게 생각하는가?"와 같은 판단과 맥락이 필요한 질문에는 대답을 잘 못한다.

2. 선별 노력 : Notion, Airtable, Readwise와 같은 도구가 등장하면서 사람들이 콘텐츠와 리소스를 수집하여 '선별된 웹'을 부활시켰다 . 그러나 아직은 미약하다. 대체로 분산적이고 파편화돼 있으며 인덱싱(indexing, 분류)이 제대로 이루어지지 않고, 공개적으로 사용하기 어렵다. 일부는 공개 및 공동 작업으로 만든 경우(여기에 좋은 예가 있다)도 있다. 하지만 이러한 프로젝트는 종종 수명이 짧고 제대로 유지 관리되지 않는다.

3. 신뢰 이슈 : 2조 달러 시가총액을 넘나드는 Google의 사명은 '세계의 정보를 조직화'하는 것이지만 여전히 인터넷은 제대로 조직화되지 않은 상태다. 달리 말하면, 정보가 무한한 세계에서 세계의 정보를 정리하는 것만으로는 더 이상 충분하지 않다. 세계의 '신뢰할 수 있는' 정보를 정리하는 것이 중요해지고 있다.

4. 검색의 상업주의 : Google 상단의 웹 사이트는 반드시 최고 품질의 웹 사이트가 아니라 검색최적화(SEO)에 가장 많은 노력을 기울인 웹 사이트인 경우가 많아졌다. 전 세계의 정보를 정리하는 선의의 방법으로 시작한 (구글의) 검색 비즈니스는 사람들에게 신뢰할 수 있는 검색 결과를 제공하는 데 집중하기보다 (구글 애드워즈) 광고주를 지원하기 위해 클릭으로 수익을 창출하는 데 대부분의 리소스를 집중하는 비즈니스로 바뀌었다.

5. 탐색비용 이슈 : 나의 시간은 유한하다. 탐색시간이 길어질수록 탐색비용을 많이 지불하는 셈이다. 검색서비스는 이걸 줄여주는 게 중요하다. 10년 전과 크게 달라진 점은, 무엇을 읽고/사고/먹고/보고 있는지가 아니라, 무엇 읽고/사고/먹고/보고 있는지를 찾는 것이다. 내 제한된 시간과 관심으로. 믿기 ​​어렵겠지만 온라인에 볼 것이 그리 많지 않다는 점이다. Google의 주요 고민중 하나다. 누가 '허브 정원을 잘 가꾸는 방법'을 입력했는데 온라인에 답이 없으면 아무리 훌륭한 검색 엔진도 무용지물이다.

6. 대안적 검색 - 수평검색엔진 : DuckDuckGoNeeva 와 같은 대담한 팀 은 대규모 수평 검색 엔진을 구축하여 Google과 정면으로 경쟁하려고 한다. Google과의 차별성은 개인정보 보호다. 그러나 개인 정보 보호가 Google을 떠나야 할 충분한 이유가 되지는 않는다. 대다수 사람들에게 '자신의 데이터를 스스로 제어하도록 허용'하는 것은 그리 큰 경쟁력이 아니다. 특히 다들 무료가 익숙한데 비용을 지불하게끔 하려면 더욱 힘들다.

7. 부티크 검색 : 검색의 기회는 거대한 수평적 애그리게이터로 구글을 정면 공격하는 것이 아니라 새로운 방식으로 사물을 색인화하고, 선별하고, 정리하는 '부티크(Boutique)' 검색 엔진을 구축하는 것이라 생각한다. (* Boutique : 원래 '가게, 상점'이란 뜻의 프랑스어. 금융, 법률 등의 영역에서 특정 업무 및 서비스를 제공하는 전문가 집단이나 회사를 일컫는다)

Vertical Search Aggregators (수직 검색 애그리게이터)

8. 구글검색의 단점 : Google은 인터넷의 규모와 속도를 드높인 대표적인 서비스 중 하나다. 그런데 우리는 점차 이 척도(규모, 척도)가 인간의 근본적인 (검색) 욕구인 '관련성(Relevance)'을 충분히 채워주지 못하거나 심지어 상충된다는 사실을 알게 되었다. 최고의 프리랜서 디자이너와 최고의 스시 레스토랑 등을 찾고자 하는 사람은 Google에서 답을 제대로 찾기 어렵다.

9. 버티컬 검색의 강점 : 모든 범주에서 보편적으로 작동하는 검색 아키텍처는 없다. 프리랜서를 검색하는 것과 동일한 UX를 사용하여 음식 레시피를 검색하는 것은 상상하기 어렵다. Google 제품이 검색창 하나로 시작하고 끝나는 단순성을 우선하면서 기능을 절충했다. 반면 Yelp와 Expedia, Zillow, Behance와 같은 버티컬 검색서비스들은 해당 영역의 특성에 맞는 구조화된 데이터를 사용하여 기능적으로, 또 내용상 관련성 측면에서도 만족도를 높이는데 주력했다. 이는 정보 구성방법이나 필터링 방식 등에서 뚜렷한 장점을 갖고 있다.

10. 버티컬 검색에서의 개선 필요점 : 그러나 이러한 버티컬 검색에서도 '관련성'을 높이는 것은 무척 까다롭고 어려운 과제다. 현실에서의 사회적 변화상까지 고려해야 하기 때문이다. 예를 들어, 창의적 예술프로젝트들을 검색할 수 있는 Behance 에서는 온라인상의 크리에이티브 커뮤니티와 학교, 위치 등이 필터로 눈에 띄게 표시돼 있다. 이는 당신이 살고 있는 위치와 다니는 학교 등이 디자인 포트폴리오 품질의 중요한 지표임을 의미한다. 하지만 시간이 지날수록 지역이나 학교 등의 필터는 '관련성'을 높게 하는데 실효성이 덜해지고 있다. 만약 Behance가 오늘날 설계되었다면 "위치"도 "학교"도 필터로 등장하지는 않았을 것이다.

Behance에서 상단에 보이는 위치와 학교 필터(붉은 동그라미)

11. Yelp의 사례 - 광고문제 : 옐프에서 "마이애미의 전기 기사"에 대한 검색 결과를 보면 "플로리다주 마이애미의 최고의 전기 기사 10인"이라는 제목 아래에 (대부분이) 후원을 받은 결과임을 나타내는 텍스트가 표시돼 있다.

Yelp의 검색결과 화면. 제목 아래에 'Sponsored Results'라고 적혀 있다.

광고를 통해 수익을 창출하게 되면 자신의 추천을 선별하는 데 사용할 수 있는 디지털 자산이 적기 때문에 선별은 광고주를 추천하는 경우가 늘 수 밖에 없다. 따라서 이러한 플랫폼에서는 검색결과에 대해 윤리적으로 의심스러운 시선을 받게 되고 막대한 신뢰 격차 를 발생시킬 수 있다.

큐레이터, 큐레이터

11. 큐레이션의 현실 : 우리는 정보화 시대에 살고 있다. 정보의 홍수를 해결하는 데 도움되는 "큐레이션"의 필요성이 자주 거론돼 왔다. 그러나 지금까지 큐레이션에 대한 논의는 내용에 너무 치중하고 구조에 대해서는 충분하지 않았다. 우리는 큐레이터의 역할을 제품 리뷰와 링크 목록 또는 노래 추천 등을 제공하는 것으로 받아들인 것 같다. 대부분 선형적 구조 및 시간순 피드 형태로 보여주는데, 이는 지식을 축적하거나 잘 보여주는데 적합하지 않다. 결국 단순히 지난 24시간 동안의 아이디어를 시간순으로 피드로 보여줄 뿐이다.

알리바바에서 매일 이메일로 상위 5개 품목을 보여주는건 재미있지만, 막상 아기에게 적합한 유아용 침대를 찾으려고 할 때는 도움이 되지 않는다. 불가피하게 큐레이터의 아카이브를 검색하는 방법이 필요할 것이다.

12. 오락에 갇힌 큐레이션 : 피드 방식 서비스 구조에서 큐레이션은 주로 유틸리티(유용함)보다 엔터테인먼트(재미) 상관성이 높을 때가 많다. 이런 큐레이션 시장이 있다고 해도 과언이 아니다. 그러나 사람들이 놓치는 것은 이 시장은 이미 Twitter와 Facebook, TikTok 등에 의해 점령되었다는 것이다.

13. 새로운 기회 - 목표 지향적인 인터페이스를 동반한 큐레이션 : 이 엔터테인먼트 거물들은 우리의 관심을 잡아끄는 큐레이션을 제공하긴 하지만, 주문형 큐레이션을 제공하지 않는다. 여기에 기회가 있다. 즉, 큐레이트된 콘텐츠 피드를 '끝임없이 제공'하는 방식에서 벗어나 더 '목표 지향적'인 인터페이스로 옮기는 데 있다. 사람들은 원하는 콘텐츠를 원하는 대로 찾을 수 있어야 하며 큐레이터가 게시하기로 결정할 때 종속되지 않아야 한다.

부티크 검색엔진이 차세대 큐레이션!

"모든 큐레이션은 검색이 필요할 때까지 성장하고 모든 검색은 큐레이션이 필요할 때까지 커진다."
—벤 에반스

14. 부티크 검색엔진의 의미 : Ben Evans가 말한 위의 관점을 적용하면 버티컬 검색은 너무 커져서 큐레이션이 필요해졌다. 또, 큐레이션 피드는 너무 길어져서 검색과 데이터 구조화가 필요하다는 게 분명해졌다. 해결책은 더 나은 검색과 더 나은 큐레이션이며, 이걸 뒷받침하는 더 나은 수익모델의 결합도 필요하다. 이 조합을 나는 '부티크 검색 엔진'이라고 부른다.

검색 가능하고 큐레이션이 이뤄진 인터페이스는, 우리에게 그동안 시간순 피드가 가진 일시적이고 제한적인 단점에서 벗어나 신뢰가 높은 지식공간으로 이동하도록 도와줄 것이다. 즉, 검색 가능한 인터페이스가 조밀하게 연결돼 있기 때문에 탐색기는 '가장 최신' 피드에만 매몰되지 않고 여러 경로를 통해 콘텐츠를 따라갈 수 있다.

15. 부티크 검색엔진의 주요 사례 : 이렇게 큐레이션과 검색이 긴밀하게 결합돼 있으면, 이제 진짜 중요한 건 '큐레이션이 필요한지, 검색이 필요한지'의 여부가 아니라 '어느 시점'에, 그리고 '어떻게 되는지' 등이다.

  • Spotify는 어떤 노래가 플랫폼에 포함되는지 선별하지 않는다. 대신, 수동 큐레이션(자체 큐레이터 및 사용자 팀이 큐레이트한 재생 목록을 통해)과 알고리듬(Discover Weekly와 같은)을 혼합해서 서비스를 제공한다. 그래서 전체 음악목록 및 다양한 라이브러리를 넘나들며 끝없이 검색할 수 있는 방법을 계속 찾아가고 있다.
  • Wirecutter는 모든 제품을 검토하지 않는다. 직접 수동으로 최고의 제품을 선별한 다음 검색 및 기타 검색 도구를 사용하여 필요한 것을 찾는 데 도움을 준다.
  • Thingtesting은 인터넷에서 모든 소비재 브랜드를 자동으로 스크래핑하지 않는다. 팀이나 커뮤니티의 누군가가 데이터베이스에 (괜찮은) 브랜드를 추가하기 위해 애쓰고 있다.
  • 당신이 On Deck 회원 데이터베이스를 검색해서 적합한 사람을 찾는 경우, 거기의 모든 사람이 이 프로그램에 참여하기 위해 미리 지원한 뒤 심사를 거쳤으며 수수료까지 지불했음을 알 수 있다.(Quality Control이 되고 있다는 의미)
  • Tegus 의 대본을 읽고 있다면 콘텐츠가 해당 팀에서 엄선한 전문가의 콘텐츠임을 알 수 있다.

이 모든 예에서 볼 때, '가치'는 '무엇을 포함시키는가' 못지 않게 '무엇을 배제하는가'에 따라 발생하는 걸 알 수 있다. 즉, 공급 측의 마찰이 신호를 생성하는 것이다.

이러한 사업 및 서비스들은 강력한 검색 엔진을 구축했다. 예를 들어, OnDeck은 독창적인 방식으로 재능을 발견할 수 있는 의미있는 그래프를 구축했다. 예를 들어, 현재 상태가 '새로운 아이디어에 열려 있음'인 '소프트웨어 엔지니어링' 기술을 가진 사람들을 기준으로 필터링해서 적절한 인재를 찾을 수 있다. 실제 필자는 엔지니어링 인재를 찾고 있는 창업자로서 LinkedIn보다 이 선별된 데이터 세트를 유용하게 사용할 것이다.

버티컬 검색 애그리게이터와 달리 부티크 검색 엔진은 전화번호부보다는 친구에게 추천을 요청하기 위해 문자 메시지를 보내는 것과 같다. 그들은 가장 큰 해자인 신뢰의 기초인 공급을 제한했다. 중요한 것은 부티크 검색 엔진이 광고에 의존하지 않는 새로운 비즈니스 모델도 도입한다는 것이다.

검색은 어렵다 - 계속 남는 질문들

16. 부티크 검색 엔진을 구축하려면 무수히 많은 미묘한 제품 선택이 필요하다. 큐레이션과 검색, 알고리듬 및 수익 모델의 올바른 조합을 얻는 것은 엄청나게 어렵지만 매우 가치 있는 일이다. 다음은 정성적 통찰력을 얻기 위한 부티크 검색 엔진인 Startupy를 구축하면서 숙고하고 있는 질문 목록이다.

가치 제안이 잡음이 아닌 신호인 경우, 신호를 어떻게 확장하는가?

계속해서 큐레이션 사이트는 실존의 함정에 빠지게 된다. 그들은 고품질의 선별된 추천으로 시작한다. 이후 성장하면서 크라우드 소싱으로 확장되며 종종 스크래핑으로 격차를 메운다. 시간이 지남에 따라 콘텐츠는 훌륭한 것에서 좋은 것으로 바뀐다. 이 시점에서 Yelp와 같은 버티컬 검색 수집기는 더 많은 유틸리티를 제공한다. 예를 들어 야후가 너무 커져서 탐색할 수 없었고 신호 능력을 상실했을 때 Google이 더 나은 지점에 도달했다. 큐레이터와 컴파일러 및 카탈로그 작성자 사이의 경계는 매우 가늘고 자연적으로 보이지 않는 점근선이 있다., 시간이 지남에 따라 데이터는 더 많아지지만 의미있는 결과값은 줄어든다.

이 새로운 검색 엔진 물결의 사업 모델은 무엇인가?

표면적으로 버티컬 검색 엔진은 단순하다. 콘텐츠는 공급이고 관심과 주목은 수요다. 그러나 버티컬 검색 엔진의 마지막 물결은 광고 기반 사업 모델을 기반으로 구축되었기 때문에 상황이 더 까다로워졌다. 광고 기반 시장에서 관심과 주목은 공급 영역에 있다. 그들의 관심은 수요측(광고주)이 원하는 것이다. 이 광고 기반 모델의 단점은 광고주와 콘텐츠 제작자가 동일한 관심을 얻기 위해 경쟁하고 있기 때문에 이러한 사이트가 마케팅 블로그처럼 느껴지게 된다는 것이다.

이것이 구독이 기회를 제공하는 이유다. 구독은 공급으로서의 콘텐츠, 수요로서의 유료 청중이라는 두 가지 측면으로 네트워크 효과를 단순화한다. 그러나 구독 자체가 만병통치약은 아니다. 특히 사용 사례가 충분히 빈번하지 않은 경우에는 더욱 그렇다. 얼마나 자주 프리랜서를 찾아야 하는가? 사용 사례가 충분히 빈번하지 않으면 검색 엔진의 유용성이 지속 가능한 사업 모델로 변환되지 않을 것이다. '검색하러 오세요. 그리고 시간 갖고 다른 것도 좀 찾아보세요'라는 고유한 방식을 생각해 내야 한다.

게다가 내 친구 Joey가 이 기사 에서 지적했듯이 시크릿 모드에서 많은 시간을 사용하는 제품은 UX 문제가 상당히 크다. 마침내 페이월에 굴복하기 전에 몇 개의 New York Times 계정을 만들었는가? 오늘날의 구독 모델을 사용하면 고객은 플랫폼 성장에 도움이 될 실질적인 인센티브가 없다. 요즘큰 기반 사업 모델은 약속의 초기적 징후를 보여준다. 이해 관계자에게 소유권을 부여하고 가입자가 미래 상승의 이점을 누릴 수 있도록 함으로써 스타트업은 콜드 스타트 ​​문제를 극복할 수 있다.

매력적으로 들린다. 하지만 토큰화된 비즈니스 모델을 위한 플레이북은 아직 나오지 않았다. 나는 이것이 앞으로 몇 년 안에 (활성화되는 쪽으로) 바뀌어 갈 것이라고 생각한다.


큐레이터는 누가 큐레이션하나?

Twitter와 같은 플랫폼은 이 책임을 사용자에게 위임한다. 이용자들은 엄청난 수의 사람들을 따라가는 길고 힘든 과정을 거쳐 궁극적으로 자신의 관심사를 반영해서 스스로 선별한 타임라인에 도달해야 한다. 일부는 큐레이션을 중앙 집중화한다. OnDeck에서는 네트워크에 참여할 수 있는 사람을 선택하는 작업을 수행하고 있다고 믿는다. 그러나 다른 사람들은 보다 전통적인 크라우드소싱을 위해 큐레이션을 멀리한다. 스펙트럼이 무척 넓다.


(새로운) 검색 엔진을 처음엔 어떻게 찾아야 하나?

나는 구글에만 매달리지 말자고 주장하면서 이 글을 시작했다. 그것은 눈길을 끄는 헤드라인이지만, 사실 의미있는 검색서비스를 찾았다 해도 상당기간은 Google을 통해 그 검색엔진을 발견하게 될 것이다. Zillow와 Airbnb는 많은 양의 직접적인 트래픽을 확보한 검색 회사가 됐다. 하지만 이들도 SEO가 초기 전략의 큰 부분을 차지했다.

우리는 인터넷의 원대한 비전을 달성하는 것과는 거리가 멀다. 오늘날의 인간 지식 프로젝트는 덧없고 파편화된 정보와 아이디어의 광대한 바다가 되어버렸다. 어떤 정보가 누락되었는지, 어떻게 구성해야 하는지, 가치 사슬의 어느 지점에서 큐레이션이 이루어져야 하는지에 대한 관점에서 더 많은 인터페이스가 필요하다.