EAT의 기원: 페이지 콘텐츠, 하이퍼링크 분석 및 사용 데이터

과거에 대한 지식을 바탕으로 미래를 예측하는 것은 기본입니다. 저는 항상 기술 발전을 예리하게 주시하지만 과거를 잊지 않습니다.

정보 검색(IR) 분야의 과거 성과와 돌파구는 검색 기술에서 "다음으로 갈 곳"의 가능성을 불러일으킵니다.

그런 다음 향후 검색 엔진 최적화(SEO) 기술 및 방법론에 어떤 영향을 미칠지 알려줍니다.

내 SEO "백 투 더 퓨처" 시리즈의 이전 기사에서 인덱싱 및 키워드 순위 기술을 재검토했습니다. 20년 후 저는 "풍부한 문제"로 알려진 것을 설명하는 그래픽을 보여주면서 결론을 내렸습니다. 이것은 종종 순수한 키워드 순위 기술(온페이지)이 결과의 맨 위에 더 권위 있는 페이지를 배치하는 것을 방지합니다. 관련 - 예. 하지만 권위적?

Google 품질 평가자에게 EAT는 몇 년 동안만 사용되었을 수 있습니다. 그러나 IR 분야에서는 항상 검색 엔진이 수행하는 방식과 작업의 핵심이었습니다.

이 기사에서 나는 전문성, 권위, 신뢰성(EAT)이 얼마나 멀리 거슬러 올라가며 그것들이 실제로 무엇을 기반으로 하는지 탐구할 것입니다.

20년 전 '먹'

SEO 의미에서 "권위성"이 실제로 의미하는 바에 대해 업계에는 여전히 많은 모호성이 있습니다. 사이트/페이지는 어떻게 신뢰할 수 있습니까?

"권위"와 "전문가" 및 "신뢰"라는 용어가 IR 및 SEO 사전에 어떻게 포함되었는지 살펴보면 더 많은 통찰력을 얻을 수 있습니다.

다음은 2002년에 제가 만든 그래픽입니다. 하지만 이 버전에는 이 모든 것을 하나로 묶을 수 있는 관련 개선 사항이 있습니다.

저는 이 고전적인 웹 데이터 마이닝 그래픽을 사용할 것입니다. 이제 EAT의 기원을 더 잘 이해하는 데 도움이 되도록 세 글자 EAT가 특징입니다.

EAT 자체는 알고리즘이 아니지만:

• 전문 지식 은 페이지 콘텐츠 에 직접 연결됩니다.
• 권한 은 하이퍼링크 분석 에 직접 연결됩니다.
• 신뢰 는 페이지 콘텐츠와 하이퍼링크 분석, 그리고 최종 사용자 액세스 데이터 의 조합에서 비롯됩니다.

세 가지 데이터 마이닝 측면은 모두 메타 검색(또는 연합 검색) 방식으로 결합되어 최종 사용자의 정보 요구 사항을 충족할 수 있는 가장 권위 있는 페이지를 제공해야 합니다. 효과적으로, 이는 일련의 수렴된 알고리즘 순위 메커니즘을 상호 강화하는 것입니다.

세계 최대 컴퓨팅 학회인 Association for Computing Machinery의 오랜 전문 회원으로서 저는 SIGIR(정보 검색을 위한 특별 이익 그룹)에 속해 있는 것이 자랑스럽습니다. 그 그룹 내에서 제가 주로 집중하는 분야는 하이퍼링크 분석과 검색 엔진 순위의 과학입니다.

저에게 이것은 IR 및 SEO에서 가장 매력적인 영역입니다. 지난 몇 년 동안 많은 컨퍼런스에서 다음과 같이 말했습니다. “모든 링크가 동일한 것은 아닙니다. 일부는 다른 것보다 훨씬 더 평등합니다.”

그리고 그것은 동료 SEO Bravehearts를 위한 다음 장대한 읽기를 위한 좋은 출발점입니다.

텍스트 기반 순위 기술에서 하이퍼링크 기반 순위 알고리즘으로의 진화

링크가 Google뿐만 아니라 모든 검색 엔진에 필수적인 근본적인 이유를 빠르게 살펴보겠습니다.

첫째, 소셜 네트워크 분석은 독특한 역사를 가지고 있습니다. 지난 20년 동안 네트워크 및 네트워크 이론에 대한 과학계의 관심과 매혹이 크게 발전했습니다. 기본 개요로서 이것은 단순히 사물 집합 간의 상호 연결 패턴을 의미합니다.

소셜 네트워크는 Meta와 같은 회사에서 새로운 현상이 아닙니다. 친구 사이의 사회적 유대는 수년 동안 널리 연구되어 왔습니다. 경제 네트워크, 제조 네트워크, 미디어 네트워크 및 훨씬 더 많은 네트워크가 존재합니다.

과학계 밖에서 매우 유명해진 이 분야의 한 실험은 "6단계 분리"로 알려져 있습니다.

웹은 네트워크의 네트워크입니다. 그리고 1998년 웹의 하이퍼링크 구조는 Jon Kleinberg라는 젊은 과학자(현재 세계 최고의 컴퓨터 과학자 중 한 명으로 인정받고 있음)와 Google Larry Page와 Sergey Brin을 포함한 스탠포드 대학의 두 학생에게 큰 관심을 받았습니다. . 그 해에 세 회사는 가장 영향력 있는 하이퍼링크 분석 순위 알고리즘인 HITS(또는 "하이퍼링크 유도 주제 검색")와 PageRank를 생산했습니다.

분명히 말해서, 웹은 하나의 링크 또는 다른 링크보다 선호도가 없습니다. 링크는 링크입니다.

그러나 1998년 초기 SEO 산업에 종사하는 사람들에게는 페이지와 브린이 호주에서 열린 회의에서 발표한 논문에서 다음과 같이 진술했을 때 그 관점이 완전히 바뀌었습니다.

"직관적으로 웹의 여러 곳에서 잘 인용된 페이지는 볼 가치가 있습니다."

그리고 나서 그들은 내가 "모든 링크가 동일한 것은 아니다"라고 강조한 사실을 뒷받침하는 초기 단서를 제공했습니다.

"또한 야후 홈페이지와 같은 곳에서 한 번만 인용한 페이지도 일반적으로 살펴볼 가치가 있습니다."

그 마지막 말은 저에게 큰 감동을 주었고, 실무자로서 수년에 걸쳐 매력 기술과 관행을 연결하는 보다 우아한 접근 방식을 개발하는 데 계속 집중하게 되었습니다.

이 기사의 결론에서 저는 제 접근 방식(매우 성공적)에 대해 설명할 것입니다. 이 접근 방식은 개념적으로 "링크 구축"이라고 하는 것에 대해 생각하는 방식을 변경하고 이를 " 평판 구축.”

검색에서 '권한'의 기원

SEO 커뮤니티에서 "권한"이라는 단어는 Google을 말할 때 자주 사용됩니다. 그러나 그것은 용어가 시작된 곳이 아닙니다(나중에 자세히 설명).

구글 창업자들이 호주에서 열린 컨퍼런스에서 발표한 논문에서 주목해야 할 점은 하이퍼링크 분석 알고리즘을 이야기하면서도 '링크'라는 단어를 사용하지 않고 '인용'이라는 단어를 사용한 점이다. PageRank는 인용 분석을 기반으로 하기 때문입니다.

느슨하게 설명하면 문서(한 문서에서 다른 문서로의 링크라고도 함)의 인용 빈도, 패턴 및 그래프에 대한 분석입니다. 일반적인 목표는 컬렉션에서 가장 중요한 문서를 식별하는 것입니다.

인용 분석의 가장 초기 사례는 가장 권위 있는 출처를 찾기 위해 과학 논문 네트워크를 조사한 것입니다. 그것의 가장 중요한 과학은 내가 이미 언급한 것처럼 소셜 네트워크 분석 및 네트워크 이론 범주에 맞는 "참고문헌"으로 알려져 있습니다.

다음은 Google이 웹 연결 데이터를 어떻게 보았는지 보여주기 위해 20년 전에 가장 간단한 방법으로 변환한 것입니다.

“웹 페이지의 일부 링크는 단순히 사이트를 '찾아보기'하기 위한 탐색 보조 도구입니다. 다른 링크는 다른 페이지에 대한 액세스를 제공하여 이를 포함하는 페이지의 콘텐츠를 보강할 수 있습니다. Andrei Broder[최고 과학자 Alta Vista]는 웹 페이지 작성자가 관련성 또는 중요성 때문에 한 페이지에서 다른 페이지로 링크를 생성할 가능성이 높다고 지적했습니다. 많은 정보. 대부분의 사람들이 일반적으로 좋은 리소스를 나열하기 때문에 '이 페이지가 좋다고 생각합니다'라고 말합니다. 극소수의 사람들은 '이건 내가 본 것 중 최악의 페이지야'라고 말하고 자신의 페이지에 링크를 걸어놓을 것입니다!

훌륭하고 명확하며 간결한 정보가 포함된 고품질 페이지에는 해당 페이지를 가리키는 많은 링크가 있을 가능성이 높습니다. 반면 품질이 낮은 페이지에는 링크가 적거나 전혀 없습니다. 하이퍼링크 분석은 검색 결과의 관련성을 크게 향상시킬 수 있습니다. 모든 주요 검색 엔진은 이제 일종의 링크 분석 알고리즘을 사용합니다.”

“기존의 서지학에서 사용되는 인용/동시 인용 원리를 사용하여 하이퍼링크 분석 알고리즘은 다음 기본 가정 중 하나 또는 둘 다를 만들 수 있습니다.
• 'a' 페이지에서 'b' 페이지로 연결되는 하이퍼링크는 'a' 페이지 작성자가 'b' 페이지를 추천한 것입니다.
• 'a' 페이지와 'b' 페이지가 하이퍼링크로 연결되어 있으면 동일한 주제에 있을 수 있습니다.

하이퍼링크 기반 알고리즘은 또한 무방향 동시 인용 그래프를 사용합니다. A와 B를 모두 연결하는 세 번째 페이지 C가 있는 경우에만 A와 B는 방향 없는 가장자리로 연결됩니다.”

그 두 번째 부분은 책에서 그것에 대해 훨씬 더 긴 설명을 했습니다. 하지만 조금 혼란스럽기 때문에 여기에서는 정말 간단한 것을 알려드리겠습니다.

인용과 동시 인용의 장점을 이해하는 것이 중요합니다.

첫 번째 그림에는 하이퍼링크를 사용하여 다른 페이지에 연결하는 직접 링크가 있습니다. 그러나 'c' 페이지가 'a'와 'b'에 연결되고 'd' 페이지가 'a'와 'b'에 연결되고 나서 'e' 페이지에 연결되는 식이라면 다음과 같이 가정할 수 있습니다. 페이지 'a'와 페이지 'b'가 서로 직접 하이퍼링크되지는 않지만 여러 번 동시 인용되기 때문에 그들 사이에 약간의 연결이 있어야 합니다.

그 실제 사례는 무엇입니까?

글쎄, 시작하는 목록. "톱 10" 베스트셀러 노트북, "톱 10" 스포츠 인물 또는 록 스타가 있는 페이지에서 동시 인용이 이러한 유형의 페이지에서 얼마나 큰 요소인지 알 수 있습니다.

그렇다면 한 번도 들어본 적이 없는 이 HITS 알고리즘은 어디에서 작동합니까?

PageRank 알고리즘을 작업하는 동안 Page와 Brin은 동시에 가장 빠르게 성장하는 Alta Vista를 포함하여 당시 최고의 검색 엔진에서 Kleinberg가 결과를 분석하고 있었다는 이야기가 있습니다. 그는 그것들이 모두 매우 열악하고 쿼리와 얼마나 관련이 있는지 면에서 매우 빈약한 결과를 산출했다고 생각했습니다.

그는 "일본 자동차 제조업체"라는 용어를 검색했고 Toyota 및 Nissan과 같은 주요 이름이 결과의 어디에도 나타나지 않는다는 사실에 매우 놀랐습니다.

그는 주요 제조업체의 웹사이트를 방문한 후 이들 모두의 공통점 한 가지를 발견했습니다. 사이트 페이지의 텍스트에 "일본 자동차 제조업체"라는 단어가 있는 회사는 하나도 없다는 것입니다.

실제로 그는 "검색 엔진"이라는 용어를 검색했는데 Alta Vista조차도 같은 이유로 자체 결과에 나타나지 않았습니다. 이로 인해 그는 웹 페이지가 주어진 쿼리와 얼마나 관련성 있고 중요한지에 대한 단서를 제공하기 위해 웹 페이지의 연결성에 초점을 맞추고 시작했습니다.

그래서 그는 Alta Vista에서 키워드 검색 후 상위 1,000개 이상의 페이지를 가져온 다음 상호 연결성에 따라 순위를 매기는 HITS 알고리즘을 개발했습니다.

효과적으로 그는 링크 구조를 사용하여 키워드 주제를 중심으로 네트워크 또는 "커뮤니티"를 형성하고 해당 네트워크 내에서 자신이 "허브 및 당국"이라고 명명한 것을 식별했습니다.

그것이 "권한"이라는 단어가 SEO 사전에 등장한 곳입니다. Kleinberg의 논문 제목은 "하이퍼링크 환경의 권위 있는 출처"였습니다.

"허브" 페이지는 주어진 주제에 대한 "당국"으로 연결되는 많은 링크가 있는 페이지입니다. 주어진 권한에 연결하는 허브가 많을수록 더 많은 권한을 갖게 됩니다. 이것은 또한 서로를 강화합니다. 좋은 허브는 또한 좋은 권위가 될 수 있으며 그 반대의 경우도 마찬가지입니다.

여느 때와 같이 몇 년 전만 해도 내 그래픽 제작 기술에 대한 상이 없었지만 2002년에 시각화한 방법입니다. 허브(빨간색)는 웹 커뮤니티 내부의 많은 "권한"(파란색)으로 연결되는 것입니다.

그렇다면 "웹 커뮤니티"는 무엇입니까?

웹 페이지 데이터 커뮤니티는 자체 논리 및 의미 구조를 가진 웹 페이지 집합을 나타냅니다.

웹 페이지 커뮤니티는 웹 페이지를 정보 조각으로 나누기보다 각 웹 페이지를 전체 개체로 간주하고 해당 웹 데이터 간의 상호 관계를 드러냅니다.

역학 및 이질성과 같은 웹 데이터 특성을 유연하게 반영합니다. 다음 그래픽에서 각 색상은 웹상의 다른 커뮤니티를 나타냅니다.

나는 항상 자신의 웹 커뮤니티 내에서 끌어온 링크가 커뮤니티 외부의 링크보다 더 많은 명성을 가지고 있다고 주장해 왔습니다.

나는 20년 전에 이런 방식으로 커뮤니티를 식별하는 것의 중요성에 대해 더 자세히 설명했습니다.

"그리고 링크 데이터의 경우: 다른 페이지를 가리키는(링크) 페이지는 구조, 커뮤니티 및 계층 구조(대체로 웹의 "토폴로지"라고 함)에 대한 방대한 양의 정보를 제공할 수 있습니다. 이 방법론을 사용하여 검색 엔진은 웹의 지적 구조(토폴로지)와 소셜 네트워크(커뮤니티)를 식별하려고 시도할 수 있습니다. 그러나 수십억 건의 인용(하이퍼링크)이 있는 수억 개의 문서를 처리하기 위해 인용 및 동시 인용 분석 방법을 사용하여 확장하는 데는 많은 문제가 있습니다.
"사이버스페이스"(웹에서와 같이)에는 이미 커뮤니티와 이웃이 있습니다. OK – 어디에 살고 누구와 어울리는지 면에서 덜 현실적입니다. 그러나 웹에는 "사회학"이 있습니다. 다양한 문화와 다른 배경(및 시간대)의 음악 애호가들은 같은 지리적 이웃에 살지 않지만 웹에서 서로 연결될 때 그들은 매우 큰 커뮤니티입니다. 웹에 정보를 게시하고 이러한 커뮤니티를 형성하거나 "사이버 공간"에서 "이웃을 연결"하는 예술 애호가 및 각계각층의 사람들과 동일합니다.

PageRank 대 HITS: 차이점은 무엇입니까?

PageRank와 HITS 알고리즘은 순위 메커니즘을 생성하기 위해 웹 페이지의 상호 연결성을 분석하는 방식에서 많은 유사점이 있습니다.

그러나 중요한 차이점도 있습니다.

PageRank는 키워드 독립적 순위 알고리즘인 반면 HITS는 키워드 종속적입니다.

PageRank를 사용하면 원래 정적 글로벌 점수였으므로 커뮤니티에 관계없이 권위 점수를 얻을 수 있습니다.

HITS는 키워드에 따라 달라지므로 커뮤니티를 하나로 묶는 키워드/구문을 중심으로 권위 점수가 만들어집니다. 너무 오래 걸리고 이 기사의 범위를 넘어서서 자세히 설명하기 때문에 여기에서 너무 깊이 들어가지 않겠습니다.

'전문가'라는 용어를 도입한 알고리즘

이 Hilltop 알고리즘은 매우 중요하지만 관심을 가장 적게 받습니다. 전문가 집단에서는 악명 높은 플로리다 업데이트가 발생한 2003년에 Google의 알고리즘 프로세스에 통합되었다는 강한 믿음이 있기 때문입니다.

진정한 게임 체인저인 Hilltop 알고리즘은 HITS의 훨씬 더 가까운 파생물이며 Krishna Bharat가 1999년에 개발했습니다(예, 거의 같은 시기에).

당시 그는 AltaVista 검색 엔진의 소유자인 DEC Systems Research Center에서 근무하고 있었습니다. 그의 연구 논문 제목은 "전문가가 동의할 때: 비계열 전문가를 사용하여 인기 있는 주제 순위 지정"입니다. 그리고 이것이 그가 Hilltop을 묘사한 방법입니다.

"우리는 인기 있는 주제에 대해 가장 권위 있는 페이지를 순위의 맨 위에 배치하는 새로운 순위 체계를 제안합니다. 우리 알고리즘은 "전문가 문서"의 특수 색인에서 작동합니다. 이들은 WWW 페이지의 하위 집합입니다. 특정 주제에 대한 비 관련 소스에 대한 링크 디렉토리로 식별됩니다. 결과는 주어진 결과 페이지를 가리키는 전문가 페이지의 하이퍼링크에 대한 관련 설명 텍스트와 쿼리 간의 일치를 기반으로 순위가 매겨집니다."

네, 여기에서 "전문가"라는 용어가 SEO 사전에 등장했습니다. 다른 사람이 해당 페이지에 링크할 때 귀하의 페이지가 전문가 페이지로 간주되는 프로세스에 대한 설명과 논문 제목에 주목하십시오. 따라서 "전문가"와 "권한"이라는 용어는 같은 의미로 사용할 수 있습니다.

주의 깊게 주목해야 할 또 다른 사항은 알고리즘 설명에서 "비계열"이라는 용어를 사용하는 것입니다. 그것은 왜 많은 제휴 마케팅 담당자가 플로리다 업데이트로 큰 타격을 입었는지에 대한 단서를 제공할 수 있습니다.

주목해야 할 또 다른 중요한 사실은 SEO 커뮤니티에서 사람들이 종종 "권한 기관 사이트"(또는 가끔은 사물이 아닌 "도메인 기관")를 참조한다는 것입니다. 그러나 사실은 검색 엔진이 웹 사이트가 아니라 쿼리에 따라 결과에 웹 페이지를 반환한다는 것입니다.

다른 "전문가" 페이지에서 더 많은 링크를 유치할수록 더 많은 권한을 얻게 되며 링크를 통해 다른 전문가 페이지에 더 많은 "명성"을 추가할 수 있습니다. 이것은 단순히 링크 수집기가 아니라 커뮤니티 내에서 "평판"을 구축하는 것의 아름다움입니다.

지난 20년 동안 그랬듯이 웹 커뮤니티 내에서 전문가로 인정받는 것의 중요성을 설명할 때마다 사람들은 때때로 그것이 어떤 모습일지 시각화하는 데 어려움을 겪는다는 것을 압니다.

다행스럽게도 몇 년 전의 연구 작업에서 두 ​​명의 일본 과학자인 Masashi Toyoda와 Kentaro Fukuchi가 개발한 또 다른 알고리즘을 발견했습니다. 그들의 접근 방식도 웹 커뮤니티였지만 결과를 시각적으로 출력할 수 있었습니다.

내가 취한 예는 컴퓨터 제조업체를 중심으로 웹 커뮤니티를 구축할 때 사용한 것입니다. 다음은 모든 사람들이 이 개념에 대해 보다 확실한 아이디어를 얻을 수 있도록 돕기 위해 회의 세션에서 사용하기 위해 가져온 결과물의 작은 부분입니다.

웹 커뮤니티에 컴퓨터 제조업체뿐만 아니라 장치 제조업체, 케이블 제조업체, 소프트웨어 제조업체 등이 포함된다는 점에 유의하세요. 이는 웹 커뮤니티가 얼마나 넓고 깊을 수 있는지(협소하고 얕을 수 있음) 나타냅니다.

'신뢰'는 어떻게 생겨났나

"전문성"과 "권위성", 그리고 "신뢰"에도 많은 것이 들어갑니다.

"신뢰"도 하이퍼링크 분석과 웹 구조의 영역에 속합니다. 스팸을 발견하고 제거하는 것으로 신뢰할 수 있는 "전문가 페이지"의 콘텐츠와 연결을 사용하기 위해 많은 작업이 진행되었습니다. AI 및 ML 기술을 사용하면 이러한 연결 패턴을 훨씬 쉽게 찾아 제거할 수 있습니다.

예전에 "TrustRank"라고 알려진 알고리즘이 개발되었으며 이것이 기반이 되었습니다. 물론 "신뢰"에 대한 산성 테스트는 실제로 최종 사용자와 함께 발생합니다.

검색 엔진은 스팸을 제거하고 사용자의 정보 요구 사항을 진정으로 만족시키는 결과를 제공하기 위해 노력합니다. 따라서 페이지에 대한 사용자 액세스 패턴은 웹 커뮤니티 테스트(연결성)를 통과한 페이지와 최종 사용자 테스트(사용자 액세스 데이터)를 통과한 페이지에 대한 엄청난 양의 데이터를 제공합니다.

내가 언급했듯이 다른 웹 페이지에서 귀하의 페이지로 연결되는 링크는 귀하의 콘텐츠에 대한 "투표"로 볼 수 있습니다. 그러나 링크를 제공하는 웹 페이지가 없는 수백만 명의 최종 사용자는 어떻게 됩니까? 어떻게 투표할 수 있습니까?

그들은 특정 결과를 클릭하거나 다른 결과를 클릭하지 않음으로써 "신뢰"로 이를 수행합니다.

최종 사용자가 귀하의 콘텐츠를 소비하고 있는지 여부에 관한 모든 것입니다. 그렇지 않은 경우 Google에서 쿼리 후 결과에서 이를 반환하는 의미가 무엇입니까?

검색에서 '전문가', '권한' 및 '신뢰'의 의미

요약하면 자신의 페이지에서 자신을 전문가라고 선언할 수 없습니다.

당신은 특정 분야의 전문가나 권위자, 또는 세계를 선도하는 이것 저것을 "주장"할 수 있습니다.

그러나 철학적으로 Google 및 기타 검색 엔진은 "누가 그렇게 생각합니까?"라고 말합니다.

그것은 당신이 당신 자신에 대해 말하는 것이 아닙니다. 그것은 다른 사람들이 당신에 대해 말하는 것입니다(링크 앵커 텍스트). 이것이 커뮤니티에서 "평판"을 구축하는 방법입니다.

또한 Google의 품질 평가자는 귀하의 콘텐츠가 "전문가"인지 또는 귀하가 "당국"인지 여부를 스스로 결정하지 않습니다. 그들의 임무는 구글의 알고리즘이 제 역할을 하고 있는지 조사하고 결정하는 것입니다.

이것은 너무나 매력적인 주제이고 다룰 것이 훨씬 더 많습니다. 하지만 지금은 시간과 공간이 부족합니다.

다음 시간에는 구조화된 데이터가 얼마나 중요한지 그리고 웹 커뮤니티 내에서 "의미적으로" 연결되는 것이 얼마나 중요한지 설명하겠습니다.

그때까지 검색 엔진의 내부 작동에 대한 다음 장대한 기대와 함께 또 다른 계절로 접어들면서 황금빛 가을을 즐기십시오.

이 기사에 표현된 의견은 게스트 작성자의 의견이며 반드시 Search Engine Land가 아닙니다. 직원 저자가 여기에 나열됩니다.