Google Search Console-Daten und BigQuery für erweiterte Analysen

Die Google Search Console ist ein großartiges Tool für SEO-Profis.

Aber wie viele von uns wissen, bringt die ausschließliche Nutzung der Schnittstelle einige Einschränkungen mit sich.

In der Vergangenheit waren oft spezifische Kenntnisse oder die Hilfe eines Entwicklers erforderlich, um einige dieser Probleme zu lösen, indem die Daten direkt aus der API abgerufen wurden.

Google begann etwa 2018, eine native Google Search Console (GSC) für den damaligen Google Data Studio-Connector (jetzt Looker Studio) anzubieten.

Durch diese Integration können Benutzer Daten direkt von GSC in Looker Studio (Google Data Studio) übertragen, um anpassbare Berichte und Dashboards zu erstellen, ohne Konnektoren von Drittanbietern oder zusätzliche API-Konfigurationen zu benötigen.

Doch dann, im Februar 2023, wurde es interessant.

Google ermöglicht Ihnen jetzt die Einrichtung eines automatisierten, integrierten Massendatenexports nach BigQuery, der Data Warehouse-Speicherlösung von Google.

Lassen Sie uns kurz ehrlich sein: Die meisten von uns verlassen sich bei vielen unserer Aktivitäten immer noch auf die GSC-Schnittstelle.

In diesem Artikel erfahren Sie, warum der Massendatenexport nach BigQuery eine große Sache ist.

Seien Sie gewarnt: Dies ist kein Allheilmittel, das alle Einschränkungen löst, mit denen wir als SEO-Profis konfrontiert sind. Aber es ist ein großartiges Werkzeug, wenn Sie wissen, wie man es einrichtet und richtig verwendet.

Befreien Sie sich von Datenbeschränkungen mit BigQuery-Massenexporten

Ursprünglich war der Massendatenexport für Websites gedacht, die Zugriffe auf Zehntausende Seiten und/oder Zehntausende Suchanfragen erhielten.

Datenmengen

Derzeit stehen Ihnen über den BigQuery-Massendatenexport hinaus drei Datenexportoptionen zur Verfügung:

• Die meisten Berichte in GSC ermöglichen den Export von bis zu 1.000 Zeilen.
• Über eine Looker Studio-Integration können Sie bis zu 50.000 Zeilen abrufen.
• Mit der API erhalten Sie bis zu 50.000 Zeilen, sodass Sie über die Leistungsdaten hinaus noch einige weitere Elemente abrufen können: URL-Inspektion, Sitemaps und Website-Daten.

Daniel Waisberg, Search Advocate bei Google, erklärt es so:

„Der leistungsstärkste Weg, Leistungsdaten zu exportieren, ist der Massendatenexport, bei dem man die größte Datenmenge erhalten kann.“

Bei Verwendung des BigQuery-Massenexports gibt es keine Zeilenbeschränkungen.

Mit dem Massendatenexport von BigQuery können Sie alle in Ihrem GSC-Konto verfügbaren Datenzeilen abrufen.

Dadurch eignet sich BigQuery deutlich besser für große Websites oder SEO-Analysen, die einen vollständigen Datensatz erfordern.

Vorratsdatenspeicherung

Google BigQuery ermöglicht eine unbegrenzte Datenaufbewahrung, sodass SEO-Profis historische Trendanalysen durchführen können, die nicht durch die 16-monatige Datenspeicherbeschränkung in der Google Search Console eingeschränkt sind.

Looker Studio und die API bieten diese Funktion nicht grundsätzlich an. Dies bedeutet, dass Sie tatsächlich in der Lage sind, Entwicklungen über mehrere Jahre hinweg zu erkennen und Fortschritte besser zu verstehen und zu analysieren.

Als Speicherlösung ermöglicht Ihnen BigQuery, Ihre Daten so lange zu speichern, wie Sie möchten, und diese Einschränkung zu überwinden.

Die Möglichkeit, unbegrenzt historische Daten aufzubewahren und darauf zuzugreifen, ist für SEO-Experten aus mehreren Gründen von entscheidender Bedeutung:

• Umfassende Langzeitanalyse: Durch die unbegrenzte Datenspeicherung können SEO-Analysten Trendanalysen über längere Zeiträume durchführen. Das sind großartige Neuigkeiten für diejenigen von uns, die eine genauere Einschätzung der langfristigen Leistung unserer SEO-Strategien wünschen.
• Saisonale und ereignisgesteuerte Trends: Wenn auf Ihrer Website saisonale Schwankungen oder Ereignisse auftreten, die zu periodischen Traffic-Spitzen führen, liefert die Möglichkeit, auf längere historische Daten zurückzublicken, unschätzbare Erkenntnisse.
• Maßgeschneiderte Berichterstattung: Wenn alle Ihre Daten in BigQuery gespeichert sind, ist es einfacher, benutzerdefinierte Berichte zu erstellen, die auf spezifische Anforderungen zugeschnitten sind. Sie können einen Bericht erstellen, um praktisch jede Frage zu beantworten.
• Verbesserte Fehlerbehebung: Die Möglichkeit, die Leistung im Zeitverlauf zu verfolgen, erleichtert die Identifizierung von Problemen, das Verständnis ihrer Grundursachen und die Implementierung wirksamer Korrekturen.
• Anpassungsfähigkeit: Unbegrenzte Datenaufbewahrung gibt Ihnen die Flexibilität, Ihre SEO-Strategien anzupassen und gleichzeitig eine umfassende historische Perspektive für den Kontext beizubehalten.

Datenvorbehalte

Wie bei den meisten Datenverfolgungstools werden Sie nicht überrascht sein, dass es keine Rückwirkung gibt.

Beachten Sie, dass der GSC-Massendatenexport erst nach der Einrichtung täglich Daten an BigQuery sendet. Das bedeutet, dass Sie die Daten vorher nicht speichern und nicht darauf zugreifen können.

Es handelt sich um ein „von diesem Punkt an“-System, was bedeutet, dass Sie im Voraus planen müssen, wenn Sie später historische Daten nutzen möchten. Und selbst wenn Sie im Voraus planen, beginnen die Datenexporte bis zu 48 Stunden später.

Während der Massendatenexport wichtige Kennzahlen wie Website- und URL-Leistungsdaten umfasst, werden nicht alle Datentypen exportiert.

Beispielsweise sind Abdeckungsberichte und andere in GSC verfügbare Spezialberichte nicht Teil dessen, was an BigQuery gesendet wird.

Es werden zwei Primärtabellen generiert: searchdata_site_impression und searchdata_url_impression. Ersteres aggregiert Daten nach Eigenschaft. Wenn also zwei Seiten für dieselbe Suchanfrage angezeigt werden, zählt dies als eine Impression.

Die letztere Tabelle enthält nach URL aggregierte Daten und bietet so eine detailliertere Ansicht. Im Klartext: Wenn Sie den Massendatenexport der Google Search Console nach BigQuery verwenden, werden zwei Haupttabellen erstellt:

• searchdata_site_impression: Diese Tabelle gibt Ihnen einen Überblick darüber, wie Ihre gesamte Website in der Google-Suche abschneidet. Wenn beispielsweise jemand nach „Bestes Dackelkostüm“ sucht und zwei Seiten Ihrer Website in den Ergebnissen erscheinen, zählt diese Tabelle dies als eine „Impression“ (oder eine Ansicht) für Ihre gesamte Website und nicht als zwei separate Ansichten für jede Seite.
• searchdata_url_impression: Diese Tabelle ist detaillierter und konzentriert sich auf einzelne Webseiten. Um das gleiche Beispiel für das „beste Dackelkostüm“ zu verwenden: Wenn zwei Seiten Ihrer Website in den Suchergebnissen angezeigt werden, zählt diese Tabelle dies als zwei separate Impressionen, eine für jede angezeigte Seite.

Ein weiteres wichtiges Element ist, dass es sich um partitionierte Datentabellen handelt. Die Daten in BigQuery werden basierend auf Datumsangaben in Partitionstabellen organisiert.

Die Daten werden jeden Tag aktualisiert, und es ist wichtig, dies bei der Formulierung Ihrer Abfragen zu berücksichtigen, insbesondere wenn Sie Ihre Abläufe effizient halten möchten.

Wenn Ihnen das noch nicht ganz klar ist, denken Sie daran, dass die Daten täglich eingehen und dass sie einen Einfluss darauf haben, wie Sie bei der Datenanalyse vorgehen.

Warum das einrichten?

Das Einrichten von BigQuery-Massenexporten bietet Vorteile:

GSC-Daten mit anderen Datenquellen verbinden

Wenn Sie die Google Search Console in einem Data Warehouse bereitstellen, können Sie die Vorteile der Verknüpfung mit anderen Datenquellen nutzen (entweder direkt in BigQuery oder in Ihrem eigenen Data Warehouse).

Sie könnten beispielsweise Daten aus GSC und Google Analytics 4 kombinieren und so aufschlussreichere Informationen zu Conversions und Verhaltensweisen erhalten, die durch organischen Google-Traffic ausgelöst werden.

Führen Sie komplexe Berechnungen/Operationen mit SQL aus

Mit einer Lösung wie BigQuery können Sie Ihre Daten abfragen, um komplexe Berechnungen und Vorgänge auszuführen, die Ihre Analyse vertiefen.

Mithilfe von SQL können Sie Ihre eigenen Formeln segmentieren, filtern und ausführen.

Anonymisierte Abfragen

BigQuery geht mit anonymisierten Abfragen anders um als andere ETL-Anbieter, die über die API auf die Daten zugreifen.

Es aggregiert alle Metriken für die anonymisierten Abfragen pro Website/URL und Tag.

Es werden nicht nur die Zeilen weggelassen, was Analysten hilft, vollständige Summen von Impressionen und Klicks zu erhalten, wenn Sie die Daten aggregieren.

Was ist der Haken?

Leider ist kein Tool und keine Lösung perfekt. Diese neue integrierte Integration weist einige Nachteile auf. Hier sind die wichtigsten:

Es bedeutet, Fachwissen zu entwickeln, das über SEO hinausgeht

Sie sollten sich zusätzlich zu Ihren GSC-Kenntnissen mit der Google Cloud Platform, BigQuery und SQL vertraut machen.

Um einen Massendatenexport zu starten, müssen Aufgaben in GSC, aber auch in Google Cloud ausgeführt werden.

Eine SQL-basierte Plattform, die spezifisches Fachwissen erfordert

Mit BigQuery benötigen Sie SQL, um auf Ihre Daten zuzugreifen und sie optimal zu nutzen.

Sie müssen daher SQL-Abfragen durchführen oder jemanden intern damit beauftragen, dies für Sie zu erledigen.

Die Plattform hat auch ihre eigene Funktionsweise.

Um es effizient nutzen zu können, muss man wissen, wie man es nutzt, was Zeit und Erfahrung erfordert.

Obwohl Looker Studio eine SQL-ähnliche Datenbearbeitung ermöglicht, bietet es für komplexe Analysen möglicherweise nicht die volle Leistungsfähigkeit und Flexibilität von SQL.

Um ähnliche Ergebnisse zu erzielen, müssten API-Daten weiter verarbeitet werden.

URL-Impressionen enthalten mehr anonymisierte Abfragen

„Eine Sache, die man beachten sollte, ist der Unterschied im anonymisierten Abfragevolumen zwischen den searchdata_url_impression Tisch und die searchdata_site_impression Tisch.

Wie bei der GSC-Schnittstelle könnten einige Abfragen nach bestimmten URLs in bestimmten Ländern so selten sein, dass sie möglicherweise den Suchenden identifizieren könnten.

Dadurch wird in Ihrem Browser ein größerer Anteil anonymisierter Suchanfragen angezeigt searchdata_url_impression Tisch als in Ihrem searchdata_site_impression table.“ Quelle: Trevor Fox.

Mögliche Kosten

Auch wenn diese Funktion zunächst kostenlos ist, wird dies möglicherweise nicht für immer der Fall sein.

Die Abrechnung von BigQuery basiert auf der in einem Projekt gespeicherten Datenmenge und den von Ihnen ausgeführten Abfragen.

Die Lösung verfügt über Schwellenwerte, ab denen Sie möglicherweise jeden Monat mit der Zahlung beginnen.

Mit der Zeit könnte es dann kostspielig werden – aber es hängt alles von der Menge der exportierten Daten ab (Websites mit vielen Seiten und Abfragen werden in dieser Hinsicht wahrscheinlich umfangreicher sein) und von den Abfragen, die Sie ausführen, um auf die Daten zuzugreifen und sie zu bearbeiten.

So erhalten Sie Ihre GSC-Daten in BigQuery

1. Erstellen Sie ein Google Cloud-Projekt mit aktivierter BigQuery und Abrechnung

Der erste Schritt besteht darin, ein Projekt in Google Cloud mit aktivierter BigQuery und Abrechnung zu erstellen.

Greifen Sie auf die Konsole zu. Klicken Sie oben links auf das Projekt, in dem Sie sich gerade befinden (oder Wählen Sie ein Projekt aus Wenn Sie keines haben), wird ein Popup geöffnet.

Klicke auf NEUES PROJEKT und befolgen Sie die Schritte. Seien Sie vorsichtig, wenn Sie die Region auswählen, da Sie dieselbe Region auswählen müssen, wenn Sie den Massenexport im GSC einrichten.

Über diesen Teil wird nicht sehr oft gesprochen. Wenn Sie zwei Datensätze wie GSC- und GA4-Daten abfragen möchten, müssen sich diese in derselben Region befinden.

„Für einige Gebiete wie Europa und Nordamerika können Sie Abfragen über die gesamte kontinentale Region durchführen, an Orten wie Australien können Sie jedoch keine Abfragen über Melbourne und Sydney hinweg durchführen.

Beide Datensätze müssen sich genau am selben Ort befinden.“

Sarah Crooke, BigQuery-Beraterin bei Melorium, Australien, sagte:

Sobald das Projekt erstellt ist, gehen Sie zum Abschnitt „Abrechnung“. Verwenden Sie die Suchleiste oben, um es zu finden. Ohne die Suchleiste verfügt Google Cloud nicht über die benutzerfreundlichste Oberfläche.

Sie müssen ein Rechnungskonto erstellen. Bevor Sie fortfahren: Nehmen Sie sich Zeit und prüfen Sie, ob Sie nicht bereits über ein Rechnungskonto verfügen, das von jemand anderem im Unternehmen eingerichtet wurde.

Sobald dies erledigt ist, können Sie das Rechnungskonto Ihrem Projekt zuweisen. Um den Massenexport einzurichten, benötigen Sie ein Rechnungskonto.

Bitte befolgen Sie dazu die Anweisungen in der Google Cloud-Dokumentation.

Dann müssen Sie zum Abschnitt „APIs & Dienste“ gehen (auch hier können Sie die Suchleiste verwenden, um ihn zu finden).

Suchen Sie nach der BigQuery-API. Aktivieren Sie es für das von Ihnen erstellte Projekt.

Noch ein Schritt: Sie müssen einen Benutzer hinzufügen. Dadurch kann die Google Search Console die Daten in BigQuery ausgeben. Hier ist die offizielle Dokumentation dazu.

Lassen Sie es uns kurz aufschlüsseln:

• Navigieren Sie in der Seitenleiste zu IAM und Admin. Auf der Seite sollte „Berechtigungen für das Projekt“ stehen .
• Klicken ZUGRIFF GEWÄHREN.
• Es öffnet sich ein Bereich mit „Prinzipale hinzufügen“.
• Geben Sie in „Neue Prinzipale“ search-console-data-export@system.gserviceaccount.com ein
• Wählen Sie zwei Rollen aus: BigQuery-Jobbenutzer und BigQuery-Dateneditor. Sie können die Suchleiste verwenden, um sie zu finden.
• Speichern.

Wählen Sie abschließend Ihr Projekt aus und kopieren Sie die damit verbundene Cloud-Projekt-ID.

Sie sind in Google Cloud fertig!

2. Richten Sie den Massendatenexport im GS ein C Eigentum Ihrer Wahl

Sobald der Google Cloud-Teil abgeschlossen ist, müssen Sie den Massendatenexport in Ihr neues Google Cloud-Projekt direkt in der Google Search Console aktivieren.

Gehen Sie dazu zum Abschnitt „Einstellungen“ der Immobilie, von der Sie Daten exportieren möchten, und klicken Sie auf Massendatenexport.

Fügen Sie die Cloud-Projekt-ID des zuvor erstellten Projekts ein. Sie können auch den Namen des Datensatzes anpassen, den das GSC in Ihrem Projekt erstellt (standardmäßig lautet er „searchconsole“).

Wählen Sie abschließend denselben Datensatzspeicherort aus, den Sie auch für Ihr Google Cloud-Projekt verwendet haben.

Sobald Sie fertig sind, klicken Sie auf Weitermachen. Das GSC teilt Ihnen mit, ob diese Ersteinrichtung funktioniert oder nicht. Der Datensatz wird auch in Ihrem Projekt erstellt.

Der Datenexport beginnt bis zu 48 Stunden später.

Sie sind täglich und beinhalten die Daten für den Tag der Einrichtung. Während die API so eingestellt werden kann, dass sie geplante Pulls durchführt, erfordert dies häufig zusätzliche Programmierung.

Aus diesem Grund funktioniert der Massendatenexport für viele große Websites.

Beachten Sie, dass beim GSC nach dieser Ersteinrichtung Probleme beim Datenexport auftreten können. In diesem Fall sollte der Export am nächsten Tag erneut versucht werden.

Wir empfehlen Ihnen, in den ersten Tagen Ihre Daten abzufragen, um zu prüfen, ob diese ordnungsgemäß gespeichert werden.

Also, wie geht es weiter?

Sie können jetzt mit der Datenabfrage beginnen! Hier sind einige Dinge, die Sie analysieren können, die auf andere Weise nicht einfach analysiert werden können:

• Fragen Sie mehrere Seiten gleichzeitig ab: In BigQuery können Sie eine einzelne SQL-Abfrage ausführen, um Metriken für alle Seiten (oder eine Teilmenge von Seiten) abzurufen, ohne jede einzelne Seite durchklicken zu müssen.
• Bericht zur Verkehrssaisonalität: Vergleichen Sie Leistungskennzahlen nach Saison, um Trends zu erkennen und Kampagnen entsprechend zu optimieren.
• Massenanalyse über mehrere Standorte hinwegs: Wenn Sie eine Marke mit mehr als einer Website verwalten, können Sie so die Klicks auf allen diesen Websites gleichzeitig betrachten.
• Klickrate (CTR) nach Seite und Suchanfrage: Anstatt nur die durchschnittliche CTR zu betrachten, können Sie die CTR für jede einzelne Seite und Suchanfrage berechnen.

Zusammenfassend

Zusammenfassend lässt sich sagen, dass die integrierte Funktion zum Exportieren großer Datenmengen von der Google Search Console in Googles BigQuery eine robustere Lösung für die Datenanalyse im SEO-Bereich bietet.

Allerdings gibt es Einschränkungen, etwa die Notwendigkeit, Fachwissen in Google Cloud und SQL zu entwickeln, sowie potenzielle Kosten im Zusammenhang mit BigQuery-Speicherung und -Abfragen.

Mehr Ressourcen:

• So mischen Sie Daten in Looker Studio mit praktischen Beispielen
• 7 Top-Tipps, um ein GA4-Profi zu werden (auch wenn Sie ein Anfänger sind)
• 7 häufige Konfigurationsfehler bei Google Analytics 4, die Sie vermeiden sollten

Ausgewähltes Bild: Suvit Topaiboon/Shutterstock