Фильтр по местоположению исполнителя (не топ по стране)

[tupizm]

@Chimildic Возник такой вопрос, а нельзя ли фильтровать треки, так сказать, по их географическому положению? Допустим, решил я собрать популярные треки за 2020 год, но туда может попадать треки хоть откуда (Россия, Испания и тп). Вот интересно, можно ли как-то ненужные страны убрать.

[Chimildic]

Предупреждение

Пост больше для справки, дабы закрыть вопрос. На практике много неточности, мало пользы. При тесте большой акцент на музыку СНГ. Возможно с другими странами отработает лучше.

Фильтр по жанру с баном russian будет эффективнее rangeTracks в сочетании с matchExceptRu. Поскольку многие исполнители остаются ненайденными, определены неправильно или неизвестны по стране.

Описание

Есть следующее неполноценное решение. У musicbrainz база по музыке с доступом по API. Среди прочего, исполнители размечены по странам. Но много неприятностей:

• далеко не все малые исполнители есть в базе
• даже у крупных исполнителей может не быть разметки на страну
• поиск исполнителя по лучшему совпадению, то есть первый из результатов поиска musicbrainz, что не всегда соответствует искомому исполнителю. Особенно при наличии более популярных "дубликатов" или наворотов с символами в имени. В некоторых случаях очистка имени от специальных символов (.:*&) помогает, в других мешает. Понять это можно только постфактум.
• лимит на количество запросов к musicbrainz (пауза между запросами)
• лимит на геопозицию (1000 запросов в день) - используются для вычисления страны по городу
• один исполнитель - один запрос. В некоторых случаях два. Короткие названия городов (например Ufa) геопозицией определяется неправильно. Тратится второй запрос, чтобы парсить флаг со страницы musicbrainz.

Отсюда неполный охват, кто-то останется неизвестным. Сначала даем треки, вынимаем исполнителей и делим на два лагеря: есть или нет в базе musicbrainz. Затем у существующих просматриваем страну. Когда ее нет, пытаемся определить по размеченному названию местоположения (город например) с помощью гугл карт. Но и его может не быть, отсюда третий лагерь - существует, но неизвестна страна.

До конца не понял документацию musicbrainz на количество запросов. В текущем коде между запросами принудительная пауза на 350 миллисекунд. При малом количестве исполнителей этого хватало, работало без ошибок. Но при большом значении может потребоваться увеличить паузу.

Реализация

В результате сделал небольшой модуль MusicBrainz с двумя функциями:

• addEntities выполняет поиск исполнителей и стран, возвращает объект с двумя ключами: found - содержит найденных исполнителей (могут быть без стран); nofound - исполнители не найдены в musicbrainz.
  • (массив) items - на вход принимает треки или исполнителей
• matchCountry фильтрует исполнителей по заданным странам. Тех, кто с неизвестными странами может как оставить, так и удалить. Изменяет оригинальный массив, ничего не возвращает.
  • (массив) artists - перечень исполнителей из найденных addEntities
  • (объект) params - параметры фильтрации
    • (бул) isRemoveUnknown - при false исполнители с неизвестной страной остаются, при true удаляются
    • (массив) include - перечень обозначений стран, которые должны присутствовать. Можно оставить пустым, чтобы прошли все
    • (массив) exclude - перечень обозначений стран, которые нужно удалять

Пример

Взяли топ по России и исключили некоторые страны, включая ненайденных и неизвестных. Чтобы вернутся к трекам, используется removeArtists с инверсией. Рекомендую использовать последним в списке фильтром, чтобы сократить список исполнитель до минимума другими средствами.

function debug() {
  let tracks = Source.getPlaylistTracks('', '7DyTIXA395t2S8mgusLiV9');

  let musicbrainz = MusicBrainz.addEntities(tracks);
  MusicBrainz.matchCountry(musicbrainz.found, {
    exclude: ['RU', 'KZ', 'BY', 'UA'],
    isRemoveUnknown: true,
  });

  Filter.removeArtists(tracks, musicbrainz.found, true);

  Playlist.saveWithReplace({
    name: 'Топ России',
    tracks: tracks,
  });
}

На примере конкретного этого плейлиста, в момент теста, проскакивает исполнитель fem.love, которого неправильно находит из-за удаления точки. Без очистки его страна не определилась бы. Контрпример, Artik & Asti без & находится правильно, при наличии musicbrainz подкидывает исполнителя Artik.

Можно улучшить поиск. Проходя по результатам и сравнивая имена на нашей стороне. Но учитывая нюансы лимитов и относительно маленькую базу с точки зрения разметки на страну, результат существенно не улучшится. Попробую, если будет спрос.

Код

Как обычно добавляется в один из файлов, например addons.

const MusicBrainz = (function () {
  const API_BASE = 'https://musicbrainz.org/ws/2';
  return {
    addEntities: addEntities,
    matchCountry: matchCountry,
  }

  function addEntities(items) {
    let artists = items[0].hasOwnProperty('artists')
      ? items.map(t => t.artists).flat(1)
      : items;
    Filter.dedupArtists(artists);
    let entities = artists.reduce((responses, artist) => {
      let url = API_BASE + `/artist/?fmt=json&query=artist:${artist.name.formatName()}`;
      let response = CustomUrlFetchApp.fetch(url);
      if (response && response.artists && response.artists.length > 0) {
        artist.musicbrainz = response.artists[0];
        responses.found.push(artist);
      } else {
        responses.nofound.push(artist);
        console.log('MusicBrainz. Не найден исполнитель:', artist.name);
      }
      Utilities.sleep(350);
      return responses;
    }, { found: [], nofound: [] });

    appendCountry(entities.found);
    return entities;
  }

  function appendCountry(artists) {
    artists.forEach((artist, i) => {
      let item = artist.musicbrainz;
      if (!item) {
        console.log('Нет данных от MusicBrainz');
        return;
      }
      if (!item.hasOwnProperty('country') && (item['begin-area'] || item.area)) {
        let areaName = item['begin-area'] ? item['begin-area'].name : item.area.name;
        areaName.length <= 5 ? appendByCheerio(item.id, i) : appendByGeocode(areaName, i);
      }
      if (!artist.musicbrainz.hasOwnProperty('country')) {
        console.log('MusicBrainz. Страна неизвестна', artist.name);
      }
    });

    function appendByCheerio(id, i) {
      let cheerio = createCherio(`https://musicbrainz.org/artist/${id}`);
      artists[i].musicbrainz.country = cheerio('.flag', '.properties').first().attr('class').split('-')[1];
    }

    function appendByGeocode(areaName, i) {
      let response = Maps.newGeocoder().geocode(areaName).results[0];
      if (response) {
        let country = response.address_components.find(c => c.types.includes('country'));
        artists[i].musicbrainz.country = country.short_name;
      }
    }

    function createCherio(url) {
      let content = CustomUrlFetchApp.fetch(url).getContentText();
      return Cheerio.load(content);
    }
  }

  function matchCountry(artists, params) {
    Combiner.replace(artists, artists.filter(artist => {
      if (artist.musicbrainz.country) {
        return RangeTracks.isBelongGenres([artist.musicbrainz.country], params.include)
          && !RangeTracks.isBelongBanGenres([artist.musicbrainz.country], params.exclude)
      }
      return !params.isRemoveUnknown;
    }));
  }

})();

[tupizm]

Оо, классно, спасибо большое, будем пробовать. А где-то есть список стран?

[tupizm]

Нашел