yii2-dumper/Dumper.php

<?php

namespace app;

use DateTime;
use Yii;
use linslin\yii2\curl\Curl;

/**
 * Модель для выгрузки страниц в автономное хранилище
 * 
 * Позволяет скачивать, сохранять и оптимизировать под нужную архитектуру
 * 
 * @method download(string $link, int $depth = 0, int $buffer = 0, bool $searchExternal = false) Скачивает страницу
 * @method save() Сохраняет скачанные страницы на диск
 * @method saveStatistics() Сохранение статистики
 * @method convertLinks(array $links = null) Конвертер ссылок
 * @method convertFiles(array $files = null) Конвертер страниц
 * @method filterLink(string $link) Фильтрация ссылки
 * 
 * @author Арсен Мирзаев red@hood.su
 * 
 * @todo
 * 1. $searchExternal переделать в $depthExterntal
 * 2. Исправить обработку ссылки: zakupki.gov.ru/data/common-info.html?regNumber=0816500000619001511
 * 4. Конструкцию <base> надо доработать на проверку уже существующего тега
 */
class Dumper extends \yii\base\Component
{
    /**
     * Глубина поиска страниц относительно первичной
     */
    protected $depth = 0;

    /**
     * Буфер страниц для скачивания
     */
    protected $buffer;

    /**
     * Флаг форсированного выполнения (перезаписи файлов)
     */
    protected $force;

    /**
     * Путь для сохранения файлов
     */
    protected $path;

    /**
     * Буфер страниц для скачивания
     */
    protected $searchExternal;

    /**
     * Регистр обработанных ссылок
     * 
     * 'Ссылка' => [
     *      [0] => 'URN файла'
     *      [1] => 'URL файла'
     *      [2] => 'URI файла для конвертации страниц'
     * ]
     */
    protected $links = [];

    /**
     * Буфер скачанных файлов
     * 
     * 'Файл (URN)' => [
     *      [0] => 'Тип'
     *      [1] => 'Данные'
     * ]
     * 
     * Типы:
     * [0] - HTML страница
     * [1] - документ ('.css', '.js', '.png'...)
     */
    protected $filesBuffer = [];

    /**
     * Регистр сохранённых файлов
     * 
     * 'Файл (URN)' => [
     *      [0] => 'Тип'
     *      [1] => 'Данные'
     * ]
     * 
     * Типы:
     * [0] - HTML страница
     * [1] - документ ('.css', '.js', '.png'...)
     */
    protected $files = [];

    /**
     * Блокировка циклов
     * 
     * Указывает работает основное скачивание или рекурсивное
     */
    protected $subdownload = false;

    /**
     * Количество новых найденных ссылок
     */
    protected $linksNew = 0;

    /**
     * Запрашиваемая ссылка
     */
    protected $target;

    /**
     * SCHEME/PROTOCOL запроса
     */
    public $connectionProtocol;

    /**
     * HOST запроса
     */
    public $connectionHost;

    /**
     * Собранная информация о выполнении
     * 
     * [0] => 'Запрошенный URI'
     * [1] => 'Статус выполнения (завершен или ошибка)'
     * [2] => [
     *     [0] => 'Количество найденных ссылок'
     *     [1] => 'Количество найденных ссылок без дубликатов'
     *     [2] => 'Количество обработанных ссылок'
     * ]
     * [3] => [
     *     [0] => 'Количество найденных HTML страниц'
     *     [1] => 'Количество конвертированных страниц'
     * ]
     * [4] => [
     *     [0] => 'Количество найденных документов (.png, .css, .pdf)'
     *     [1] => 'удалено'
     *     [2] => 'Найдено: Изображения',
     *     [3] => 'Найдено: Видеозаписи',
     *     [4] => 'Найдено: Аудиозаписи',
     *     [5] => 'Найдено: CSS',
     *     [6] => 'Найдено: JS',
     *     [7] => 'Найдено: Не опознано',
     * ]
     */
    public $statistics = [
        '',
        1,
        [
            0,
            0,
            0
        ],
        [
            0,
            0,
            0
        ],
        [
            0,
            0,
            0,
            0,
            0,
            0,
            0,
            0,
        ]
    ];

    /**
     * Время начала выполнения скрипта
     * 
     * Используется для вычисления времени выполнения и записи в статистику
     */
    public $timeStart;

    public function __construct()
    {
        // Начало отсчёта синтетического теста времени выполнеия для записи в статистику
        $this->timeStart = microtime(true);

        // if (YII_DEBUG) {
            register_shutdown_function(array(&$this, 'saveStatistics'));
        // }
    }

    /**
     * Скачивание страницы
     * 
     * @param string $link Ссылка
     * @param int $depth Глубина скачивания вложенных ссылок
     * @param int $buffer Буфер файлов
     * @param bool $force Флаг форсированного выполнения (с перезаписью существующих файлов)
     * @param string $path Свой путь для сохранения
     * @param bool $searchExternal Флаг поиска ссылок во внешних сайтах
     * 
     * @return Dump
     */
    public function download($link, $depth = 0, $buffer = 0, $force = false, $searchExternal = false, $path = '')
    {
        if (!$link = $this->filterLink($link)) {
            // Если ссылка не прошла фильтрацию
            return;
        }

        // Инициализация свойств
        if (!isset($this->buffer)) {
            $this->buffer = $buffer;
        }

        if (!isset($this->force)) {
            $this->force = $force;
        }

        if (!isset(Yii::$app->params['basePath'])) {
            Yii::$app->params['basePath'] = $path;
        }

        if (!isset($this->searchExternal)) {
            $this->searchExternal = $searchExternal;
        }

        if (!isset($this->connectionProtocol)) {
            // Проверка наличия domain.zone в ссылке на подобие: 'https://domain.zone/foo/bar'
            preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $link, $linkMatch);

            $this->connectionProtocol = $linkMatch[1][0] ?? $_SERVER['REQUEST_SCHEME'] ?? $_SERVER['HTTP_X_FORWARDED_PROTO'] ?? 'http';
        }

        if (!isset($this->connectionHost)) {
            // Проверка наличия domain.zone в ссылке на подобие: 'https://domain.zone/foo/bar'
            preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $link, $linkMatch);

            // Проверка наличия domain.zone в ссылке на подобие: 'domain.zone/' или 'domain.zone' или 'subdomain.domain.zone'
            preg_match_all('/^([^\\\|\/|\\s]+\.[^\\\|\/|\\s]+)(\\\|\/)?$/', $link, $domainMatch);

            $this->connectionHost = $linkMatch[3][0] ?? $domainMatch[1][0] ?? $_SERVER['REQUEST_HOST'] ?? $_SERVER['HTTP_HOST'] ?? '127.0.0.1';
        }

        // Обработка буфера (это весь его код)
        if (count($this->filesBuffer) >= $this->buffer) {
            $this->save();
        }

        // Если скачивание является первым (ручной запрос)
        if (!isset($this->target)) {
            // Инициализация стартовой ссылки
            $this->target = $link;

            // Добавление стартовой ссылки в регистр
            array_unshift($this->links, $link);

            // Инициализация данных для статистики
            $this->statistics[0] = $this->target;
            $this->statistics[2][1] = 1;
        } else if ($this->subdownload && $depth === 0) {
            // Иначе если это дополнительное скачивание и глубина равна нулю

            $this->linksNew++;
            // Добавление стартовой ссылки в регистр
            array_unshift($this->links, $link);
        }

        // Обработка стартовой ссылки
        if (isset($this->target)) {
            // Внимание: $targetMatch не очищается и используется в коде ниже
            preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $this->target, $targetMatch);
        }

        if (preg_match('/^[^\/|\\\]+\..+$/', $link)) {
            // Паттерн: 'domain.zone', 'domain.zone/foo/bar/index.html'
            $request = ($this->connectionProtocol ?? 'http') . '://' . $link;
        } else if (preg_match_all('/(^http.*(\/\/|\\\\)|^(\/\/|\\\\))(.*)(\/|\\\|$)(.*$)/iU', $link, $match)) {
            // Паттерн: 'https://domain.zone/foo/index.html', '//domain.zone/foo'
            $request = ($this->connectionProtocol ?? 'http') . '://' . $match[4][0] . '/' . $match[6][0];
        } else if (preg_match('/(^\/[^\/\\\\\s]+[^\s]*$|^\\\[^\/\\\\\s]+[^\\s]*$|^\/$|^\\\$)/', $link)) {
            // Паттерн: '/', '/foo/bar', '/foo/bar/index.html'
            $request = ($this->connectionProtocol ?? 'http') . '://' . ($targetMatch[3][0] ?? $this->connectionHost) . $link;
        } else if (preg_match('/(^[^\/\\\\\s\.]+(\/|\\\|$)([^\/\\\\\s]*$|[^\/\\\\\s]+(\/|\\\).*))/', $link)) {
            // Паттерн: 'foo/index.html', 'foo/bar/index.html', 'foo', 'foo/'
            $request = ($this->connectionProtocol ?? 'http') . '://' . ($targetMatch[3][0] ?? $this->connectionHost) . '/' . $link;
        } else {
            unset($this->links[$link]);
            return $this;
        }
        unset($match); // Очистка на всякий случай, так как переменные остаются

        // Выполнение запроса
        $this->filesBuffer[$link][1] = (new Curl())->setOption(CURLOPT_RETURNTRANSFER, true)
            ->setOption(CURLOPT_FOLLOWLOCATION, true)
            ->setOption(CURLOPT_SSL_VERIFYPEER, true)
            ->setOption(CURLOPT_USERAGENT, Yii::$app->params['useragent'])
            ->get($request);

        if (preg_match('/(https?:(\/\/|\\\\).+(\/|\\\).+|^(\/|\\\).+)(\.(?!php|htm)[A-z0-9]+)[^\/\\\s]*$/i', $link)) {
            // Если ссылка является документом ('.css', '.js', '.png'...)
            $this->filesBuffer[$link][0] = 1;
        } else {
            // Иначе расценивается как HTML страница для продолжения поиска
            preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $link, $linkMatch);

            // Если это внутренний URL или domain.zone цели сходится с domain.zone обрабатываемой ссылки или есть разрешение на проход внешних ссылок
            if (empty($linkMatch[3][0]) || $targetMatch[3][0] === $linkMatch[3][0] || $this->searchExternal === true) {
                $this->filesBuffer[$link][0] = 0;
                $file = $this->filesBuffer[$link][1];
            } else {
                $this->filesBuffer[$link][0] = 0;
            }
        }
        unset($targetMatch, $linkMatch, $link); // Очистка на всякий случай, так как переменные остаются

        // Извлечение ссылок из страницы по свойствам href='' и src=''
        // Единственное место где добавляются найденные ссылки
        if (!empty($file) && $depth > 0 && preg_match_all('/(href|src)\\s?=\\s*[\"\']?((?!(\"|\'))(?!tel)(?!mailto)[^\"\']+)[\"\']/i', $file, $match)) {
            // Если файл скачан, глубина больше нуля и были найдены ссылки

            // Прибавление количества новых ссылок для обработки
            $this->linksNew += count($match[2]);

            // Прибавление количества новых ссылок для вывода в статистике
            $this->statistics[2][0] += count($match[2]);

            // Добавление ссылок в общий регистр
            foreach ($match[2] as $link) {
                if (!$link = $this->filterLink($link)) {
                    // Если ссылка не прошла фильтрацию
                    continue;
                }
                array_unshift($this->links, $link);
            }
        }
        unset($link, $file, $match); // Очистка на всякий случай, так как переменные остаются

        // Конвертация ссылок
        if (isset($this->links) && $this->linksNew) {
            // Если глубина больше ноля, ссылки существуют и счетчик новых ссылок больше ноля

            $this->convertLinks();
        }

        if (!$this->subdownload) {
            // Если это не дополнительное скачивание и текущая глубина не равна нулю

            // Устанавливается для того, чтобы работать в цикле
            $this->depth = $depth;

            // Скачиваем найденные страницы по установленной глубине поиска
            while ($this->depth-- > 0) {
                foreach ($this->links as $link => $type) {
                    $this->subdownload = true;
                    $this->download($link, $this->depth);
                    $this->subdownload = false;
                }

                $this->convertFiles($this->save(), true);
            }
            unset($link, $type);
        } 

        // Сохранение остатков ссылок после обработки
        $this->save();

        // Конвертация сохранённых файлов
        $this->convertFiles();

        return $this;
    }

    /**
     * Сохранение страницы
     * 
     * Получает на вход файлы из буфера и сохраняет на диске
     * На выходе будут перенесены в массив $this->files
     * 
     * @return array
     */
    public function save($files = null)
    {
        if (empty($files)) {
            $files = &$this->filesBuffer;
        }

        if (isset($this->links)) {
            $this->convertLinks();
        }

        $savedFiles = [];

        foreach ($files as $link => $file) {
            if (!empty($this->links[$link][1]) && !preg_match('/^(\/|\\\)/', $this->links[$link][1])) {
                // Если в начале ссылки нет слеша и ссылка не, то добавить слеш
                $this->links[$link][1] = '/' . $this->links[$link][1];
            }

            // Проверка существования каталога и его создание 
            if (!file_exists(Yii::$app->params['basePath'] . $this->links[$link][1])) {
                mkdir(Yii::$app->params['basePath'] . $this->links[$link][1], 0755, true);
            }

            // Сохранение файла
            if (!file_exists(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0]) || $this->force) {
                if (file_put_contents(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0], $file[1])) {
                    $this->files[$link][0] = $file[0];
                    $this->files[$link][1] = $file[1];
                }
            }
            $savedFiles[$link] = $files[$link];
            unset($files[$link]);
        }
        unset($link, $file); // Очистка на всякий случай, так как переменные остаются

        // Указание сборщику статистики, что парсер успешно завершил свою работу
        $this->statistics[1] = 0;

        return $savedFiles;
    }

    /**
     * Сохранить статистику
     * 
     * Возвращает статус сохранения (true/false)
     * 
     * @return bool
     */
    public function saveStatistics()
    {
        // Запись времени окончания работы скрипта
        $timeFinish = microtime(true);

        $i = new DateTime(Yii::$app->params['timezone'] ?? 'Europe/Moscow');

        $date = date_format($i, 'Y-m-d');
        $dateFull = date_format($i, 'Y.m.d H:i:s');

        $request            = $this->statistics[0]                ?? 'Ошибка';
        $time               = ($timeFinish - $this->timeStart)    ?? 'Ошибка';
        $status             = $this->statistics[1] === 0 ? 'Успех' : 'Ошибка';

        $linksCount         = $this->statistics[2][0]             ?? 'Ошибка';
        $linksProcessed     = $this->statistics[2][1]             ?? 'Ошибка';
        $linksProcessedReal = $this->statistics[2][2]             ?? 'Ошибка';

        $pagesCount         = $this->statistics[3][0]             ?? 'Ошибка';
        $pagesProcessed     = $this->statistics[3][1]             ?? 'Ошибка';

        $filesCount         = $this->statistics[4][0]             ?? 'Ошибка';

        $imagesCount        = $this->statistics[4][2]             ?? 'Ошибка';
        $videosCount        = $this->statistics[4][3]             ?? 'Ошибка';
        $audiosCount        = $this->statistics[4][4]             ?? 'Ошибка';
        $cssCount           = $this->statistics[4][5]             ?? 'Ошибка';
        $jsCount            = $this->statistics[4][6]             ?? 'Ошибка';
        $unidentifiedCount  = $this->statistics[4][7]             ?? 'Ошибка';

        if (!file_exists(Yii::getAlias('@runtime/logs'))) {
            mkdir(Yii::getAlias('@runtime/logs'), 0755, true);
        }
        $file = fopen(Yii::getAlias('@runtime/logs') . '/' . $date . uniqid('_DUMPER_', true) . '.log', 'a+');

        fwrite($file, <<<EOT
///////////////////////////////////////////////////////////
///                Статистика выполнения                ///
///////////////////////////////////////////////////////////

                       Дата:   $dateFull

                     Запрос:   $request
           Время выполнения:   $time секунд
          Статус выполнения:   $status

///////////////////////////////////////////////////////////

             Найдено ссылок:   $linksCount
          Обработано ссылок:   $linksProcessed
      Из них без дубликатов:   $linksProcessedReal

//////////////////////////////////////////////////////////

            Найдено страниц:   $pagesCount
     Конвертировано страниц:   $pagesProcessed

///////////////////////////////////////////////////////////

         Найдено документов:   $filesCount

                Изображения:   $imagesCount
                Видеозаписи:   $videosCount
                Аудиозаписи:   $audiosCount
                CSS скрипты:   $cssCount
                 JS скрипты:   $jsCount
                Не опознано:   $unidentifiedCount

///////////////////////////////////////////////////////////
EOT
        );
        fclose($file);

        unset($i, $date, $dateFull, $file); // Очистка на всякий случай, так как переменные остаются
    }

    /**
     * Конвертер ссылок
     * 
     * Приводит ссылки к заданному архитектурой виду
     * 
     * @return array
     */
    private function convertLinks($links = null)
    {
        if (empty($links)) {
            $links = &$this->links;
        }

        while ($this->linksNew >= 0) {
            // Инициализация ссылки и копии для будущего поиска в файлах
            if (!array_key_exists($this->linksNew, $links)) {
                // Подготовка к следующей итерации цикла
                $this->linksNew--;
                continue;
            }
            $link = $rawLink = $links[$this->linksNew];

            if (is_array($link)) {
                // Если это уже конвертированная ссылка
                continue;
            }

            $uri = $this->initLink($link);

            preg_match_all('/(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $uri, $uriMatch);
            preg_match_all('/(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $this->target, $targetMatch);

            if ($targetMatch[2][0] === $uriMatch[2][0]) {
                $location = '';
            } else {
                $location = Yii::$app->params['externalLinksPath'] . '/' . $uriMatch[2][0];
            }
            unset($uriMatch, $targetMatch);

            // Инициализация ссылки
            if ($uri === $this->target || $uri . '/' === $this->target || $uri === $this->target . '/' || $uri . '\\' === $this->target || $uri === $this->target . '\\' || $uri === '/' || $uri === '\\') {
                // Если это первый запуск (запрошенная, главная ссылка)

                // Создание ссылки
                $links[$rawLink][0] = '/index.html';
                $links[$rawLink][1] = '';
                $links[$rawLink][2] = '/index.html';
            } else if (preg_match('/\\.css/i', $uri)) {
                // Если это CSS файл

                // Получение последнего каталога (имени файла с расширением), например: '/index.html'
                if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
                    // Создание ссылки
                    $links[$rawLink][0] = '/' . $file[0][0];
                    $links[$rawLink][1] = $location . Yii::$app->params['cssPath'];
                    $links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
                }

                // Обновление статистики
                $this->statistics[4][0]++;
                $this->statistics[4][5]++;
            } else if (preg_match('/\\.js/i', $uri)) {
                // Если это JS файл

                // Получение последнего каталога (имени файла с расширением), например: '/index.html'
                if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
                    // Создание ссылки
                    $links[$rawLink][0] = '/' . $file[0][0];
                    $links[$rawLink][1] = $location . Yii::$app->params['jsPath'];
                    $links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
                }

                // Обновление статистики
                $this->statistics[4][0]++;
                $this->statistics[4][6]++;
            } else if (preg_match('/(\\.png|\\.jpeg|\\.jpg|\\.webp|\\.gif|\\.svg|\\.ico)/i', $uri)) {
                // Если это изображение

                // Получение последнего каталога (имени файла с расширением), например: '/index.html'
                if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
                    // Создание ссылки
                    $links[$rawLink][0] = '/' . $file[0][0];
                    $links[$rawLink][1] = $location . Yii::$app->params['imgPath'];
                    $links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
                }

                // Обновление статистики
                $this->statistics[4][0]++;
                $this->statistics[4][2]++;
            } else if (preg_match('/(https?:(\/\/|\\\\).+(\/|\\\).+|^(\/|\\\).+)(\.(?!php|htm)[A-z0-9]+)[^\/\\\s]*$/i', $uri)) {
                // Если это неопознанный документ (очень затратное выражение, но по другому никак)

                // Получение последнего каталога (имени файла с расширением), например: '/index.html'
                if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
                    // Создание ссылки
                    $links[$rawLink][0] = '/' . $file[0][0];
                    $links[$rawLink][1] = $location . Yii::$app->params['docsPath'];
                    $links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
                }

                // Обновление статистики
                $this->statistics[4][0]++;
                $this->statistics[4][7]++;
            } else if (preg_match_all('/(\/\/|\\\\)(.*)((\/|\\|$).*$)/U', $uri, $uriMatch)) {
                // Иначе, если это обрабатывается универсально или как HTML документ

                if (isset($uriMatch[3][0])) {
                     // Если есть путь к файлу, например 'https://domain.zone/это/обязательно/index.html'
                    if (preg_match_all('/^([^\/\\\\\s\.]*[^\\s\.]+)([^\/\\\]*\.html|[^\/\\\]*\.php|[^\/\\\]*\.htm)?$/U', $uriMatch[3][0], $uriSplit)) {
                        // Если в URI не найден URN (файл с расширением, например: 'index.php')

                        if (empty($uriSplit[2][0])) {
                            $uriSplit[2][0] = '/index.html';
                        }

                        // Создание ссылки
                        $links[$rawLink][0] = $uriSplit[2][0];
                        $links[$rawLink][1] = $location . Yii::$app->params['pagesPath'] . $uriSplit[1][0];
                        $links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
                    }
                } else {
                    // Иначе обрабатывается как пустая ссылка, например 'https://domain.zone'

                    // Создание ссылки
                    $links[$rawLink][0] = '/index.html';
                    $links[$rawLink][1] = $location . Yii::$app->params['pagesPath'] . '/' . $uriMatch[1][0];
                    $links[$rawLink][2] = $links[$rawLink][1] . '/index.html';
                }

                // Прибавление к количеству найденных страниц
                $this->statistics[3][0]++;
            }

            // Удаление обработанной ссылки и оставшихся переменных
            unset($links[$this->linksNew], $rawLink, $location, $uriSplit, $match, $file, $uri);

            // Прибавление к количеству обработанных ссылок
            $this->statistics[2][1]++;

            // Подготовка к следующей итерации цикла
            $this->linksNew--;
        }

        // Количество обработанных ссылок без дубликатов
        $this->statistics[2][2] = count($this->links);

        return $links;
    }

    /**
     * Конвертер страниц
     * 
     * Преобразует ссылки в тексте (HTML документе)
     * Возвращает массив не найденных файлов
     * 
     * @param array $files Файлы для конвертации
     * 
     * @return array
     */
    private function convertFiles($files = null)
    {
        if (empty($files)) {
            $files = &$this->files;
        }

        foreach ($files as $link => &$file) {
            if ($file[0] === 0 && isset($this->links[$link]) && file_exists(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0]) && $content = file_get_contents(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0])) {
                // Если метаданные файла указывают, что он является HTML документом

                if (preg_match_all('/(href|src)\\s?=\\s*[\"\']?((?!(\"|\'))(?!tel)(?!mailto)[^\"\']+)[\"\']/i', $content, $match)) {
                    // Если найдены ссылки

                    // Конвертация
                    foreach ($match[2] as $rawLink) {
                        if (!$rawLink = $this->filterLink($rawLink)) {
                            // Если ссылка не прошла фильтрацию
                            continue;
                        }

                        if (!array_key_exists($rawLink, $this->links)) {
                            continue;
                        }

                        $content = preg_replace('/(\"|\')' . preg_quote($rawLink, '/') . '(\"|\')/', '".' . $this->links[$rawLink][2] . '"', $content);
                    }

                    // Инъекция тега <base> в страницу, чтобы работали относительные пути
                    if (preg_match_all('/(.*<head>)(.*)/si', $content, $contentMatch)) {
                        // Если удалось найти <head> в странице

                        // Определяем вложенность страницы
                        if (preg_match_all('/([^\\\|\/|\\s]+)/', $this->links[$link][1], $urlMatch)) {
                            $catalogsDepth = count($urlMatch[1]);
                        }
                        
                        $content = $contentMatch[1][0] . "\n<base href=\"" . str_repeat('../', $catalogsDepth ?? 0) . '">'. $contentMatch[2][0];
                    }

                    // Сохранение файла
                    if (file_put_contents(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0], $content)) {
                        unset($this->files[$link]);

                        // Прибавление к количеству конвертированных страниц
                        $this->statistics[3][1]++;
                    }
                }
            } else if ($file[0] !== 0) {
                // Если файл не является HTML документом

                unset($this->files[$link]);
            } else {
                // Иначе воспринимается как не HTML документ, который не требует конвертацию

                continue;
            }
        }
        unset($link, $file); // Очистка на всякий случай, так как переменные остаются

        return $files;
    }

    /**
     * Фильтрация ссылки
     * 
     * Перед инициализацией ссылка проверяется фильтрами
     * 
     * @return ?string
     */
    private function filterLink($link)
    {
        // Проверка существования URL в чёрном списке
        if (!empty(Yii::$app->params['regBlackList']) && preg_match('/' . Yii::$app->params['regBlackList'] . '/', $link)) {
            return null;
        }

        // Преобразование слешей в Unix стиль, унификация
        $link = preg_replace('/\\\/', '/', $link);

        return $link;
    }

    /**
     * Инициализация ссылки
     * 
     * Подготовка к конвертации
     * 
     * @return string
     */
    private function initLink($link)
    {
        // Подготовка ссылок перед обработкой
        // Разбиение ссылки на каталоги: 'https://domain.zone/foo/bar/index.html' на 'https:', 'domain.zone', 'foo', 'bar', 'index.html'
        if (preg_match_all('/([^\\\|\/|\\s]+)/', $link, $uriMatch)) {
            // Определение того, что URI является полноценным и имеет протокол подключения, например: 'https:', 'ssh:', 'mail:'
            if (preg_match('/^.*:$/', $uriMatch[0][0])) {
                $uri = $uriMatch[0][0] . '//' . $uriMatch[0][1];
                $uriMatch[0] = array_slice($uriMatch[0], 2);
            } else {
                $uri = $this->connectionProtocol . ':' . '//' . $this->connectionHost;
            }

            // Замена всех фрагментов URI от символов, которые Windows не даёт записывать в именах файлов и каталогов на '@'
            // На данный момент достаточно заменять все символы на один, так как обратная конвертация не потребуется, а шанс конфликта имён минимален
            foreach ($uriMatch[0] as &$piece) {
                $piece = preg_replace('/(\\\|\/|\:|\*|\?|\"|\<|\>|\|)/', '@', $piece);
            }
            unset($piece);

            // Сборка новой ссылки из фрагментов оригинальной
            foreach ($uriMatch[0] as $piece) {
                $uri .= '/' . $piece;
            }
            unset($piece);

        } else if ($link === '/' || $link === '\\') {
            // Иначе, если ссылка ведёт на главную страницу сайта

            if (!$this->searchExternal) {
                $uri = $this->connectionProtocol . ':' . '//' . $this->connectionHost;
            }

        } else {
            // Иначе всё обрабатывается как ссылка на текущего хоста

            if (!preg_match('/^(\/|\\\)/', $link)) {
                $link = '/' . $link;
            }
            $link = preg_replace('/(\/|\\\)$/', '', $link);

            $uri = $this->connectionProtocol . ':' . '//' . $this->connectionHost . $link;
        }
        unset($link, $uriMatch, $site);

        return $uri;
    }
}