Как преобразовать текст из ANSI в UTF-8 и наоборот на любом языке программирования?

Одной из наиболее распространенных проблем, связанных с обработкой текстовой информации, является несоответствие кодировок. Кодировки текста — это наборы правил, определяющие способ представления символов и текста в бинарном виде. ANSI и UTF-8 являются двумя из самых распространенных кодировок, и возникает необходимость в их преобразовании, когда мы имеем дело с данными, сохраненными или передаваемыми в разных форматах. В этой статье мы рассмотрим, как преобразовать текст из ANSI в UTF-8 и наоборот.

Для программного преобразования текста из ANSI в UTF-8 и обратно в любом языке программирования вы можете использовать стандартные библиотеки языка и функции, предоставляемые этими библиотеками. Ниже представлены примеры программ.

C++

Примеры используют стандартную библиотеку C++ для работы с кодировками и могут зависеть от локали вашей операционной системы. Когда вы компилируете и запускаете код, убедитесь, что ваша среда поддерживает необходимые локали и кодировки.

Преобразование из ANSI в UTF-8 на C++:

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>

int main() {
    // Входная строка в кодировке ANSI
    std::string ansiText = "Пример текста в кодировке ANSI";

    // Создаем локаль для кодировки ANSI
    std::locale ansiLocale("");

    // Создаем объект для преобразования кодировки
    std::wstring_convert<std::codecvt_utf8<wchar_t>> converter;

    // Преобразуем текст в кодировку UTF-8
    std::wstring utf16Text = std::wstring(ansiText.begin(), ansiText.end());
    std::string utf8Text = converter.to_bytes(utf16Text);

    std::cout << "Текст в кодировке UTF-8: " << utf8Text << std::endl;

    return 0;
}

Преобразование из UTF-8 в ANSI на C++:

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>

int main() {
    // Входная строка в кодировке UTF-8
    std::string utf8Text = "Пример текста в кодировке UTF-8";

    // Создаем локаль для кодировки ANSI
    std::locale ansiLocale("");

    // Создаем объект для преобразования кодировки
    std::wstring_convert<std::codecvt_utf8<wchar_t>> converter;

    // Преобразуем текст в кодировку UTF-16
    std::wstring utf16Text = converter.from_bytes(utf8Text);

    // Преобразуем UTF-16 текст обратно в ANSI
    std::string ansiText(utf16Text.begin(), utf16Text.end());

    std::cout << "Текст в кодировке ANSI: " << ansiText << std::endl;

    return 0;
}

C#

В .NET Framework используется Encoding.Default для кодировки ANSI, а Encoding.UTF8 для кодировки UTF-8. Следовательно, при преобразовании из ANSI в UTF-8 и обратно, вы используете соответствующие методы GetBytes и GetString.

Преобразование из ANSI в UTF-8 на C#:

using System;
using System.Text;

class Program
{
    static void Main()
    {
        // Входная строка в кодировке ANSI
        string ansiText = "Пример текста в кодировке ANSI";

        // Преобразование ANSI в UTF-8
        byte[] ansiBytes = Encoding.Default.GetBytes(ansiText);
        string utf8Text = Encoding.UTF8.GetString(ansiBytes);

        Console.WriteLine("Текст в кодировке UTF-8: " + utf8Text);
    }
}

Преобразование из UTF-8 в ANSI на C#:

using System;
using System.Text;

class Program
{
    static void Main()
    {
        // Входная строка в кодировке UTF-8
        string utf8Text = "Пример текста в кодировке UTF-8";

        // Преобразование UTF-8 в ANSI
        byte[] utf8Bytes = Encoding.UTF8.GetBytes(utf8Text);
        string ansiText = Encoding.Default.GetString(utf8Bytes);

        Console.WriteLine("Текст в кодировке ANSI: " + ansiText);
    }
}

Обратите внимание, что в реальных приложениях, особенно если вы работаете с внешними данными, вы должны учитывать возможные ошибки исключений при работе с кодировками.

Python

В Python вы можете использовать метод .encode() для преобразования строки в байтовую последовательность в заданной кодировке, а метод .decode() для преобразования байтовой последовательности обратно в строку.

Преобразование из ANSI в UTF-8 на Python:

# Входная строка в кодировке ANSI
ansi_text = "Пример текста в кодировке ANSI"

# Преобразование ANSI в UTF-8
utf8_text = ansi_text.encode('utf-8')

print("Текст в кодировке UTF-8:", utf8_text.decode('utf-8'))

Преобразование из UTF-8 в ANSI на Python:

# Входная строка в кодировке UTF-8
utf8_text = "Пример текста в кодировке UTF-8"

# Преобразование UTF-8 в ANSI
ansi_text = utf8_text.encode('latin-1')

print("Текст в кодировке ANSI:", ansi_text.decode('latin-1'))

Обратите внимание, что в примере выше используется ‘latin-1’ для кодировки ANSI, но в зависимости от вашей системы и окружения это может быть другой кодировкой. Вы можете использовать sys.getdefaultencoding() для определения кодировки ANSI на вашей системе.

Java

В коде мы используем «UTF-8» и «ISO-8859-1» как кодировки для преобразования. Вам следует выбрать соответствующие кодировки в зависимости от вашей задачи. В обоих примерах мы сначала преобразуем строку в байтовый массив с помощью getBytes(), а затем обратно в строку с помощью конструктора String(byte[], Charset).

Преобразование из ANSI в UTF-8 на Java:

import java.nio.charset.Charset;

public class ANSIToUTF8 {
    public static void main(String[] args) {
        // Входная строка в кодировке ANSI
        String ansiText = "Пример текста в кодировке ANSI";

        // Преобразование ANSI в UTF-8
        byte[] utf8Bytes = ansiText.getBytes(Charset.forName("UTF-8"));
        String utf8Text = new String(utf8Bytes, Charset.forName("UTF-8"));

        System.out.println("Текст в кодировке UTF-8: " + utf8Text);
    }
}

Преобразование из UTF-8 в ANSI на Java:

import java.nio.charset.Charset;

public class UTF8ToANSI {
    public static void main(String[] args) {
        // Входная строка в кодировке UTF-8
        String utf8Text = "Пример текста в кодировке UTF-8";

        // Преобразование UTF-8 в ANSI
        byte[] ansiBytes = utf8Text.getBytes(Charset.forName("UTF-8"));
        String ansiText = new String(ansiBytes, Charset.forName("ISO-8859-1"));

        System.out.println("Текст в кодировке ANSI: " + ansiText);
    }
}

Pascal

В Pascal используются типы AnsiString для работы с текстом в кодировке ANSI и UTF-8. Для преобразования мы используем функции UTF8Encode и UTF8Decode из модуля SysUtils, которые позволяют легко выполнять конвертацию между кодировками.

Преобразование из ANSI в UTF-8 на Pascal:

program ANSIToUTF8Conversion;

{$mode objfpc}{$H+}

uses
  SysUtils;

var
  ansiText, utf8Text: AnsiString;
begin
  // Входная строка в кодировке ANSI
  ansiText := 'Пример текста в кодировке ANSI';

  // Преобразование ANSI в UTF-8
  utf8Text := UTF8Encode(ansiText);

  WriteLn('Текст в кодировке UTF-8: ', utf8Text);
end.

Преобразование из UTF-8 в ANSI на Pascal:

program UTF8ToANSIConversion;

{$mode objfpc}{$H+}

uses
  SysUtils;

var
  utf8Text, ansiText: AnsiString;
begin
  // Входная строка в кодировке UTF-8
  utf8Text := 'Пример текста в кодировке UTF-8';

  // Преобразование UTF-8 в ANSI
  ansiText := UTF8Decode(utf8Text);

  WriteLn('Текст в кодировке ANSI: ', ansiText);
end.

JavaScript

В приведенных примерах мы используем TextEncoder и TextDecoder для выполнения преобразования между кодировками. Обратите внимание, что кодировка «iso-8859-1» соответствует ANSI кодировке. Вы можете заменить эту кодировку на другую, если вам нужна конкретная кодировка.

Преобразование из ANSI в UTF-8 на JavaScript:

// Входная строка в кодировке ANSI
var ansiText = "Пример текста в кодировке ANSI";

// Преобразование ANSI в UTF-8
var utf8Bytes = new TextEncoder("utf-8").encode(ansiText);
var utf8Text = new TextDecoder("utf-8").decode(utf8Bytes);

console.log("Текст в кодировке UTF-8: " + utf8Text);

Преобразование из UTF-8 в ANSI на JavaScript:

// Входная строка в кодировке UTF-8
var utf8Text = "Пример текста в кодировке UTF-8";

// Преобразование UTF-8 в ANSI
var utf8Bytes = new TextEncoder("utf-8").encode(utf8Text);
var ansiText = new TextDecoder("iso-8859-1").decode(utf8Bytes);

console.log("Текст в кодировке ANSI: " + ansiText);

PHP

В этих примерах мы используем функцию iconv для выполнения преобразования между кодировками. Вы можете заменить кодировки «windows-1251» и «utf-8» на соответствующие кодировки, которые вам нужны.

Преобразование из ANSI в UTF-8 на PHP:

<?php
// Входная строка в кодировке ANSI
$ansiText = "Пример текста в кодировке ANSI";

// Преобразование ANSI в UTF-8
$utf8Text = iconv("windows-1251", "utf-8", $ansiText);

echo "Текст в кодировке UTF-8: " . $utf8Text;
?>

Преобразование из UTF-8 в ANSI на PHP:

<?php
// Входная строка в кодировке UTF-8
$utf8Text = "Пример текста в кодировке UTF-8";

// Преобразование UTF-8 в ANSI
$ansiText = iconv("utf-8", "windows-1251", $utf8Text);

echo "Текст в кодировке ANSI: " . $ansiText;
?>

(Пока оценок нет)

Загрузка...